Automatisk artikelutvärdering

DN:s Hanna Fahl skriver idag i en intressant krönika om huruvida robotar kommer kunna ”knäcka krönikekoden”. Egentligen diskuterar hon två frågor, utan att riktigt skilja på dem:

1) Kommer en robot kunna skriva krönikor?

2) Kommer en robot kunna utvärdera krönikor – dvs skilja bra krönikor från dåliga?

Såsom påpekas i krönikan kan robotar redan idag skriva korta enklare texter, såsom sportreferat eller jordbävningsrapporter, utifrån data. Även utvärdering av texter är emellertid i viss mån möjligt:  till exempel har tester visat att det går att träna algoritmer på att sätta tillförlitliga betyg på studentuppsatser.

Vi kommer utan tvekan få se en snabb utveckling både vad gäller robotskrivande och robotutvärdering, men eftersom jag själv sysslar just med utvärdering av texter, är jag mer intresserad av det senare. Med syfte att ta reda på hur långt utvecklingen gått angående utvärdering av texter, mejlade jag för en tid sedan ett stort internetföretag och ställde följande två frågor:

1) Jag har sett att man i USA börjat betygsätta SAT-provuppsatser automatiskt. Vad man då gör är att träna en algoritm på manuellt betygsatta uppsatser, tills den identifierat olika egenskaper som är typiska för uppsatser av olika kvalitet, vilket gör att den själv kan sätta betyg. Skulle det vara möjligt att göra detsamma vad gäller politiska debattartiklar? I så fall skulle det både kunna bli populärt och ge starka incitament för deltagare i den politiska debatten att höja nivån.

2) Skulle man kunna använda era program för att peka ut specifika argumentationsfel? Exempel inkluderar rena faktafel – som Google såvitt jag förstår redan menar sig kunna identifiera i viss mån -, underlåtande att ge evidens för viktiga påståenden, underlåtenhet att hålla sig till ämnet, etc.

Jag citerar inte deras svar här, då jag inte bett om deras tillåtelse att få göra det, men kan i korthet säga att de anser att detta ligger längre fram i tiden, men att det inte finns något principiellt skäl till att det inte skulle kunna gå att göra. En annan möjlighet är naturligtvis att robotar och mänskliga utvärderare samarbetar – att robotarna gör en första grovutvärdering, och att människorna sedan fyller i det som robotarna (ännu) inte kan göra.

Om det skulle skapas effektiva utvärderingsprogram, skulle de naturligtvis inte endast användas av externa utvärderare, utan även av medierna och författarna själva. Du skulle kunna köra din färdiga text genom utvärderingsprogrammet, ungefär som vi nu använder stavnings- och grammatikprogram. Du skulle t o m kunna använda programmet kontinuerligt under ditt skrivande: sänkte eller höjde denna mening mitt genomsnittsbetyg? På detta sätt skulle sådana utvärderingsprogram kunna höja nivån på skrivandet väsentligt – något som i sin tur, och viktigare, skulle kunna höja nivån på det mänskliga tänkandet. Om varje falskt påstående du gör, eller varje felslut du gör, påpekas av en oförtröttlig robot, så kommer du tvingas höja din kognitiva disciplin. Det kan i sin tur leda till en enorm förbättring av debattnivån, vilket skulle kunna ha oöverskådliga positiva effekter för samhället.

Tyvärr är vi nog en bra bit ifrån detta upplysningsutopia idag, men det finns all anledning att se med tillförsikt på utvecklingen.

 

För övrigt: angående detta med utvärderingsalgoritmer, skrev den kände bloggaren Scott Alexander nyligen en intressant kommentar om ”nätfilter” som bland annat behandlade min ”trollpoäng”-idé.

Advertisements

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s