Heltäckande detaljgranskning

Inom många områden framhålls regelmässigt vikten av kritisk granskning. Journalister menar att deras kritiska granskning av politikers göranden och låtanden är en nödvändig förutsättning för att demokratin ska fungera. Inom vetenskapen granskas de flesta viktiga publikationer av stränga peer reviewers, något som allmänt ses som oumbärligt. Länders betalningsförmågor bedöms inte av dem själva utan av ratinginstitut som Standard & Poor’s och Moody’s. Många har fäst stora förhoppningar på att diverse internetsystem för granskning och betygsättning av olika varor och tjänster – restauranger, böcker, läkare; ja, allt möjligt – ska kunna höja kvaliteten på dessa varor och tjänster väsentligt. Här finns en recension jag skrivit av en bok om sådana system – The Reputation Society.

---

Jag är naturligtvis en stark anhängare av denna syn på kritisk granskning. Det är i själva verket en utgångspunkt för denna blogg. Jag tror att väl utförda kritiska granskningar kan göra underverk. Detta gäller inte minst områden som dels är viktiga, och där det dels finns mycket information som av olika skäl inte är lättillgänglig.

Jag menar att argumenterande politiska texter utgör ett sådant område. Att det är viktigt torde få ifrågasätta, men däremot tror jag att många underskattar hur svårt det är att utvärdera debattartiklar, för att kunna avgöra huruvida dess slutsatser verkligen är riktiga. Det görs förvisso en del kritiska granskningar av debattartiklar (bl a i de repliker som ges på DN Debatt, SvD Brännpunkt m fl debattforum) men dessa är ofta ganska allmänna och svepande.

I den mån denna praxis har en teoretisk underbyggnad torde den vara dels att argumenterande texter är relativt okomplicerade (vilket gör detaljerad granskning onödig), och dels att utvärderingen av dem alltid kommer att innehålla ett mycket stort mått av subjektiv tolkning (vilket gör objektiv detaljerad granskning omöjlig). För ett exempel på dessa ståndpunkter, se Carina Stenssons svar på Behrang Kianzads krav att SvD skulle ta bort en debattartikel av den norska debattören Elin Ørjasæter, eftersom hennes påståenden om att Sverige saknar statistik om invandringens kostnader varit felaktiga. Trots att Ørjasæter själv erkänt att hon haft fel på en punkt vägrade Stensson att införa en rättelse eller, som Kianzad krävde, ta bort texten. Stenssons argument är som följer:

Som debattredaktör är jag självfallet noga med att vi på Brännpunkt lyfter fram personer som är intressanta och kan bidra i debatten. Vi är måna om att lyfta fram viktiga samhällsfrågor och att se till att debattörer med olika infallsvinklar får komma till tals. Men även statistik och forskning kan oftast tolkas på olika sätt, och det är sällan det finns någon exakt sanning, rätt eller fel, så som Behrang Kianzad efterlyser. Det mesta är öppet för tolkningar, så även Ørjasæters text. Inte heller redigerar vi texter i efterhand. När en skribent får kritik och svarar, blir det också en fördjupning där fler argument och förklaringar tillkommer.

Min fetstil. Det är mycket märkligt att Stensson påstår att ”statistik och forskning…oftast [kan] tolkas på olika sätt” i samband med ett fall där författaren själv erkänt att hon haft fel. Starkare evidens på att forskningsläget inte kunde tolkas mer än på ett sätt – nämligen att den data Ørjasæter påstod inte finns visst existerar – går knappt att få.

Vidare skriver Stensson:

Behrang Kianzad vill inte själv gå i polemik med Ørjasæter, han vill i stället se en ursäkt från SvD. Helst vill han att texten ska ”tas bort” så att den inte längre delas. Men vi tar inte bort texter. Vi litar på att våra läsare kan följa debatterna, att de vill ta del av argument för och emot, och blir utmanade att hålla med eller tycka annorlunda. Det är vår service till våra läsare, och vårt demokratiska uppdrag.

Min fetstil. Jag tycker inte heller att texten bör tas bort (detta försvårar ju för den som vill följa debatten) men däremot bör det naturligtvis införas en rättelse när nu Ørjasæter själv erkänt att hon haft fel. Att försvara sig med att ”[v]i litar på att våra läsare kan följa debatterna” framstår även det som minst sagt märkligt. Vad tror Stensson – att läsarna själva ska ha koll på att Sverige faktiskt har den statistik som Ørjasæter menar att de inte har? Inte ens en procent av läsarna lär veta det. Visserligen är det sant att man får veta det om man läser replikerna på Ørjasæters artikel, men många läsare lär inte göra det. Därför är det viktigt att det framgår i Ørjasæters originalartikel att hennes påstående var felaktigt.

I motsats till Stenson menar jag, för det första, med stöd av mina granskningar på den här bloggen, att det för det mesta inte alls är så subjektivt hur man ska tolka statistik och forskning (precis som i detta fall). För det mesta är det ganska tydligt att en tolkning är den rätta. (Sedan är det en annan sak huruvida en hel artikel är bra eller dålig, men vad gäller ett enskilt påstående eller argument kan man ofta säga huruvida det är sant eller falskt, eller giltigt eller ogiltigt.) För det andra menar jag även att det ofta är svårt för många läsare att avgöra huruvida påståenden är falska och/eller missvisande och huruvida argument är ogiltiga. Argumentationen på DN Debatt och SvD Brännpunkt är ofta ganska komplicerad, och innehåller (dessvärre) dessutom ofta en mängd faktapåståenden som inte stöds av några källor.

Vad som därför idealt sett skulle behövas är inte den sortens svepande och allmänna kritik som vi nu får oss till livs, utan snarare den sorts heltäckande detaljgranskningar, där argument och påståenden gås igenom rad för rad, som jag genomför här. Målet med denna typ av granskningar är att inga argumentationsfel så att säga ska slippa igenom. För att förstå att detta är viktigt, så observera att i många artiklar så hänger argumentationen helt på ett eller ett litet antal avgörande argument, i den meningen att slutsatsen helt enkelt inte följer om det inte vore för de argumenten. (Exempel på det återfinns t ex i Alliansens partiledares debattartikel från den 9 december.) Det gör att en halvdan granskning kan ge vid handen att slutsatsen faktiskt följer, trots att den faktiskt inte gör det.

Den här sortens heltäckande detaljgranskningar har dessutom den fördelen att den torde kunna utveckla ett större ”läsdjup” både hos skribenter och läsare (inte minst vore det bra om skolelever tränades på dem). Man kan nämligen läsa och skriva på olika sätt – med olika grad av läsdjup eller med olika starka ”förstoringsglas”. Vårt vardagliga skrivande görs så att säga utan förstoringsglas och innehåller därför logiska luckor och brist på struktur. Eftersom vårt vardagliga läsande också har ett ganska litet läsdjup uppfattar vi emellertid inte det.

Inom vissa vetenskapliga discipliner – inte minst analytisk filosofi, som jag själv är utbildad i – har man utvecklat ett mer ”intensivt” läsande och skrivande som syftar till att göra argumentationen och texters logiska struktur tydligare. Detta sker inte minst genom feedback och kritik från kollegor. Den här sortens heltäckande detaljgranskningar skulle kunna bli ett sätt att utveckla ett sådant intensivt läsande/skrivande bland större grupper. Det skulle förmodligen stärka det rationalistiska etos jag talat om, men även känslan av att ”varje ord räknas”. Läsarna skulle bli bättre på att se de transportsträckor eller retoriska fluff som många av dagens argumenterande politiska texter är fyllda av. Man skulle också bli bättre på att skilja agnarna från vetet – att kunna se vilka artiklar som faktiskt innehåller tydliga och intressanta argument, och vilka som inte gör det. Kvalitetsskillnaderna mellan olika DN Debatt-artiklar är nämligen större än en ytlig granskning ger vid handen, och läsarna borde bli bättre på att uppfatta det.

En annan fördel med att göra granskningen heltäckande och detaljerad är att det torde göra den mer objektiv. Ett skäl till det är att när man läser texter på detta noggranna sätt, så börjar man, menar jag, fokusera mer på om varje enskilt argument och påstående stämmer, och mindre på om man gillar slutsatsen. Vi vet nämligen att vi människor naturligt bedömer argument och påståenden på ett starkt partiskt sätt – vi bortser från, eller bortförklarar, argument och påståenden som inte stöder de uppfattningar vi redan har, och fokuserar istället på de argument och påståenden som stöder våra uppfattningar. Min hypotes (som borde testas empiriskt, om det inte redan gjorts) är därför att den här sortens intensiva granskningar kan fungera som en sorts ”debiasing”-teknik – en teknik för att övervinna våra kognitiva biases. Hypotesen bygger på tanken att biases i stor utsträckning beror på att vi använder vårt snabba System 1 – magkänslan – snarare än vårt logiska men långsamma System 2. I den här sortens noggranna detaljgranskningar använder man System 2 mer, vilket torde reducera mängden felbedömningar.

Ett annat skäl till att den här sortens heltäckande detaljgranskningar torde vara mer objektiva är att de gör att man slipper göra ett urval av punkter man ska kommentera. I vanliga recensioner så väljer recensenten ofta ut ett litet antal punkter som han eller hon kommenterar i detalj. Beroende på vilka punkter som väljs, kan recensenten lätt framställa artikeln eller boken som betydligt bättre eller sämre än den egentligen är. Därför är det ur objektivitetssynpunkt en fördel att slippa göra ett sådant urval.

Den stora nackdelen med heltäckande detaljgranskningar, förutom att de är arbetskrävande att utföra, är att människor ofta inte har tid att läsa dem. Därför är det viktigt att man ger ett sammanfattande omdöme eller betyg, som jag gör på den här bloggen. Om människor får förtroende för betygsättningen, genom att läsa igenom några analyser av artiklar och stämma av med betyget, så kan de använda betygsättningen som en vägledning till om artikeln ifråga är värd att läsa eller ej (ungefär som man använder betygsättning av filmer eller böcker).

Jag tror att den här sortens heltäckande detaljgranskning borde användas mer även inom andra områden; som inom vetenskapen. Även om denna metod på många sätt är inspirerad av peer review-systemet, är det många peer reviewers som inte är i närheten av så här noggranna. Hur noggrann man bör vara när man granskar artiklar beror visserligen i viss mån på ämne, men min känsla är att mycket peer review fortfarande är alldeles för översiktlig och ytlig. Forskare lägger väldigt lite tid på att granska artiklar (i genomsnitt lägger varje reviewer ner nio timmar per artikel han eller hon granskar, men personligen tror jag att detta är en överskattning) i jämförelse med hur mycket tid de lägger på att skriva dem. Min gissning är att man i många discipliner borde minska detta ratio: att man borde granska varandras texter noggrannare (och mer effektivt), även om det skulle leda till att man fick lite mindre tid till att skriva egna texter. Mer kvalitet på bekostnad av något mindre kvantitet.

Eftersom denna typ av heltäckande detaljgranskningar är så tidskrävande, så måste man emellertid fundera på när och i vilka former det är pragmatiskt effektivt att utföra dem. Det vore betydligt lättare att genomföra de detaljgranskningar jag själv genomför om DN Debatt hade en mer omfattande förhandsgranskning, och om man krävde att alla faktapåståenden stöddes av länkade källor. Om kvaliteten på debattartiklarna höjdes (som ett resultat av för – och/eller efterhandsgranskning) skulle det också bli lättare att genomföra dessa granskningar, eftersom artiklar med höga betyg går snabbare att skriva. I vilket fall tror jag att det borde göras fler sådana här noggranna granskningar i svensk debatt, även om man som sagt kan diskutera exakt hur detta ska gå till.