Mediernas ansvar för missvisande opinionsundersökningar

Enligt ett citat som brukar tillskrivas den brittiske premiärministern Benjamin Disraeli finns det tre sorters lögner: lögn, förbannad lögn och statistik. Ironiskt nog är dock citatet självt något missvisande, eftersom det, enligt ett citat som brukar tillskrivas den amerikanske statistikern Fred Mosteller, är lättare att ljuga utan statistik än med statistik. Ändå innehåller citatet ett mått av sanning: bl a eftersom det är relativt svårt att ljuga med statistik, så litar människor mer på statistiska påståenden än på andra påståenden, vilket gör att det blir extra åtråvärt att försöka vilseleda med hjälp av statistik. Det gör i sin tur att missvisande statistik trots allt är ganska vanlig.* Det gör också att man måste vara väldigt uppmärksam på missvisande statistik.

Nyligen skrev jag ett inlägg om hur Alliansen systematiskt förleder väljarna om utvecklingen på arbetsmarknaden under deras år vid regeringsmakten med hjälp av missvisande statistik. I detta inlägg vill jag titta närmare på två statistiska undersökningar som gett helt olika bilder av svenskarnas inställning till icke-ideella friskolor. Den ena undersökningen gjordes av Demoskop på uppdrag av Friskolornas Riksförbund och Centerpartiet, som använde den som underlag för en artikel på Aftonbladet Debatt den 15 april. I artikeln argumenterade Friskolornas Riksförbunds Mikaela Valtersson och Centerpartiets Annie Lööf för att det finns ett stort stöd för privata aktörer på skolans område. Den andra undersökningen gjordes av Exquiro på uppdrag av Lärarnas Riksförbund (LR), som använde den som underlag för en artikel på DN Debatt den 9 september förra året. LR:s Bo Jansson argumenterade där för att det finns ett stort motstånd mot privata vinstuttag i skolan.

Invändningen från bristfällig eller missvisande evidens mot evidensbaserad policy

Dubbelpostad från Nätverket för evidensbaserad policy

En vanlig invändning mot kravet på att alla policies ska vara evidensbaserade är att de utgår från en naiv syn på vår förmåga att samla in och använda oss av evidens. En variant av denna invändning säger att det inte går att finna rigoröst grundad evidens på vissa områden, medan en annan säger att vi är benägna att göra systematiska misstag när vi samlar in evidens (t ex för att vi överskattar våra metoders tillförlitlighet), vilket leder till felbeslut. Låt oss kalla den första varianten ”invändningen från bristfällig evidens” och den andra varianten ”invändningen från missvisande evidens”.

Den första invändningen är lättast att avfärda. Vår position är inte att alla policies ska vara grundade på en viss typ av rigoröst framtagen evidens (säg sådan som man får från s k randomiserade kontrollstudier) utan snarare att alla policies ska vara grundade på så god evidens som möjligt. Om det t ex inte går att göra randomiserade kontrollstudier angående en viss fråga, eller om det är för dyrt eller tar för lång tid att göra det, så får man använda sig av andra former av evidens längre ner i evidenshierarkin.

Vad vi vänder oss emot är inte att man inte använder sig av perfekt evidens hela tiden, utan snarare att man inte använder sig av bättre evidens än man gör när så är möjligt.

Teknokratiinvändningen mot evidensbaserad policy

Dubbelpostat från Nätverket för evidensbaserad policy

Vi såg i förra inlägget att en evidensbaserad politik skulle innebära mindre makt åt politikerna att skapa vilka policies de vill (eftersom de inte skulle få skapa policies som inte är evidensbaserade). En naturlig tanke är att detta innebär en överföring av makt från politiker till experter – eftersom det är experter som känner till vad evidensen säger på olika politikområden. En evidensbaserad politik skulle således leda till en viss grad av ”expertstyre” eller ”teknokrati” (samma ord på grekiska); ord som torde ha en dålig klang i många människors öron.

Stämmer det, och är det i så fall ett problem? Låt oss kalla uppfattningen att det är det ”teknokratiinvändningen” mot evidensbaserad policy. Den är förstås nära kopplad till demokratiinvändningen, men av framställningsskäl skiljer jag på dem och diskuterar dem i separata inlägg.

Demokratiinvändningen mot evidensbaserad policy

Dubbelpostat från Nätverket för evidensbaserad policy

Nätverket planerar att ta upp och bemöta olika vanliga invändningar mot evidensbaserad policy. Vissa av dessa invändningar hörs oftare än andra, men vår uppfattning är att alla de invändningar vi kommer ta upp ibland nämns, och att de därför är värda att ta på allvar.

 

Först ut är den viktiga demokratiinvändningen: uppfattningen att evidensbaserad policy är odemokratisk därför att den – enligt invändningen – tar makt från väljare och politiker och ger den till experter, som inte är demokratiskt tillsatta. Det är inte sällan den första invändningen folk ger när man argumenterar för att politiken borde bli mer evidensbaserad. Man hör dessutom denna invändning ofta i samband med den närliggande idén om att överlåta viktiga beslut på experter (tanken är ju att experternas beslut ska vara just evidensbaserade).

Om varje politiskt beslut måste fattas på basis av tillräcklig evidens (antingen pga tvingande lagstiftning eller något annat skäl), såsom vi föreslår, så skulle det naturligtvis minska politikernas makt.  De skulle t ex inte ha kunnat ta bort fastighetsskatten om de inte kunde ha visat att det är det mest effektiva sättet att uppnå de mål de ställt upp (såsom exempelvis ekonomisk jämlikhet och tillväxt). Demokratiinvändningen går ut på att eftersom det är via politikerna som folkets makt kanaliseras, så gör man härmed maktutövningen mindre demokratisk.

Moralhandel

I den synnerligen intressanta artikeln ”Moral Trade”, som nyligen publicerats i den ledande filosofitidskriften Ethics, drar Oxfordfilosofen och EA-aktivisten Toby Ord upp riktlinjerna för vad som torde kunna bli ett spännande forskningsfält i skärningspunkten mellan moralfilosofi och nationalekonomi: moralhandel.* Moralhandel liknar vanlig handel, men definieras av att den uppstår genom skillnader i moraluppfattningar. Som så ofta är det bäst att förklara med hjälp av ett exempel:

Toby Ord

Victoria och Paul är nära vänner. Victoria är vegetarian eftersom hon är medveten om hur mycket djuren lider i den moderna köttindustrin och vill minska detta lidande så mycket som möjligt. Paul är djupt oroad över den globala fattigdomen och donerar tio procent av sin inkomst till organisationer som effektivt kan förbättra människors liv i fattiga länder. Han tycker om många vegetariska rätter, men äter fortfarande kött för det mesta eftersom han anser att det är lite mer bekvämt och för att han, som kontraktualist, inte tror att djur spelar roll ur moralisk synvinkel. Victoria kan se att Paul är beredd att göra uppoffringar för att hjälpa andra, men det frustrerar henne att han inte är beredd att bli vegetarian – särskilt eftersom det bara skulle vara en liten uppoffring för honom. Han har liknande åsikter om hennes underlåtenhet att ge ett meningsfullt ekonomiskt stöd till världens fattigaste människor. En dag bestämmer de sig för att träffa ett avtal. Hon kommer att börja donera en procent av sin inkomst till att bekämpa fattigdomen i världen, om han går med på att bli vegetarian. Båda två kan avsluta avtalet när som helst. De skulle kunna kolla upp den andre, men eftersom de litar på varandra beslutar de att det räcker att fråga varandra hur det går med att uppfylla avtalet en gång per år.

Min länk. Precis som vad gäller vanlig handel, hjälper moralhandel människor att uppnå sina önskningar i så hög grad som möjligt. Om Kalle föredrar äpplen framför päron, och har ett päron men inget äpple, medan Lisa föredrar päron framför äpplen, och har ett äpple men inget päron, kan de uppfylla sina önskningar på ett kostnadseffektivt sätt genom att byta frukter med varann. På samma sätt kan Victoria och Paul på ett kostnadseffektivt uppfylla sina önskningar om att hjälpa lidande djur respektive fattiga människor genom att bedriva den sorts moralhandel som beskrivs i exemplet.

Såsom Ord förklarar, finns det ingenting speciellt med moralhandel från ekonomisk standardteoris synvinkel:

[D]et är värt att påpeka att moralhandel redan omfattas av nationalekonomins standarddefinition av handel. När ekonomer talar om en persons önskningar, inkluderar de både personens icke-moraliska** och moraliska önskningar i en odifferentierad uppsättning önskningar. Så när det gäller handel, blandas moralhandel och vanlig handel ofta. För ekonomer är moralhandel således inte ytterligare en typ av handel, utan en underkategori.

Detta betyder emellertid, som han skriver, inte att ”moralhandel är välkänd eller omfattande studerad”:

Med undantag för sammanhang där de ställer upp noggranna definitioner, så ger ekonomer relativt lite uppmärksamhet åt det faktum att deras definition av önskningar inkluderar moraliska önskningar. Fastän de tekniskt omfattas av de befintliga formalismerna skulle ett papper om moralhandel anses förvånande bland ekonomerna.

Jag kan inte bedöma huruvida detta är sant vad gäller moraliska önskningar i allmänhet. Dock finns det en ganska stor litteratur om olika sorters moralhandel inom den politiska sfären (se nedan).

Heltäckande detaljgranskningar som ett medel att granska hela discipliner och domäner

Betydelsen av kritik är allmänt erkänd såväl inom vetenskapen som den allmänna debatten. Den enskilde forskaren eller skribenten kommer, menar man, aldrig vara tillräckligt kritisk mot sina egna uppfattningar, och därför behöver vi en kommunitet av forskare och debattörer som kritiserar varandra och avslöjar svaga punkter i varandras resonemang. Denna åsikt, som kanske förknippas allra mest med filosofen Karl Popper, ansluter jag mig naturligtvis till.

Ett problem är dock att den mesta kritiken idag sker inom den egna domänen eller disciplinen. Fysiker kommenterar andra fysikers artiklar, ekonomer andra ekonomers artiklar, och postmodernistiska filosofer andra postmodernistiska filosofers artiklar. Detsamma torde i ganska stor utsträckning gälla även utanför vetenskapen (t ex utgör sportjournalistiken och kulturjournalistiken relativt avgränsade domäner, som är skyddade från kritik utifrån).

Det gör att fastän kritiken kan vara effektiv inom den egna disciplinen eller domänen, så klarar sig disciplinerna eller domänerna själva utan kritik. En konsekvens av det är att den intellektuella nivån inom vissa discipliner eller domäner kan fortsätta att vara låg år efter år. Vi behöver därför möjliggöra för utomstående att kritisera andra discipliner eller domäner. Dessutom behöver vi göra det möjligt att jämföra argumentationskvalitén från radikalt olika discipliner och domäner.

Läsa, snabbt och långsamt

Hur bra är vi på att uppfatta vad andra försöker säga till oss? Den frågan undersökte psykologerna Bruno Galantucci och Gareth Roberts i ett intressant papper som publicerades förra året i PLOS One (se även The Economist). De menar att deras experiment visar att den vitt spridda uppfattningen att vi är ganska bra på att uppfatta vad andra människor försöker säga till oss är helt fel. Istället citerar de gillande George Bernard Shaw:

The single biggest problem in communication is the illusion that it has taken place.

Experimenten (två stycken) är fascinerande och det är värt att gå igenom dem i viss detalj. I båda experimenten lät författarna tjugo studenter som inte kände varandra kommunicera två och två över en internetchattjänst. I det första experimentet fick varje par bilder med kända personer som var exakt likadana med undantag för att färgerna skilde sig åt på några punkter. Uppgiften var att avgöra vilka dessa skillnader var. I den andra experimentet skulle de diskutera vem av fem kända personer som de helst skulle umgås med en dag, och vem de helst skulle undvika att umgås med. I övrigt var dock experimenten likadana, så jag går igenom dem tillsammans.

Nätverket för evidensbaserad policy

Vårt samhälle är genomsyrat av vetenskapen. Inte bara på universiteten, utan även inom företagsvärlden, idrottsvärlden, välgörenhetssfären, etc, så används vetenskapligt tänkande på ett framgångsrikt sätt i allt högre grad. Det är därför knappast förvånande att de flesta ser det som en självklarhet att även statens, landstingens och kommunernas arbete ska präglas av vetenskaplig metodik och baseras på vetenskaplig evidens.

Fastän denna tanke varit populär länge, har den fått ett ytterligare uppsving på senare tid. Inte minst i USA, Storbritannien och andra engelskspråkiga länder talar man om betydelsen av att policies är evidensbaserade. Detta uttryck är lånat från medicinen, där rörelsen för evidensbaserad medicin vunnit allt mer mark. Inom denna rörelse har man inte minst betonat vikten av att medicinska beslut fattas på basis av rigorösa s k randomiserade kontrollstudier, där man jämför en grupp som fått t ex en ny medicin med en slumpmässigt utvald kontrollgrupp, som typiskt sett fått placebobehandling.

SvT:s nya granskningssatsning Livekollen och politikers obenägenhet att svara på frågor

SvT har börjat med en ny form av faktagranskning som man kallar Livekollen:

I dag startar SVT Nyheters nya projekt Livekollen. Med utgångspunkt i SVT:s Agenda kommer ett team av reportrar och researchers tillsammans med publiken att livegranska ett ämne eller ett påstående i 24 timmar.

Vad sa de egentligen? Debatten gick het, men stämde siffrorna? Finns rapporterna? Och är slutsatserna rätt?

Vi tror att SVT kan ge mer bakgrund, fakta och sammanhang till de debatter och intervjuer vi sänder i våra nyhets- och samhällsprogram. Och vi tror att vi kan och ska göra det tillsammans med vår publik. Därför startar vi nu Livekollen.

Projektet drar igång i kväll. Som utgångspunkt följer vårt team av erfarna researchers och reportrar Agenda i SVT 2 för att se om det dyker upp argument från politiker och andra makthavare som vi kan granska och syna. Vi kan också välja ut en aktuell politisk fråga som vi fördjupar. Efter sändningen startar arbetet.

Ständig dialog

Via #livekollen är vi i dialog och ber om er hjälp. På svtnyheter.se kan ni i realtid följa granskningen. Fram till klockan 21 dagen därpå rullar en livetext-rapport där ni kan se vilken statistik och vilka rapporter vi begär ut, vem vi intervjuar och vilka av era tips vi går vidare med. Via #livekollen är vi i ständig dialog. Vi tror att ni har massor av kunskap att spela in.

Jag argumenterade nyligen för att SvT antingen borde pressa politikerna hårdare under själva programmen, eller efterhandsgranska deras påståenden, och är därför naturligtvis positivt inställd till detta initiativ. Dock invänder jag mot följande resonemang:

Målet med Livekollen är inte främst att fastslå om ett argument är sant eller falsk. Utan att tillsammans med er få fram så mycket fakta och underlag som är möjligt under tjugofyra timmar. Fakta som hjälper var och en att själv bilda sig en uppfattning om de aktuella politiska frågorna.

Med detta antyder man att det ofta inte går att fastställa huruvida ett argument är ogiltigt eller huruvida ett faktapåstående är falskt och/eller missvisande. På basis av mina granskningar av DN Debatt-artiklar anser jag att detta inte är korrekt. För det mesta går det visst att fastslå rimlighetsgraden i argument och påståenden som framförs i den politiska debatten.

Särintressen, rationell argumentation och blocköverskridande samarbeten

En viktig typ av politiska frågor som kan lösas genom att man dels övergår till ett mer rationellt sätt att argumentera, och dels ökar det blocköverskridande samarbetet, är frågor där ena sidan representerar ett särintresse medan den andra sidan representerar allmänintresset. Låt mig ta två exempel på detta som varit uppe i debatten på senare tid: aktivt förvaltade fonder och fastighetsskatter.