Invändningen från bristfällig eller missvisande evidens mot evidensbaserad policy

Dubbelpostad från Nätverket för evidensbaserad policy

En vanlig invändning mot kravet på att alla policies ska vara evidensbaserade är att de utgår från en naiv syn på vår förmåga att samla in och använda oss av evidens. En variant av denna invändning säger att det inte går att finna rigoröst grundad evidens på vissa områden, medan en annan säger att vi är benägna att göra systematiska misstag när vi samlar in evidens (t ex för att vi överskattar våra metoders tillförlitlighet), vilket leder till felbeslut. Låt oss kalla den första varianten ”invändningen från bristfällig evidens” och den andra varianten ”invändningen från missvisande evidens”.

Den första invändningen är lättast att avfärda. Vår position är inte att alla policies ska vara grundade på en viss typ av rigoröst framtagen evidens (säg sådan som man får från s k randomiserade kontrollstudier) utan snarare att alla policies ska vara grundade på så god evidens som möjligt. Om det t ex inte går att göra randomiserade kontrollstudier angående en viss fråga, eller om det är för dyrt eller tar för lång tid att göra det, så får man använda sig av andra former av evidens längre ner i evidenshierarkin.

Vad vi vänder oss emot är inte att man inte använder sig av perfekt evidens hela tiden, utan snarare att man inte använder sig av bättre evidens än man gör när så är möjligt.

 

Invändningen från missvisande evidens är troligen vanligare. Jag kommer här inte kunna avfärda den konklusivt med hjälp av tvingande empirisk evidens, utan kommer istället ge några mer allmänna skäl för att tro att den inte stämmer, samt visa att några vanliga sätt att tänka kring denna invändning är felaktiga.

Ett sätt att backa upp den på är att genom att titta på historien. Den liberale debattören Johan Norberg skrev t ex som följer om begreppet ”expertstyre”, som är associerat med evidensbaserad policy (det ska dock noteras att förhållandet dem emellan inte är okomplicerat), för Timbro 1999. (Artikeln är ett svar på en DN Debatt-artikel där ekonomiprofessorn Lars Calmfors argumenterade för att experternas ”roll i politiken” borde ”förstärkas”.)

Att tro att experter är någon garant för upplyst politik är lika dumt som att tro att politiker är det. Vilka har betraktats som ”experter” i efterkrigstidens Sverige? Jo, de som har förklarat att det inte finns några moraliska värden som politiken måste ta hänsyn till, de akademiker som i Marx anda expanderade staten i alla riktningar, de sociala ingenjörer som lade våra liv till rätta. Även i Calmfors egen profession har knaset stått som spön i backen. 70-talets svenska nationalekonomer trodde på keynesianskt vis att de kunde styra ekonomi och konjunkturer till den bästa av världar. I början av 90-talet stod de enade bakom en valutareglering som slog sönder Sveriges industri och kostade skattebetalarna många tiotals miljarder.

”Experter” är inte mindre påverkade av tidsandans fördomar och myter än befolkning och politiker, tvärtom är de ofta upphov till dem. Visserligen är de ofta mer konsekventa och tycker att folket är trögt och har motsägelsefulla åsikter, men Sveriges problem under efterkrigstiden är faktiskt att moderna idéer om social ingenjörskonst och regleringspolitik har slagit igenom allt för snabbt, och inte hindrats av några trögheter i systemet.

Norberg har naturligtvis rätt i att det finns en mängd historiska exempel på felaktiga expertbeslut. Dessa experter menade sig rimligen agera på basis av vetenskaplig evidens, så således finns det, i en mening, exempel på policies som åtminstone föregivits vara evidensbaserade, som haft negativa (i vissa fall kraftigt negativa) konsekvenser. Detta skulle i sin tur kunna bero på att experter systematiskt överskattat sin förmåga att förutsäga effekten av olika policies.

Att det finns historiska exempel på felaktiga expertbeslut är emellertid inte i sig ett avgörande argument mot uppfattningen att alla policies bör vara evidensbaserade. Det finns naturligtvis även massor med exempel på icke-evidensbaserade policies som haft negativa konsekvenser. Det räcker således inte med att peka på några enskilda exempel på evidensbaserade policies som inte fungerat, utan istället måste man visa att de i genomsnitt varit sämre än icke-evidensbaserade policies. Har vi skäl att tro att så är fallet?

Man kan formulera ett argument för den positionen utifrån från den amerikanska filosofen Nancy Cartwrights arbete. Cartwright menar att många förespråkare för evidensbaserad policy har fäst alldeles för stor tilltro till randomiserade kontrollstudier, RCTs. Det faktum att en viss policy visat sig fungera i en viss RCT visar inte att den kommer fungera i alla kontexter, som vissa företrädare för evidensbaserad policy trott. Om en grupp är tillräckligt annorlunda den grupp som RCTn utförts på, så kommer de insikter RCTn givit oss inte vara relevanta, menar Cartwright. Likaså argumenterar hon för att det finns andra metoder för att identifiera effektiva policies än RCTs, och att dessa företrädare för evidensbaserad policy underskattat dem. Med andra ord menar Cartwright att RCTs ofta använts på ett både ensidigt och mekaniskt sätt av företrädare för evidensbaserad policy.

Även om Cartwright helt säkert har rätt i detta, förefaller det ändå otroligt att policies som helt och hållet är baserade på politikers magkänslor skulle vara bättre än evidensbaserade policies. Systematiskt, strukturerat tänkande har visat sig överlägset magkänslan på en lång rad områden – från baseball till politiska förutsägelser – så det vore otroligt om detsamma inte skulle gälla även politiken. Cartwrights poäng är knappast heller att politiken inte över huvud taget ska vara evidensbaserad. Istället vill hon vi ska använda evidens på ett mer tillförlitligt och sofistikerat sätt än vissa företrädare för RCTs gjort när vi försöker göra politiken mer evidensbaserad.

Detta pekar på något viktigt, nämligen att den evidensbaserade approachen till politiken utvecklas på ett sätt som magkänsloapproachen rimligen inte gör. Vetenskapen får hela tiden en mer nyanserad och sofistikerad bild av samhället och människan. Att man begått stora misstag i det förflutna – t ex under 1900-talet, som Norberg visar – visar således inte att man kommer att göra samma misstag framöver. Det gör att evidensbaserad politik bara lär bli mer och mer överlägsen den magkänslobaserad politik.

Cartwright vill emellertid även säga någonting annat än enbart kritisera just RCTs, nämligen att även om vi i så hög grad som möjligt ska försöka samla in statistisk evidens för att utvärdera våra policies, så måste vi använda vårt omdöme när vi tolkar denna evidens. Det finns ett kontinuum från en politik som helt och hållet är baserad på subjektiva omdömen till politik som helt och hållet är baserad på statistisk evidens, och enligt Cartwright kan vi inte gå hela vägen till den högra änden av detta kontinuum utan att börja begå rejäla misstag.

Cartwright har utan tvekan rätt även i detta. Exakt hur långt åt höger man ska placera sig längs detta kontinuum kan diskuteras; vi skulle behöva mer empiri för att avgöra frågan. Min tro är att ju bättre data vi får, desto längre åt höger kommer det vara rationellt att gå. I en inte alltför avlägsen framtid kan olika sofistikerade dataprogram komma att användas inte enbart för att förstå samhället, utan även för att föreslå policies i stor skala. I takt med att sådana program blir mer sofistikerade lär utrymmet för oss människor att kunna förbättra de policies programmen föreslår med hjälp av våra subjektiva omdömen gradvis minska.

 

För att sammanfatta räcker det inte med att visa att evidensbaserade policies ibland visat sig vara misslyckade för att förkasta projektet att göra politiken mer evidensbaserad. Istället måste man visa att det av något skäl inte går att få en vetenskaplig, systematisk förståelse av politiken och att vi därför är hänvisade till magkänslor och subjektiva omdömen. I en tid när människans förståelse av världen ökar med accelererande hastighet på alla områden förefaller denna pessimistiska syn – som bl a försvarades av den kände brittiske konservative filosofen Michael Oakeshott – alltmer verklighetsfrämmande.

Avslutningsvis kan man notera att Norberg nyligen försvarade det oberoende utredningsväsendet, som ju är tänkt att ge politiken tillförlitlig, vetenskaplig evidens, mot mer magkänslobaserade politiska beslutsprocedurer, så möjligen har han ändrat uppfattning vad gäller evidensbaserad policy.

Advertisements

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s