Betyg på DN Debatt 25 mars: 2/10

På dagens DN Debatt skriver statsvetarprofessorerna Sten Widmalm och Sverker Gustavsson (Uppsala) att en Pisa-anpassad skola urholkar självständighet och tolerans.  Artikeln kritiserar riksdagens ”tillkännagivande” om att utöka matematikundervisningen på högstadiet, något man menar kommer att gå ut över humanistiska och samhällsvetenskapliga ämnen. Detta riskerar i sin tur att ”underminera demokratin”, som man skriver.

Man belägger inte på något sätt att man verkligen kommer skära ner på undervisningen i humanistiska och samhällsvetenskapliga ämnen. Vidare är argumenten för att en sådan nedskärning skulle kunna underminera demokratin mycket svaga. Generellt sett innehåller artikeln en mycket lång rad logiska felslut, såsom tveksamma användningar av auktoritetsargument, guilt-by-assocation, falska dilemman, mm. Artikeln är dessutom väldigt ostrukturerad – man hoppar från det ena argumentet till det andra utan att signalera vart man är på väg. Den förefaller vara hastigt hopkommen.

Den svenska skolan är i kris. Debatten om hur man ska lösa den krisen måste föras på en helt annan nivå än vad som görs i den här artikeln, annars kommer vi aldrig komma någonvart.

Betyget blir 2/10. Fler kommentarer följer nedan.


Författarna skriver som följer i första stycket:

[I] förra veckan röstade riksdagen fram ett ”tillkännagivande” om att utöka undervisningen i matematik i årskurs 7–9. Det är Alliansen som ligger bakom förslaget som röstades igenom med stöd från Sverigedemokraterna. Socialdemokraterna säger sig vara tveksamma främst eftersom man vill undvika att besluta enskilt om vissa ämnen.

Det stämmer; se Svenska Dagbladet.

Utan att börja med ett nytt stycke övergår man sedan till följande resonemang.

Nog för att svenska elever kan bli bättre i matematik, men frågan som bör ställas är vad förslaget innebär för andra ämnen. Det är nämligen helhetsbilden som avgör om eleverna inte bara kan räkna, utan även om de kan försvara demokratin.

Det är lite förvirrande att man ger detta argument omedelbart efter att man redogjort för Socialdemokraternas argumentation i frågan. Det gör att man kan få intryck av att det är Socialdemokraterna som lägger fram detta argument. Så är knappast fallet, utan detta argument är författarnas eget.

Man fortsätter:

OECD:s ”Programme for International Student Assessment”, de så kallade Pisa-mätningarna, styr skolpolitiken inte bara i Sverige utan över hela världen. Problemet är att dessa mätningar mest gäller matematiska och naturvetenskapliga färdigheter.

Det stämmer inte helt. Pisa består av fyra delar: matematik, läsförståelse, naturvetenskap och generell (ämnesoberoende) problemlösning. Endast två av fyra delar handlar således uteslutande om matematiska och naturvetenskapliga färdigheter. Det ska också påpekas att fallen i de tre första delarna av testet samvarierar mycket starkt:

Även vad gäller problemlösning har resultaten fallit. Den svenska skolans problem verkar således inte handla enbart om fallande matematiska och naturvetenskapliga färdigheter, vilket man kan få intryck av när man läser debattartikeln.

Vidare:

Riskerna med låta Pisa-mätningarna styra är att det leda till att eleverna hämmas i sin intellektuella utveckling och frigörelse. Det kan även leda till att demokratin undermineras, vilket framgår om vi kopplar ihop den samhällsvetenskapliga forskningen inom både utbildnings- och demokratiområdet.

Min fetstil. Ett ganska starkt påstående, minst sagt. De ger två argument för det. Det första kommer i följande stycke:

Utbildningsforskarna Diane Ravitch och Yong Zhao vänder sig starkt mot den upptagenhet vid prestationsmätningar som har präglat USA under några decennier och Kina i två tusen år. Ravitch var i början av nittiotalet statssekreterare i det amerikanska utbildningsdepartementet medan Zhao är professor i Oregon men har sina rötter i Kina. Zhao och Ravitch menar att en överdriven tilltro till mätningar av det slag som Pisa representerar leder till hämmad kreativitet, osjälvständigt tänkande, brist på innovationsförmåga, fusk, korruption, och utbrända elever och lärare.

Detta är ett s k auktoritetsargument – ett argument som går ut på att vi ska tro på något enbart därför att auktoriteter eller experter säger att det är så. (Sådana argument står i kontrast mot argument där man hänvisar till vad man kan kalla direkt evidens, som t ex empiriska observationer.)  Författarna hävdar att Ravitch och Zhao är auktoriteter på området, och att vi därför ska lita på deras ord att ”en överdriven tilltro till mätningar av det slag som Pisa representerar leder till hämmad kreativitet, osjälvständigt tänkande, brist på innovationsförmåga, fusk, korruption, och utbrända elever och lärare”.

Det finns två saker man kan säga om författarnas bruk av auktoritetsargument. Det första och allvarligaste problemet är att när man inte ger en rättvisande bild av den samlade expertisen på området (det är ju den samlade expertisen som är den relevanta auktoriteten, inte Ravitch och Zhao). Det finns såvitt jag förstår många som försvarar Pisa-mätningarna. Igår publicerade t ex Washington Post en mycket intressant artikel av Pasi Sahlberg och och Andy Hargreaves om hur Pisa-mätningarna gjort det möjligt att jämföra effektiviteten hos olika länders skolsystem. Istället för att försöka ge en sådan samlad bild, refererar man endast till två experter. Det är minst sagt inte ett bra sätt att argumentera.

För det andra finns det förvisso en plats för auktoritetsargument i den offentliga debatten, men generellt sett tycker jag att man ändå ska försöka ge åtminstone någon direkt evidens i form av empiriska studier (allra helst metastudier eller systematiska översikter).

Låt oss övergå till att titta på författarnas andra argument:

Därutöver finns det enligt vår mening ytterligare en central aspekt att beakta som relaterar till Ravitch och Zhaos observationer. Aktuell forskning i Toledo-projektet vid vår institution om vad som skapar tolerans i olika samhällen internationellt visar, att man bör ta kritiken ett steg längre. Politisk tolerans – alltså människors vilja och benägenhet att dela rättigheter lika mellan alla medborgare, även med dem vars åsikter de inte delar och kanske rentav starkt ogillar – är grundbulten för varje fungerande demokrati. Från våra västliga demokratier vet vi att skolan och utbildningen spelar central roll för graden av politisk tolerans.

Min fetstil. Båda dessa påståenden borde getts empiriska belägg. Man fortsätter resonemanget som följer:

Men i länder där resursbristen är stor eller där regimen drar åt det auktoritära hållet, finns det inget samband mellan graden av utbildning och politisk tolerans. Förklaringen är att dessa länder kraftigt nedvärderar samhällskunskap och humaniora vilket Pisa inte mäter alls. I stater som är diktaturer eller halvauktoritärt styrda vill regimen få bort sådana ämnen från skolor och universitet.

Den officiella förklaringen är att de måste prioritera utbildningar som bidrar ekonomisk tillväxt. En troligare förklaring till frånvaron av humaniora och samhällskunskap är att dessa ämnen uppmuntrar självständigt tänkande, ifrågasättande, kreativitet och liberala värderingar generellt, vilka i sin tur undergräver auktoritära krafter. Kina toppar alltid Pisa-mätningarna, men dess medborgare ligger i botten vad gäller tolerans enligt internationella mätningar. I Uganda vill president Museveni lägga ner universitetsutbildningar i humaniora och samhällsvetenskap för att de är ”värdelösa” och i stället vill han satsa på yrkesutbildningar, naturvetenskap och matematik. Officiellt vill han värna om den ekonomiska tillväxten, men Museveni har även gjort sig känd för att vilja mota bort ämnen där individer utvecklar tankar om fri politisk opposition och rättigheter för minoriteter.

Det finns flera saker som är problematiska med detta resonemang. Det första man kan fråga sig är: stämmer det verkligen att diktaturer vill få bort samhällsvetenskap eller humaniora från universiteten? I många kommunistiska länder har man ju haft mycket undervisning kring Marx läror, som ju får betraktas som samhällsvetenskapliga. I många fascistiska och auktoritärt nationalistiska länder har man haft mycket historieundervisning, som använts för att glorifiera nationen.

Detta pekar också på att samhällsvetenskap och humaniora inte alls alltid uppmuntrar självständigt tänkande och ifrågasättande. De kanske gör det i Väst (men det skulle man velat se evidens för) men inte överallt.

Vidare är mitt intryck att detta delvis är ett försök till guilt-by-association. Man vill associera en minskad undervisningstid i humanistiska och samhällsvetenskapliga ämnen med diktaturer som Kina, och hoppas att de negativa känslor vi har inför diktaturer ska färga av sig på förslaget (om det nu är ett förslag – det klargörs som sagt aldrig) om en minskad undervisningstid i humanistiska och samhällsvetenskapliga ämnen. Detta är att argumentera med magkänslan snarare än med hjälp av logisk reflektion.

Man fortsätter:

Vi ser därför med oro på en svensk New public management-driven utbildningspolitik som stirrar sig blind på några grovt förenklade och reducerande mätpunkter som används i Pisa-mätningarna. För att låna logiken i Diane Ravitchs argumentation kan man fråga sig hur det kommer sig att Sverige som presterar dåligt enligt Pisa är ett av de länder som klarat sig bäst genom de senaste tjugofem årens ekonomiska kriser. Kan det bero på att frånvaron av blind tilltro till auktoriteter ger förutsättningar för ett effektivt arbetsliv utan onödig byråkrati?

Detta stycke hänger dåligt samman med det föregående, vilket är förvirrande.

Dessutom är resonemanget inte seriöst. För det första är fallet i Pisa ganska nytt, och många av årskullar vars genomsnittsresultat varit låga har ännu inte kommit ut på arbetsmarknaden, vilket gör att deras eventuella lägre produktivitet ännu inte fått ekonomiska effekter. För det andra finns det naturligtvis massor av andra faktorer som bestämmer en nations ekonomiska välstånd utöver basala färdigheter i t ex matematik och läsförståelse, vilket gör att de eventuella effekter sjunkande färdigheter i dessa ämnen har på den ekonomiska produktiviteten endast kan urskiljas med hjälp av avancerade statistiska tekniker (enligt den kända utbildningsforskaren Alison Wolfs studier finns det sådana effekter, men jag har inte aktuell forskning klar för mig). Korrelation implicerar inte kausalitet, och avsaknaden av en korrelation (mellan sjunkande resultat i Pisa och sjunkande ekonomiskt välstånd) implicerar inte heller avsaknaden av kausalitet. För det tredje kan man naturligtvis inte enbart titta på Sverige när man bedömer vilka effekter sjunkande resultat i Pisa-mätningarna har på ekonomiskt välstånd, utan måste även titta på hur det går andra länder.

Vidare får man inte heller någon som helst evidens för att ”frånvaron av blind tilltro till auktoriteter ger förutsättningar för ett effektivt arbetsliv utan onödig byråkrati”. Sverige kännetecknades ju inte heller av någon ”blind tilltro till auktoriteter” innan de senaste tjugofem årens kriser, vilket gör att det inte är självklart hur författarnas förklaring är tänkt att fungera. Om avsaknad av blind tilltro till auktoriteter ger ekonomiskt välstånd borde ju Sverige varit rikt redan innan de senaste tjugofem årens kriser. Vårt relativa välstånd borde inte ha ökat sedan dess eftersom våra eftersom vår grad av auktoritetstro inte har minskat relativt andra länder (givet att rationalistiska och självförverkligande-värderingar korrelerar med en låg auktoritetstro, vilket jag tror även om det inte är självklart). (Man kan ju också notera att Sverige inte alls klarade 90-talskrisen särskilt bra, vilket gör att tidsangivelsen är felaktig.)

Visst, de gör kvalifikationer av dessa resonemang: de skriver ”man kan fråga sig hur” i den andra meningen, och den tredje meningen är en retorisk fråga. Det ursäktar emellertid inte slappheten i dessa spekulationer.

Vidare skriver man:

Vi ser också med oro på en forsknings- och utbildningspolitik inom EU och Sverige, där samhällsvetenskap och framför allt humaniora systematiskt nedvärderas.

Detta ger man ingen evidens för.

Vidare:

Det tydligaste mönster vi ser är att sviktande Pisa-resultat nästan betraktas som ett slags hot mot den nationella säkerheten – trots att vi vet att mätmetoderna är snäva och bristfälliga. ”Mjuka” ämnen som humaniora och samhällsvetenskap bli lätta byten då de ställs mot Pisa-mätningarnas skenbart tydliga resultat i form av siffror.

Läsförståelse är rimligen ett ”mjukt” ämne och mäts i Pisa-mätningarna. (Även ”mjuka” ämnen går att mäta, i motsats till vad författarna antyder.) Att Sveriges resultat sjunker i Pisa implicerar inte att man ska satsa just på matematik. Resultaten i problemlösning och läsförståelse sjunker också, som synes ovan, och detta är rimligen något man också borde göra något åt.

Man fortsätter:

Vi vänder oss även mot en biståndspolitik som inte tar hänsyn till vad som ingår i den undervisning som man ger stöd till i andra länder.

Denna mening hänger inte alls ihop med resten av texten och förefaller helt slumpmässigt instoppad. Dessutom är det omöjligt för mig och den överväldigande majoritet av läsarna som inte känner till detaljerna av svensk biståndspolitik på undervisningsområdet att förstå vad författarna refererar till här.

Vidare skriver man:

Det finns skäl att varna för bruket av förenklade utvärderingar. Det går inte att skapa en formel för hur vi med sammanfattande mått ska styra ett helt skolsystem. New public management-reformernas dogmatiska tillämpning skapar alltför många oönskade effekter. Styrning och fördelning av medel bör ske efter samråd mellan lärare, rektorer och förtroendevalda.

Man kan notera att man inte gett särskilt mycket till argument för att Pisa skulle ha brister. Detta är emellertid inte det allvarligaste problemet, eftersom även de som försvarar Pisa, såsom Sahlberg och Hargreaves, erkänner att testerna är långtifrån perfekta. Problemet är istället att författarna inte ger några som helst argument för att alternativet – att lita på lärares och andra experters intuitioner – är att föredra. Hur vet vi att styrning av skolan som inte informeras av systematiska mätningar verkligen är bättre? Det säger författarna ingenting om. Sahlberg och Hargreaves ger däremot en hel del intressanta argument för att Pisa trots sina brister faktiskt förbättrat situationen.

Min gissning är att många av motståndarna till mätningar – såväl på skolområdet som på andra områden – har en överdrivet optimistisk bild av den mänskliga intuitionens tillförlitlighet. Studier har visat att människan lider av en mycket lång rad psykologiska biases, vilka minskar tillförlitligheten hos våra intuitioner. I linje med det har andra studier visat att experters omdömen inte alls är så tillförlitliga som många tror. Något som är särskilt intressant i sammanhanget är att en stor mängd studier visat att ytterst förenklade eller ”reducerande” algoritmer eller formler har visat sig kunna slå experter på en lång rad olika områden (länken är fascinerande och rekommenderas starkt). Vi lider emellertid av algoritmbias – vi tycker att det är allvarligare när en algoritm gör fel än när en människa gör det – vilket gör att vi använder oss av algoritmer mindre än vad vi borde göra givet hur effektiva de visat sig vara.

Det följer naturligtvis inte av detta att just Pisa kan förbättra vårt beslutsfattande. Det finns förstås mätningar och algoritmer som är så dåliga att de försämrar vårt beslutsfattande. Men generellt sett gör motståndarna till mätningar ofta det alldeles för lätt för sig: de tycker att mätningarna måste vara perfekta för att de ska vara något att ha (medan det räcker att de förbättrar vårt beslutsfattande för att vi ska använda dem), och överskattar tillförlitligheten hos experters intuitioner.

Författarna borde i alla händelser ägnat dessa svåra och viktiga frågor mycket mer uppmärksamhet.

Vidare:

Om detta ska fungera måste lärarna ges tid att reflektera över sin verksamhet. Satsningar som syftar till att öka lärarnas kompetens och självrespekt är vägen framåt. Men har vi ständigt bara Pisa-resultaten för ögonen riskerar vi att kasta bort sådant som fungerar bra och som fostrar medborgare som är demokratiskt sinnade, uppfinningsrika, och kan arbeta på eget ansvar. Elever som är bra på att få höga poäng i Pisa riskerar att inte kunna så mycket annat.

Min fetstil. Man ger ingen evidens för det. För att testa detta påstående borde man jämfört Sverige med länder som är lika oss men som får höga poäng på Pisa, som Finland. Om det skulle vara så att de finska eleverna inte kan så mycket annat än att få höga poäng i Pisa, så vore det stark evidens för författarnas påstående.

Jag tvivlar emellertid på att det förhåller sig på det sättet. Min gissning är att valet mellan höga poäng i Pisa och andra kunskaper är ett falskt dilemma (god läsförståelse ger t ex rimligen ökade möjligheter till inlärning av alla andra teoretiska ämnen).

Vidare:

Själv var Diane Ravitch för tjugofem år sedan en drivande kraft för en New public management-inriktning av en amerikanska skolpolitiken, men har ändrat uppfattning. Tidigare än de flesta skolpolitiker och utbildningsforskare lät hon sig övertygas om att mätning kopplat till resurstilldelning i praktiken leder till att lärare och forskare avprofessionaliseras.

Återigen har vi här ett tveksamt auktoritetsargument – det finns fler experter än Ravitch, och hennes historia utgör inte särskilt stark evidens. Det är ganska ironiskt att författarna upprepade gånger utgår från att läsarna ska ha blind tilltro till Ravitchs auktoritet, givet deras hyllning av svenskarnas obenägenhet att ha just blind tilltro till auktoriteter.

Vidare följer det inte av att man har tester som Pisa att man ska basera resurstilldelning på mätningar.

Man avslutar:

Hennes polemik underförstår att detta är en punkt där extremerna möts. Västerländsk marknadsfundamentalism likaväl som kinesisk kommunism har som yttersta konsekvens att lärarna inte utvecklar sitt arbete med eleverna. Så blir fallet om det lönar sig bättre att anpassa sig till vad som mäts än att koncentrera sig på sin yrkesuppgift.

Här har vi återigen ett guilt-by-association-felslut. Dessutom ger man ingen evidens för att ”västerländsk marknadsfundamentalism” leder till att lärarna inte utvecklar sitt arbete med eleverna.

Vidare är ”marknadsfundamentalism” något helt annat än att använda kvantitativa tekniker för att undersöka kvaliteten i olika skolsystem. Sahlberg och Hargreaves skriver intressant om detta:

[W]ere it not for their repeated high performance on PISA, nobody would have heard of or been able to celebrate the social and educational characteristics of Finland and Canada – not us, and not several of the academics who signed the petition opposing PISA. Much of the global campaign to improve the status and quality of teaching turns on the evidence of how stringently Finland selects and trains its teachers, how much it values them politically and throughout the society, and how it expects them to collaborate by creating most of the curriculum themselves in collaboration with their colleagues. Neither Finland nor Canada test their students relentlessly, subject after subject and grade after grade. Nor do they force schools to compete against one another for enrolment, students’ test scores, and, ultimately, financial resources.

Om detta stämmer tycks slutsatsen av Pisa alltså inte alls vara att vi ska gå över till ”marknadsfundamentalism”.

Advertisements

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s