”Är journalister klickhoror eller bara idioter?”
Reportrar som läser vetenskapliga rapporter framstår ibland som mer än lovligt korkade. Fast egentligen är det kanske ännu värre.
Det här är en argumenterande text. Alla åsikter är skribentens egna.
I Svenska Dagbladet berättas att “flera nordiska forskare tycker att det är dags att flytta de nationella proven”. Detta eftersom “flera” stora studier visar att höga pollenhalter hänger ihop med sämre provresultat, även hos elever utan allergi. ”Flera” forskare är i själva verket två och ”flera” studier är tre. Vad begreppet ”hänger ihop” innebär i sammanhanget visar sig dessutom vara mycket vagt vid närmare granskning.
En av studierna, från Finland, har undersökt pollensäsongens påverkan på elevers provresultat. Den säger sig ha funnit att under dagar med högre pollenhalter presterar eleverna sämre. Det låter ju illa. Och som om allergiska barn riskerar att drabbas särskilt hårt. Men är det så? Studien i fråga jämförde enbart elevernas resultat mellan dagar med höga pollenhalter och låga pollenhalter. Studien visar därmed enbart att provresultaten överlag är sämre under dagarna med mer pollen i luften, inte att barn med pollenallergi presterar sämre än andra barn. Studien skiljer nämligen inte mellan barn med respektive utan allergi. Den jämför inte heller eleverna från ett provtillfälle till ett annat.
Studien visar således enbart korrelation mellan höga pollenhalter och lägre resultat. Dessutom är resultatförsämringen marginell. Det handlar om 0,046 till 0,245 provpoäng per 10 pollenkorn per kubikmeter luft. I det värsta scenariot kan detta resultera i 0,7 poäng i snitt lägre resultat på provet. Studien visar inte heller kausalitet, alltså orsakssamband. Med andra ord kan man inte med säkerhet säga att det var pollen som orsakade poängtappet, även om det kan vara så. Den enda slutsats som kan dras är att det finns ett litet, statistiskt påvisbart samband mellan pollenhalten och lägre examensresultat, men att detta är marginellt och inte definitivt på individnivå.
En engelsk studie jämförde resultat för elever med respektive utan allergi vid två provtillfällen, där det förra var under vintern och det senare under pollensäsongen på våren. Av eleverna som uppvisade sämre resultat vid det andra provtillfället löpte de som hade rapporterad pollenallergi 40 procent högre risk att prestera sämre. Elever som tog receptbelagd medicin mot pollenallergi hade ytterligare 7 procent större risk att prestera sämre. Detta kan ju låta riktigt dåligt, men vad studien i själva verket visar är det här: av studenter utan allergi riskerar 10 procent att prestera sämre. Av studenterna med allergi riskerar 14 procent att prestera sämre. Och av de med allergi och som tar viss medicin riskerar 17 procent att prestera sämre. Studien visar inte faktiska resultat utan enbart risken för sämre resultat. Mätt i hela gruppen, alltså både allergiker och övriga, riskerar 3 till 6 procent att prestera sämre på vårens prov jämfört med vinterns prov. Även denna studie visar alltså en marginell, icke kausalt fastställd, försämring vid mer pollen i luften.
Så till den tredje studien. Den är norsk och visar på en snittminskning på “2,5 procent av en standardavvikelse” i testresultat överlag under pollensäsongen, med brasklappen att “det potentiellt kan medföra högre effekt för allergiska elever”. Försämringen är inte specifik för vissa studenter utan gäller alla studenter under pollensäsongen. Att resultattappet handlar om pollenallergi är inte fastlagt och författarna skriver själva att det är svårt att med säkerhet avgöra att uppskattningarna beror på allergiska reaktioner.
Siffran 2,5 procent kan tolkas på många sätt – som en alarmerande orättvisa eller som en statistiskt knappt påvisbar skillnad som heller inte är möjlig att fastslå. Eftersom studien inte inkluderar information om vad standardavvikelsen innebär i absoluta tal (2,5 procent av vad? Ett betygssteg? En viss poängsumma?) är det en intetsägande siffra som låter påskina en orättvisa. Inte heller denna studie visar kausalitet. Korrelation, javisst, men sådan kan påvisas om mycket. Ett vanligt exempel är att stigande glassförsäljning korrelerar med ett ökande antal drunkningsolyckor vid varmare väder.
Ingen av de tre studierna kan visa att allergi de facto försämrar provresultaten. Forskarna själva använder begrepp som ””troligen” men betonar att avvikelserna är små och att kausalitet inte kan etableras. I SvD kan vi dock läsa att ”resultatet visade att högre pollenhalter hängde ihop med sämre provresultat, särskilt i matte, fysik och kemi”, som om det handlade om stora och faktiska resultatförsämringar och därmed en reell, allvarlig orättvisa. Två forskare intervjuas. Båda diskuterar huruvida proven bör flyttas. I Norge kan elever få speciella anpassningar om de är allergiska och denna möjlighet diskuteras också för Sverige.
Men att på detta ytterligt magra underlag dra den långtgående slutsatsen att de nationella proven i skolan behöver flyttas till en annan årstid är häpnadsväckande. Proven är i dag förlagda till slutet av läsåret så att studenterna ska ha inhämtat de för årskursen relevanta kunskaperna, som dessutom ska vara färska. Att förlägga dem till hösten efter terminsstarten tar bort dessa effekter. Och att dra igång en logistisk karusell till stora kostnader baserat på studier som faktiskt inte ens kan bekräfta tesen att ”pollenallergi leder till sämre resultat” vore direkt oansvarigt.
Av de skolor SvD har kontaktat verkar ingen heller anse att pollensäsongen är ett problem beträffande elevernas resultat, vare sig från skolornas håll eller av eleverna själva. Marie Björkqvist, skolsköterska på Rudbeckskolan i Sollentuna, säger att behovet av anpassningar kopplade till pollenallergi är begränsat, men skulle det visa sig att enskilda studenter behöver anpassning är man öppen för det. Om frågan lyfts. Och märk väl att ingen av de forskare som intervjuas i artikeln pekar på pollenhalterna under provperioderna som ett stort bekymmer. Likväl basunerar SvD i rubriken ut: “Nordiska forskare: Dags att flytta nationella prov”.
Mark Twain (eller var det Disraeli?) sa som bekant att det finns tre sorters lögn: lögn, förbannad lögn och statistik. Men i det här fallet är det faktiskt inte statistiken som ljuger. Det är journalister som inte har förmått, eller velat, berätta om statistik på ett korrekt sätt och sätta resultaten i relation till vad som faktiskt påvisas – och inte påvisas – av forskarna. Att läsa vetenskapliga studier är inte lätt och kräver erfarenhet. Just därför måste det göras grundligt, så att inte studieresultat överdrivs och svaga indicier förvanskas till ”fakta”. När medierna i stället frångår vedertagna journalistiska principer och skapar ”problem” genom att sprida vad som i realiteten är fake news bidrar de till att göra samhällsdebatten sämre. Inte bättre, som de borde.
Johanna Denize är filosof, forskare och doktorand vid universitetet i Bristol
***
