”Vi gjennomfører nå en spørreundersøkelse ...” er en frase mange av oss har hørt i telefonen, både i tide og utide. Norge er et land der partier, organisasjoner og ikke minst medier selv bestiller målinger på vidt ulike tema. Det første halvåret i år kom det f.eks. hele 50 meningsmålinger der folk ble spurt om hva de ville stemme i stortingsvalg.
Å gjennomføre en meningsmåling er ikke nødvendigvis så veldig vanskelig. Jo Røislien gjorde det for eksempel i ”Siffer”. Å finne et representativt utvalg er derimot vanskeligere, men de profesjonelle byråene har rutiner og systemer som sørger for dette. Det som er vanskeligere, er tydeligvis å bruke målingene eller tolke resultatene av dem.
Feilmarginer, for eksempel. Selv om en spør 1000 mennesker i en meningsmåling et ja/nei-spørsmål, er ikke ja- og nei-andelen et nøyaktig tall. Standardfeilmarginen er da 3 prosent, og den øker jo færre som er i utvalget (men i en partimåling er som regel feilmarginen lavere for de enkelte partiene, spesielt småpartiene). Sammenligner man to målinger og endringene fra den ene til den andre ligger innenfor feilmarginen, betyr det at en ikke kan si noe som helst om det går opp eller ned.
Noen eksempler: I 24 av de 49 meningsmålingene som ble publisert fra 1. januar til 30. juni i år var det ingen partier som økte eller sank i oppslutning med mer enn feilmarginen (kilde: www.pollofpolls.no). I praksis betyr det at en ikke kan si noe entydig hvis man sammenligner tallene med måneden før. Og likevel gjør media det, om og om igjen. Opp- og nedgang er selvfølgelig ikke alt, men veldig ofte det media forteller om. Og når halvparten av målingene ikke kan brukes til det, er spørsmålet om vi trenger 50 målinger på et halvår med langt igjen til neste stortingsvalg.
I april var det bare én måling som hadde endringer som var større enn feilmarginen. Likevel rapporterte mediene i den måneden, særlig i overskriftene, som om tallene var nøyaktige og bombesikre. ”Velgerne sender Senterpartiet under sperregrensen”, skrev NRK. Sp fikk 3,9 prosent, en nedgang på 0,8 prosentpoeng i målingen, men feilmarginen var 1,2 prosentpoeng. Det var altså fullt mulig og sannsynlig at Sp var over sperregrensen, og heller ikke sikkert at de sank. Aftenposten slo til med ”Audun Lysbakken ser 2-tallet”, selv om oppslutningen på 2,9 prosent hadde en feilmargin på 1,0 prosentpoeng. At SV var under 3 prosent var langt fra sikkert, men det var det ingen som tenkte på å nevne i artikkelen.
Så sent som 11. august rapporterte Nationen på nett om ”solid vekst for Frp”. Økningen sammenlignet med juli var 2,2 prosentpoeng, interessant nok akkurat det samme som feilmarginen. Det er derfor sannsynlig at Frp økte fra juli, men det er ikke grunnlag for å si at veksten var ”solid”. Inne i avisen skrev man at ”Lærerstreiken rammer Venstre” fordi partiet gikk ned 0,7 prosentpoeng, selv om feilmarginen var hele 1,3 prosentpoeng. Og dette er selvfølgelig bare noen få eksempler, det finnes flere. I alle disse fire tilfellene fikk også de bastante konklusjonene styre intervjuene med ledere, nestledere, stortingsrepresentanter og kommentatorer.
Også på andre områder spøker feilmarginen. Nordlys publiserte 8. august en måling om oppslutningen for et OL i Oslo. I artikkelen ble det rapportert om hva folk i ulike regioner og aldersgrupper mente om OL. Men selv om InFact spurte 1011 personer i hele Norge om de sier ja eller nei til Oslo-OL, er utvalget fra de ulike regionene og aldersgruppene selvfølgelig mindre.
Når 50 prosent i Oslo svarte nei, og 44,4 prosent svarte ja, betyr faktisk ikke det at det nødvendigvis er nei-flertall. En av åtte som bor i Norge, bor i Oslo. Da blir feilmarginen i den undergruppen i underkant av 9 prosent. Dermed er det altså sikkert statistisk at det er mellom 41 prosent og 59 prosent som er mot Oslo-OL i hovedstaden. Og mellom 35 og 53 prosent som er for. Og i flere andre regioner er feilmarginen enda større, det behøver altså ikke være nei-flertall verken i Sør-Norge eller Østlandet utenfor Oslo. Dagen etter skrev Nordlys at ungdommen (18-29 år) sier nei, selv om konklusjonen av samme årsak (få spurte og jevne tall) ikke er statistisk sikker. Og likevel hektet seg tradisjonelle medier som VG og Dagbladet (og nye medier som Nettavisen) på og gjenga dette som rene fakta.
I løpet av et år kommer det mange meningsmålinger på mange ulike temaer, i mange ulike medier. Felles for alle er at de på en eller annen måte er unøyaktige, som ikke er så overraskende når en lar 1000 personer representere hele eller deler av Norges befolkning. Det betyr selvfølgelig ikke at alle målinger bare er fusk og ikke er verdt å stole på. Men som i de fleste andre sammenhenger er det fint å ha med seg en god porsjon sunn fornuft og kritisk sans når en ser aviser, TV eller radio omtale statistikk.
Det samme rådet kan vel også sendes til de redaksjonene som står overfor egne eller andres meningsmålinger der tallene har nyhetsverdi. Glem aldri de kritiske spørsmålene. Vi trenger mer granskning av denne typen.