Jeg kan godt lide amerikansk politik. Da jeg boede i USA for et par år tilbage, var det ofte en 'guilty pleasure' at sidde flere timer foran fjernsynet og følge med i bittesmå opdateringer.
Imidlertid er alt ikke lige godt. Et af flere kuriøse tal-indslag, jeg studsede over, handlede om en meningsmåling på kun 500 respondenter, som skulle afdække alle amerikaneres syn på Kongressen (det amerikanske parlament).
Med mikroskrift på skærmen skrev CNN derpå om den kæmpe statistiske usikkerhed, der var i deres undersøgelse. Men speakeren nævnte ikke dette væsentlige faktum i tv-indslaget.
Det virkede useriøst. Især at et stort medie som CNN ville binde an med en sådan historie.
Målingernes (af)magt
I Danmark er vi ofte mere påpasselige i vores omgang med data. Men med to uger til et folketingsvalget er det alligevel værd at stille skarpt på målingernes (af)magt.
I øjeblikket arriverer der utallige meningsmålinger – og det kan skabe forvirring.
Man kan indvende, at målinger kommer og går. Ja, at der er så mange at de udligner hinanden.
Man kan dog også have den modsatte opfattelse. Især tæt på et valg formår meningsmålinger nemlig at få en vital betydning for den stemning, som bliver slået an i dækningen af partier og politikere.
Derfor skal vælgerne have mulighed for at være ligeså kritiske over for tal – som de er over for magthaverne.
Denne kritik handler ikke om et enkelt meningsmålingsbureau. Det handler snarere om en generel udvikling herhjemme og i udlandet.
Tre hemmeligheder
Efter at have talt med flere kilder i branchen for meningsmålinger, så er der i øjeblikket tre »hemmeligheder«, der er værd at hæfte sig ved som vælgere, som en person fra et målingsinstitut benævner det.
For det første bliver der lavet mange flere målinger end tidligere. Det blomstrer frem med nye institutter, der kolporterer politiske tal til danskerne. Og det trykker gerne prisen på en måling. Det er fint for os, der køber målinger, men ikke altid for befolkningen som konsumerer dem, da den svingende kvalitet er svær at vurdere.
Valgforsker Martin Vinæs Larsen sagde forleden i Skyggekabinettets Podcast, at når det handler om politiske meningsmålinger, er flere ikke altid bedre.
Med det mente han, at når der kommer flere målinger, vil der også være flere vindskæve målinger. Og som oftest er det de mest skæve, der får størst dækning i medierne. Hvilket så kan resultere i en mediedækning, som skaber rundhyl på Christiansborg.
For det andet er der en tendens til at færre respondenter svarer på målingerne. Topfolk hos institutterne jeg har talt med, siger samstemmende, at det er svært at fastholde folks opmærksomhed.
Svarprocenter under 30 procent på telefon og 50 procent på net er ikke unormalt. Flere prøver at imødegå denne tendens ved at lave »korte og interessante politiske målinger« eller gennemføre lotterier med kulørte præmier, som lokker folk til tasterne. Til trods for denne ihærdige indsats kan det alligevel skævvride målingerne, når antallet der svarer falder betydeligt.
For det tredje skal vælgerne læse det 'der står med småt' i målingerne om tidsperiode og indsamlingsmåde, siger flere i branchen.
Som hovedregel skal en måling gerne være indsamlet over mindst tre dage, for at man kan nå ud til så mange befolkningsgrupper som muligt. Dernæst er der forskel på om en måling er lavet over telefonen eller over internettet.
Over telefonen vil man sjældent opliste alle partinavne, hvorimod på nettet vil alle partinavne figurere på skærmen. Det betyder, at nye og ukendte partier som Alternativet ofte står stærkere i netmålinger.
Mange institutter forsøger at imødegå denne udfordring ved at lave 500 interviews med telefon og 500 interviews over internet. Men langtfra alle målinger foretages med dette miks.
Coca-Cola opskrift
Faktisk er der en hemmelighed mere. Men den er så hemmelig, at jeg ikke rigtig kan fortælle om den. Det drejer sig om den måde, meningsmålinger bliver vægtet på. Det vil sige, hvordan institutterne lægger til og trækker fra, når de har indsamlet data for at få et mere præcist tal-billede.
Det er altså institutternes 'Coca-Cola opskrift'. Og den holder de tæt til kroppen, fordi der her kan skrues en hel del op og ned på partiernes tilslutning i håbet om at lave den bedste og mest præcise måling.
Politiske målinger vil som minimum oftest blive korrigeret efter, hvad folk stemte på ved sidste valg.
Læg dertil, ifølge tidligere og nuværende ansatte i branchen, som jeg har talt med, at der foregår en mere håndholdt vægtning. Institutterne kigger gerne på snittet over de andres målinger og kan samtidig finde på at sammenholde de netop indsamlede tal med den aktuelle politiske situation for at se, om den afspejler hvilke partier, der er på vej op og ned. Det er et fænomen der kaldes ’herding’, hvilket kan anes i det store datamateriale Politiken har indsamlet.
I den håndholdte vægtning gemmer sig et faremoment. Ved valget i sidste måned i England ramte målingerne helt ved siden af valgresultatet. Det har skabt selvransagelse i branchen på den anden side af Nordsøen.
Et af kritikpunkterne var netop om bureauerne kiggede for meget på hinanden af frygt for at være dem, der skød ved siden af lige før valget. I dagene efter valget forklarede flere institutter i hvert fald, at de havde holdt målinger tilbage, fordi de lå for langt fra mainstream.
Traditionelt har vi mange gode institutter i Danmark. Men de næste to uger vil vise om den engelske syge breder sig. I hvert fald er en debat om metoder kærkommen. Især fordi målinger er magt, specielt i moderne politik.
Dataviz: Meningsmålingernes træfsikkerhed under valgkampe
Politiken har analyseret 515 meningsmålinger, der alle har det til fælles, at de er blevet offentliggjort 30 dage eller mindre op til et folketingsvalg. Vi har beregnet, hvor stor afstanden er på, den tilslutning målingen giver et parti og det endelige valgresultat.
Heraf fremgår det blandt andet, at der kan være stor forskel på, hvad meningsmålingernes prognoser siger midt i en valgkamp og det endelige resultat. At målingerne bliver mere og mere præcise, jo tættere vi kommer på valget.
Men beregningerne viser også, at samtlige institutter overvurderede SF i valgkampen 2011, mens Venstres tilslutning blev undervurderet hele vejen.
Meningsmålingerne er indsamlet af professor emeritus Søren Risbjerg Thomsen i samarbejde med Altinget.
Analysen er en omskrevet og opdateret version af en tidligere analyse bragt den 13. maj 2015.
fortsæt med at læse
