Kan meningsmålinger gennemskues? Nu med quiz

Så er det vist på tide, at Danmarks nye ekspertstand i meningsmålings-verdenen udklækkes. Jeg vil i de næste indlæg for alvor klæde jer, kære læsere, på til at spidde meningsmålinger i fremtiden.

I første indlæg viste jeg de vigtigste præmisser for, at en meningsmåling er troværdig

  • Tilfældig udvælgelse*. Alle i målgruppen skal have lige stor chance for at blive valgt.
  • Høj deltagelsesprocent. Flest mulig personer i den udvalgte stikprøve skal svare.
  • Statistisk usikkerhed. Der skal angives statistisk usikkerhed på undersøgelsen. Hvis udvælgelsen er tilfældig og deltagelsesprocenten er høj, giver 1.000 interview et acceptabelt niveau af statistisk usikkerhed

*Man kan også lave en såkaldt stratificeret udvælgelse, men så skal demografi, økonomiske og sociale karakteristika afspejle befolkningen eller klyngeudvælgelse. Dette er dog ikke relevant ift. de meningsmålinger, der laves i Danmark i dag. Jeg forklarer gerne mere, hvis man er interesseret.

 

God formidling

Til gengæld halter det til tider med mediernes fortolkning af resultaterne. En undersøgelse kan være udført så godt det skal være, men formidlingen skal være i orden.

For at kvalificeret kunne vurdere en meningsmåling, anbefaler ESOMAR (European Society for Opinion and Market Research) 7 vigtige metodiske informationer, som skal fremgå:

  1. Instituttet, der foretager meningsmålingen
  2. Mediet som finansierer
  3. Stikprøvens størrelse (mindst 1.000, hvis man vil have et acceptabelt niveau af statistisk usikkerhed)
  4. Indsamlingsmetoden
  5. Indsamlingsperioden
  6. Ordlyden af det stillede spørgsmål
  7. Den statistiske usikkerhed

Kilde: ESOMAR

Jeg vil tilføje to faktorer, som er

8. Andelen af ved ikke-svar
9. Svarprocenten.

Især svarprocenten er vigtig for at afgøre, om de givne svar faktisk repræsenterer befolkningens holdninger eller kun en del af den.

De tre første punkter er oftest til at finde i formidlingen af danske meningsmålinger. I dette indlæg vil jeg derfor bruge jeres dyrebare tid på indsamlingsmetoden samt indsamlingsperioden, og næste gang kommer det til at handle om ordlyden af det stillede spørgsmål (validitet) og statistisk usikkerhed. Jeg kommer også ind på især svarprocenten. Men pas på! Det bliver virkelig tørt. Til gengæld lover jeg at komme med et par vilde eksempler på meningsmålinger fra de seneste dage og en lille quiz.

 

Telefon eller web?

Indsamlingsmetoden er vigtig, da der er forskel på repræsentativiteten i henholdsvis telefon- og webinterview.

Telefon

Telefoninterview er de mest repræsentative, hvis der udvælges helt tilfældigt mellem alle numre i Danmark. Det er muligt at nå langt hovedparten af danskerne på denne måde. Det kan f.eks. gøres ved at både ringe til mobilnumre og fastnet-numre. Det er ofte kvinder, der svarer på telefonen, hvis det er fastnet, så ofte spørger man efter den person over 17 år, der har fødselsdag næste gang. På den måde bliver udvælgelsen mest muligt tilfældig.

Det er derefter vigtigt at så mange som mulig svarer (svarprocenten). Hvis man kun har en gennemførelsesprocent på 25, er resultatet ikke nødvendigvis repræsentativt. 100 pct. er naturligvis at foretrække, men en tommelfingerregel er, at det som absolut minimum skal op over 50 pct. for at give et troværdigt billede af holdningerne i befolkningen. Det er dog ikke helt nok at bruge telefoninterview, hvis de er af dårlig kvalitet. Den bedste måde at kvalitetssikre interviews på er, at medarbejderne ikke aflønnes via akkord- eller bonusordninger (som Voxmeter viser her: Kvalitetsmåling). De skal i stedet have en fast timeløn og grundig uddannelse. Dette skaber den bedste svarprocent.

Her bliver også indsamlingsperioden vigtig. Hvis man kun spørger folk mandag aften, rammer man skævt blandt befolkningen, og det samme sker, hvis man kun spørger før kl. 17. Derfor bør undersøgelsen køre over flere dage, og man skal forsøge adskillige gange at ringe til dem, der ikke har svaret første gang. Det er meget vigtigt at få fat i dem, der er utilbøjelige til at svare.

Web

De seneste 15 år er der kommet en masse internetbaserede analysebureauer, hvor respondenterne selv kan melde sig til (prøv at gætte, hvor repræsentativ for befolkningen den gruppe er). Man bliver f.eks. tilbudt point, penge eller præmier  for at deltage i spørgeskemaundersøgelser via firmaers hjemmesider, pop-ups og lignende. Det siger intet om befolkningens holdninger som sådan. Men f.eks. har mange ældre ikke internetadgang, og bestemte folk ville aldrig selv finde på at tilmelde sig webpanel, så denne metode vil skævvride data. Selvtilmelding = no go. Hvis respondenterne i et webpanel er rekrutteret fra et repræsentativt udsnit af befolkningen, og et stort antal vælger at gerne ville være med i et panel, der fast får tilsendt spørgeskemaer, kan det godt have en værdi at spørge dem i forskellige sammenhænge. Det er i princippet det samme for mail- og sms-interviews.

 Nøøøj det var tørt. Så lad os se på nogle konkrete eksempler på mediernes formidling.

Medierne som fejlfindere

Selvom jeg er relativt kritisk over for mediernes fremstilling af nogle meningsmålinger, vil jeg som en lille ekstra ting vise, at medierne nogle gange virkelig er på pletten. De er samtidig blevet mere opmærksomme på metoden (dog med plads til forbedringer). Mediernes interesse for meningsmålingerne er helt sikkert enorm op til valget. Om morgenen den 1. juni 2015 sad Ekstrabladet klar, da Voxmeter udsendte sin nyeste meningsmåling indsamlet 29.-31. maj. De fandt en grafikfejl, som var oppe i 20 (!) minutter, og som var rettet, da de kontaktede Voxmeter. Inden da havde de taget et screenshot og udgivet følgende artikel: Ekstrabladets artikel
Der var tale om en tastefejl og ikke et metodisk problem, men det var hurtig journalistisk og godt, at de tog det op. Det var i en periode den mest læste artikel på Ekstrabladet.dk, og det ser ud til, at meningsmålingerne på godt og ondt interesserer mange.

En lille quiz

Men nu kan jeg ikke lade være med at tage en vanvittig undersøgelse op. Så her er en lille quiz. Prøv at se på ovenstående kriterier og læs artiklen grundigt igennem og se, om du kan finde alle problemerne med både målingen og formidlingen i følgende artikel fra TV2 på baggrund af en Megafon-måling, der blev foretaget i forbindelse med debatten mellem Lars Løkke Rasmussen og Helle Thorning-Schmidt om aftenen den 29. maj: Artikel til quiz. 

Skriv som kommentar her eller direkte til mig på katrine.wind@gmail.com. Så kigger jeg svarene igennem.

God vind og godt valg
Katrine Wind

Skriv et svar

Din e-mailadresse vil ikke blive publiceret. Krævede felter er markeret med *

twelve + 12 =