Validi- hvad for en nød?

Validitet er et emne, der meget sjældent tages op i forbindelse med meningsmålinger men kan siges at have afgørende betydning for, om en undersøgelse er troværdig. Som sås i ESOMARs standarder i mine to forrige indlæg, skal ordlyden af spørgsmålet fremgå for at man kan vurdere end undersøgelses troværdighed. Dette dækker over, at man skal kunne vurdere, om spørgsmålet er validt stillet. Validitet omhandler simpelthen, hvor vidt vi rent faktisk måler det, vi siger, at vi måler.

 

Oftest er der i meningsmålinger en fast formulering i stil med: ”Hvilket parti stemte du på ved sidste folketingsvalg” og ”Hvilket parti ville du stemme på, hvis der var folketingsvalg i morgen?”. Sidstnævnte formulering kan med et lille glimt i øjet siges at i dag (onsdag den 17. juni 2015) være mere relevant end det har været de seneste fire år.

Da ordlyden ofte er så ens (og i øvrigt forskningsmæssigt gennemprøvet), er validiteten i sig selv ikke det store problem i meningsmålinger. Jeg vil dog slå på, at ordlyden af spørgsmålet skal fremgå, så man i stand til at vurdere, om spørgsmålet er validt, så det er formidlingsdelen, der igen til tider halter i forhold til meningsmålingers validitet.

Derfor gennemgår jeg her hurtigt validitet – så kan man også til dels kigge efter det i andre undersøgelser end meningsmålinger.

 

Intern og ekstern validitet

Man opererer både med intern og ekstern validitet. Intern validitet omfatter, om vi rent faktisk har fundet en effekt. Ekstern validitet angår, om en funden effekt kan generaliseres og siges at gælde for hele populationen.

Dårlig intern validitet er f.eks. hvis vi vil undersøge én ting men spørger om noget andet. For at en undersøgelse er internt valid skal man blandt andet undgå indforståede eller uklare spørgsmål. Det er også vigtigt at kun spørge om én ting per spørgsmål.

Hvis jeg f.eks. spørger: ”Har regeringen de seneste fire år levet op til dine forventninger og ønsker til politisk retning”, hvad spørger jeg så om? Forventningerne? Ønsker til politik? Hvad hvis de to ting ikke har samme svar? Det er svært at give nogle generelle retningslinjer for, hvad der er et validt spørgsmål. Man kan lave en række statistiske tests og kontrollere for effekten, men start med at overveje, om spørgsmålet er formuleret, så man får svar på det, man ønsker at undersøge.

Ekstern validitet handler om, hvorvidt man kan generalisere resultatet. Altså kan jeg, hvis jeg har lavet en meningsmåling, regne med, at resultatet nogenlunde afspejler holdningen i befolkningen? Det kan man ved meningsmålinger, hvis man overholder principperne for ”den gode meningsmåling”, som jeg har gennemgået tidligere. Sidste gang for prins knud er de bedste meningsmålinger lavet med 1) tilfældig udvælgelse, 2) høj deltagelsesprocent og 3) udregning og angivelse af statistisk usikkerhed.

 

Valget – de dårlige exit polls kommer!
Så er valget altså i morgen. Der vil jeg komme med en lille advarsel! Når medierne i løbet af dagen forsøger at stå om resultatet, så kig efter om der er tale om en MENINGSMÅLING, en EXIT POLL eller en EXIT-PROGNOSE. Er der tale om en meningsmåling, er I efterhånden eksperter derude og kan vurdere kvaliteten.

En exit poll er en stikprøveundersøgelse, hvor vælgerne på valgdagen, umiddelbart efter de har afgivet deres stemme, bliver spurgt om, hvordan de konkret har stemt. Det siger sig selv, at hvis man bare står ude foran valgstedet i Rødovre og spørger alle, der kommer ud mellem kl. 10 og 14, så bliver det en mere end upræcis måling, da f.eks. de fleste med et almindeligt arbejde ikke stemmer på dette tidspunkt. Til gengæld har exit poll’en den fordel, at den indeholder hvad folk rent faktisk har stemt på i stedet for hvad de regner med at stemme på. Desuden er det et kendt faktum, at en fjerdel af alle vælgere bestemmer sig i sidste øjeblik, og det kan i høj grad påvirke valgresultatet, hvad disse tvivlere vælger i sidste ende. Derfor kan exit polls være interessante, hvis de er lavet korrekt.

En exit-prognose er en blanding af de to, så det er et metodisk misk mask. Exit-prognoser kan muligvis forudsige udmærket, men det er fuldstændig umuligt at vurdere kvaliteten, hvis den nøjagtige metode ikke lægges frem. Jeg ville altid fraråde at lægge for meget troværdighed i en exit prognose. Det var med sådan en i hånden, at DR og Epinion målte horribelt forkert til kommunalvalget 2013, som jeg gennemgik i første indlæg.  Efter denne valgte DR og TV2 at ikke længere bringe exit-prognoser.

Valg efter valg snakkes der om, hvorvidt exit polls skal forbydes i forhold til, at de måske kan påvirke valgresultatet. De seneste gange har DR og TV2 bragt en exit poll kl. 19 – altså en time før valgstederne lukker. Det er efter eget udsagn, fordi de vil stimulere folk til at interessere sig for valget og komme ned og stemme, hvis de ikke allerede har gjort det og ønsker at påvirke valgresultatet. Man kan godt nok tale længe om, hvorvidt meningsmålinger og exit polls påvirker vælgeradfærd. Men det må blive en anden gang. Nu handler det om valget og resultatet.

Og hvordan har de forskellige analyseinstitutter så klaret at forudsige valget? Det handler næste indlæg om.

Godt valg og god vind!
Katrine

Skriv et svar

Din e-mailadresse vil ikke blive publiceret. Krævede felter er markeret med *

15 + 6 =