Er klimapolitik danskernes foretrukne valgtema?

Klimapolitik er danskernes foretrukne valgtema. Forleden kunne man læse denne opsigtsvækkende nyhed hos den grønne tænketank Concito. Dagen forinden havde Berlingske imidlertid fortalt, at flygtninge- og indvandrerpolitikken ifølge danskerne er det vigtigste politikområde for en kommende regering. Flere medier undrede sig behørigt over de strittende budskaber. DR’s Detektor tog fat i undersøgelserne og skrev en glimrende artikel om metodeproblemerne ved Concitos undersøgelse, men kom ikke hele vejen rundt. Her er den lidt længere – og lidt mere nørdede – version.

Priming
Concitos undersøgelse bygger på en survey med 27 spørgsmål, som alle handler om klimaforandringer, grøn omstilling, drivhusgasser og klimaudfordringen. Efter de første 26 spørgsmål kommer så spørgsmålet om valgtemaer: “Hvilke af følgende temaer mener du, er vigtigst at få prioriteret i valgdebatten forud for det kommende folketingsvalg?” De 1076 respondenters svar fordelte sig således:

klimabarometer_valg

Problemet er, at respondenterne primes pga. måden, spørgeskemaet er bygget op. Priming kan defineres som “an implicit memory effect in which exposure to a stimulus influences a response to a later stimulus”. Altså en implicit hukommelseseffekt, hvor personen udsættes for et stimuli (her 26 klimaspørgsmål), hvilket påvirker personens svar på et senere stimuli (her spørgsmål 27 om valgtemaer), uden at personen selv er opmærksom på det. Det er derfor velegnet til manipulation og børnelærdom inden for marketing og salg. Det er bestemt ikke sikkert, at Concito gør det med intention om at manipulere resultatet. Men i praksis er det det, der sker. Der etableres en underliggende præmis om, at klimaområdet er vigtigt. En situationsbias. Er Berlingskes undersøgelse så et hak bedre? Ja, det er den faktisk. For den indeholder ikke 26 forudgående stimuli-spørgsmål. De spørger direkte ind til “de vigtigste politikområder” og får denne svarfordeling:

Berlingskes undersøgelse

Repræsentative svarpersoner
Når man undersøger danskernes foretrukne valgtemaer, skal det gøres med repræsentative udsnit (stikprøver) af den voksne danske befolkning. Begge undersøgelser er gennemført af anerkendte analysebureauer (Analyse Danmark og Kantar Gallup), som normalt gør en dyd ud af at fortælle, at svarpersonerne er repræsentativt udvalgte vælgere. Det hviler på en underliggende forudsætning om, at de udvalgte personer faktisk svarer. Er der frafald, kan det være med til at skævvride undersøgelsen og gøre den ikke-repræsentativ. Hvis det sker, er der problemer med den eksterne validitet. Frafald kan opstå undervejs i en undersøgelse. Der er risiko for, at svarpersonen giver op, hvis der er mange spørgsmål; hvis spørgsmålene virker uvedkommende; hvis man er uenig i præmissen for undersøgelsen. I en undersøgelse med 27 spørgsmål om klima er der risiko for, at svarpersoner giver op, hvis de ikke interesserer sig for klimaet og ikke mener, at det er et vigtigt politisk tema. Det kan potentielt skævvride undersøgelsens resultater. Det oplyses, at der undervejs i undersøgelsen sker et frafald på 8 procent. Vi ved ikke, om nogle af dem falder fra på grund af manglende interesse for emnet. Men risikoen er til stede.

Hvad betyder “foretrukne” og “vigtigst”?
Berlingske præsenterer med egne ord politikområder, som er “vigtigst for danskerne”. Concito taler om “danskernes foretrukne valgtema”. Men hvordan kommer man rent metodisk frem til “foretrukne” og “vigtigst”?

For det første opstiller man to forskellige lister med politikområder. Concito udvælger 17 valgtemaer, mens Berlingske udvælger 13 politiske områder. Det er svært på den baggrund at tale om objektive eller direkte sammenlignelige målinger af, hvad danskerne foretrækker. Der er (naturligvis) allerede på forhånd truffet nogle valg for svarpersonerne. Disse valg er præmisser og er forskellige for de to undersøgelser.

For det andet giver man ikke svarpersonerne det samme antal krydser at sætte. Concito lader svarpersonerne sætte fem krydser, mens Berlingske lader sine svarpersoner sætte tre krydser. Er det nu vigtigt? Ja! Det kan faktisk være helt afgørende for undersøgelsens resultat.

Lad mig illustrere pointen med to fiktive holdningsfordelinger, jeg har opfundet til lejligheden:

klimapolitik fiktiv grafik

Indvandrerpolitik fiktiv grafik

Tag et godt kig på de to fordelinger. Har du gættet pointen?

Hvis vi vælger Concitos model med fem krydser (hver person sætter kryds for de fem områder, som har højest prioritet), så vil 48% pege på klimapolitik. Og 48% vil pege på flygtninge- og indvandrerpolitik. Ergo har vores undersøgelse nu vist, at befolkningen peger på de to områder som lige vigtige.

Hvis vi derimod vælger Berlingskes model med tre krydser, så vil 28% pege på klimapolitik. Mens 39% vil pege på flygtninge- og indvandrerpolitik. Ergo har vores undersøgelse nu vist, at befolkningen klart peger på flygtninge- og indvandrerpolitik som vigtigst.

Jamen det var jo den samme undersøgelse med de samme spørgsmål og de samme svarpersoner? Nemlig. Vi vælger bare at kigge på to forskellige udsnit af disse personers politiske præferencer. Og det gør en verden til forskel. Ja, det giver faktisk to radikalt forskellige nyhedshistorier. Og hvad værre er: Vi kan ikke på forhånd entydigt sige, om det er mest korrekt at lade svarpersonerne sætte 1, 2, 3 eller 5 krydser. Men vi kan i det mindste være opmærksomme på problemstillingen.

Som sagt er fordelingerne fiktive. Vi ved ikke, hvordan det havde set ud, hvis Concito havde begrænset sig til tre krydser. Eller hvis Berlingske havde tilladt fem. Men “danskernes foretrukne temaer” og “de vigtigste politikområder” havde formentlig set anderledes ud.

 

Hvad har usexede sportsgrene og upopulære ministre til fælles?

Da agurkesæsonen i juli peakede i et slags omvendt proportionalt kapløb med det elendige sommervejr, kunne man hos Metroxpress læse Ny undersøgelse: Denne sport synes danske unge er MINDST sexet.

usexet sport 1

Kan ikke modstå maddingen. Jeg begynder at bladre den illustrerede liste med sportsgrene igennem. 0%. 0%. Hmm, gad vide hvad det betyder? Efter et par klik sker det. Et voldsomt ubehag rammer mig. Bladrer hurtigt frem, hurtigt tilbage, hurtigt frem igen. Har jeg misforstået listen? Nej, en hurtig skimning af artiklen bekræfter mine bange anelser. Ubehaget er nu blevet til kvalme. Jeg ser dem i glimt for mig. Waldner. Maze. Tugwell. Pedersen. Min ungdoms idoler. Nu reduceret til ikoner for den mindst sexede sportsgren. I Danmark. Ifølge unge. Bordtennis.

Værre: Det er ifølge den citerede køns- og til lejligheden showforsker, Karen Sjørup, slet ikke underligt, for bordtennis er en sport, der ikke er “meget show i”. Aaav.

Noget må være galt med den undersøgelse. Den MX-journalist har da vist været ramt af fikseringsfejl. Og det var da også en helt utrolig negativ vinkel. Jeg beslutter mig for i videnskabens tjeneste at kaste et KRITISK blik på metoden bag. Er undersøgelsen overhovedet repræsentativ? Tages der højde for den statistiske usikkerhed? Og hvad med målingsvaliditeten? Måler man faktisk det, man tror? Heldigvis har analysefirmaet bag, YouGov, været flinke og varedeklarere, og Metroxpress har været flinke at bringe deklarationen. Den ser sådan her ud:

usexet sport 2

Nedslået må jeg konstatere, at der ikke umiddelbart er noget alvorligt at udsætte på repræsentativiteten. Svarpersonerne kommer ganske vist næsten med sikkerhed fra YouGovs webpanel, og de rekrutterer ikke via simpel tilfældig udvælgelse, så måske kan der være systematiske forskelle, når man sammenholder de 900 svarpersoner med “alle danske unge”? Ja, det kan der godt. Men det er næppe noget, der rykker fundamentalt ved de overordnede resultater.

Nå, hvad så med den statistiske usikkerhed? Den er da vist blevet glemt i skyndingen? HVIS man tager højde for usikkerheden, kan man med rette så tvivl om, hvem der ligger sidst, næstsidst og tredjesidst osv. på listen. De nederste sportsgrene på listen har nemlig alle det til fælles, at de har fået lige omkring nul stemmer. Okay, så rubrikken er altså lidt skråsikkert konkluderende. Der kan sagtens være tale om en fejludråbt taber. Måske er den virkelige bundskraber karate eller ishockey? Eller en af de sportsgrene, som slet ikke optræder på Metroxpress’ ikke-udtømmende liste over sportsgrene? Mit humør stiger en anelse. Min mission – at genoprette Maze og Co.’s anseelse – er tilbage på sporet.

Men der er større og mere interessante problemer. For hvad er det egentlig, de 900 unge har svaret på? Spørgsmålet lyder: “Hvilken sportsgren synes du, er mest sexet?” Men kan man derudfra konkludere, hvad der er mindst sexet? Nej. Hvis man vil vide, hvad der er mindst sexet, så skal man … yes, rigtigt … spørge om det. Og her kommer de upopulære ministre ind i billedet. For hvis man vil undersøge, hvilke ministre der er mindst populære, så skal man også spørge om det. Og IKKE spørge, hvem der er mest populær. Det har Erik Gahner Larsen tidligere overbevisende demonstreret. Der er med andre ord tale om et problem, vi møder i andre sammenhænge i nyhedsstrømmen.

Undersøgelsen kan altså ikke bruges til at sige noget om, hvilken sportsgren der er mindst sexet. Jeg kan mærke, at denne her analyse er god. Det føles helt rigtigt. Det slår mig, at jeg burde sende et link til DBTU’s presseansvarlige. Og Maze. Han er sikkert også nedtrykt.

Men fortæller undersøgelsen så faktisk, hvilken sportsgren der er mest sexet? Njah, det kan man faktisk godt sætte spørgsmålstegn ved. I undersøgelsen peger hele 15 procent på fodbold som den mest sexede sportsgren. Til det kan man indvende to ting:

1) Er det i virkeligheden en kombination af eksponering, tilslutning og sexethed, vi måler? På samme måde, som man vanskeligt kan vurdere en ny-udnævnt (ikke-eksponeret) minister, kan man vel vanskeligt pege på de mindst eksponerede/dyrkede sportsgrene?

2) Hvad nu, hvis 15 procent samtidig peger på fodbold som direkte usexet? Altså, forudsat at de 900 unge fik chancen for at tage stilling til usexethed. Lad os rent hypotetisk forestille os, at fodbold deler vandene. Måske svarer de 15 procent, som dyrker fodbold, at det er mest sexet. Mens deres respektive partnere svarer, at det er dybt usexet. Det ville være et lidt ærgerligt resultat for de pågældende. Men tænkeligt. Ministerparallellen er til at få øje på. Støjberg.

Det konstruktive
Alternativt og bedre (!) kan man bede svarpersonerne bedømme hver enkelt sportsgren på en skala fra 1-5. Det gør YouGov da også i deres ministermålinger. På den måde kan man både se, hvem der får flest ekstreme værdier (1 og 5) og rangliste sportsgrenene efter deres gennemsnitsscorer eller efter andel positive minus andel negative bedømmelser. Det ville – måske – give helt andre resultater. Kan du også mærke endorfinerne nu, Maze? Og lad os så få det show.

Fup, fejl og fordrejninger

Vil du gerne være din egen detektor? Eller bare blive bedre til at gennemskue tal, fakta og statistik i medierne? Så kan jeg kraftigt anbefale, at du investerer i netop udkomne “Fup, fejl og fordrejninger. Bliv din egen detektor”.

Indrømmet, jeg er ikke en helt uhildet betragter. Jeg er begejstret over, at vi i Danmark har et program som Detektor, og jeg har indimellem selv medvirket i udsendelserne.

9788702164763

Med det sagt, så er det en særdeles oplysende, velskrevet, mundret og eksempelrig bog, Thomas Buch-Andersen og Mads Bøgh Johansen er barslet med. Bogen er inddelt i 11 tematiske kapitler, og det er faktisk bogens helt åbenlyse styrke. Temaerne giver dig hurtigt et overblik over, hvilke typiske fejl og fordrejninger man som mediebruger (eller journalist, politiker, kommunikatør etc.) skal være særligt opmærksom på – tested by reality. Hvis jeg skal fremhæve enkelte temaer, så må det blive “om cherry-picking” – altså når man ved selektiv brug af tal tegner et forkert billede af helheden, “om årsagssammenhænge”, som ofte er nogle helt andre, “om sammenligninger”, som kræver sammenlignelige størrelser, og “om inflation”, som ofte “glemmes”, når priserne igen-igen er rekordhøje. Der er også et udmærket kapitel om meningsmålinger og spørgeskemabaserede undersøgelser, men det bliver dog mest til en indledende introduktion til de typiske validitetsproblemer.

Alle kapitler er krydret med Detektors egne eksempler, og de er både lærerige og underholdende. Bogen indeholder desuden en række korte bidrag fra politikere, erhvervs- og mediefolk, som selv har været en tur i Detektormøllen. Der er – som det nok fremgår – ikke tale om en lærebog. Du lærer ikke, hvordan du finder supplerende tal hos Danmarks Statistik, hvordan du tester for spuriøse sammenhænge, hvordan du korrigerer fra løbende til faste priser, eller hvordan du beregner statistisk usikkerhed ved meningsmålinger. Hvis du skal “kunne selv”, kræver det naturligvis mere end at læse denne bog.

Men med bogen under huden har du alle muligheder for at blive en mere kritisk og vågen medieforbruger. Så læs den. Også – og ikke mindst! – hvis du er journaliststuderende.

 

Lad os nu se undersøgelsen!

Godt udgangspunkt for inklusion i folkeskolen. Variationer over dette tema har man i dag kunnet læse i næsten alle større danske digitale medier.

Picture1

Baggrunden er en netop offentliggjort undersøgelse fra SFI med den uhelbredelige titel: Statusrapport 1: Et forskningsprojekt om inklusion af elever med særlige behov i den almindelige undervisning.

Og det er jo faktisk et ret interessant og vedkommende emne – ikke mindst hvis man, som jeg, har børn i skolealderen. Derfor tænkte jeg også straks, at det kunne være dejligt at kigge nærmere på selve undersøgelsen. Og det er da heller ikke nogen umulig opgave. Den kan Googles frem. Og man kan finde den på SFI’s hjemmeside.

Men hvordan kan det være, at ingen toneangivende danske medier føler sig foranlediget til at dele rapporten med os? En række medier (Information, Politiken, EkstraBladet, Kristeligt Dagblad etc.) bringer samme Ritzau-telegram. Intet link til rapporten. Andre medier bringer et lignende telegram fra Berlingske Nyhedsbureau. Heller intet link til rapporten. Jyllands-Posten laver deres egen historie. Og linker ikke til rapporten. DR.dk laver deres egen nyhedshistorie. Og linker heller ikke til rapporten. Det er faktisk kun folkeskolen.dk, som linker til rapporten.

Det er jo en lille ting, kan man indvende. Og er der overhovedet nogen derude, som gider og har tid til at læse rapporter og bagvedliggende dokumentation? Ja, jeg gør faktisk. Ikke altid, men indimellem. Og jeg bliver lige irriteret hver gang, jeg selv skal ud og opstøve dokumentation, som medierne har, men blot ikke har delt.

Politiets interviewteknik

Netop hjemvendt fra årets på alle måder storslåede SKUP-konference i Norge (SKUP er Stiftelsen for en Kritisk og Undersøkende Presse) må jeg reklamere for ét særligt inspirerende metode-oplæg. Han er hjernen bag afhøringerne af Anders Behring Breivik og manden, som har indført en egentlig forskningsbaseret afhøringsmetodik og systematik hos norsk politi: Asbjørn Rachlew.

Picture1Der er helt oplagte paralleller mellem politiets og journalisters interviewteknik, men – og det er måske lidt mindre selvindlysende – også inspiration til, hvordan man stiller gode spørgsmål i spørgeskemaundersøgelser. Lad os håbe, at nogen inviterer manden til Danmark også.

I nogen grad enig …?

De er lumske. Ikke nemme at håndtere. Og medierne har ofte ganske svært ved at fortolke dem retvisende.

Jeg taler om midterkategorierne. Altså svarskalaernes centrale omdrejningspunkt. Enhver balanceret svarskala har vel en midterkategori? Næh, faktisk ikke. Det er ikke givet, at man SKAL have en “hverken-eller/i nogen grad” mulighed, eller hvad man nu måtte kalde sit centrum. Det er et videnskabeligt studie for sig, hvad det betyder for svarfordelingerne, hvis man helt fjerner den midterste værdi – for naturligvis betyder det noget. Men det er en anden diskussion.

Picture1

Forleden stillede Jyllands-Posten danskerne dette spørgsmål:

I hvilken grad mener du, at den danske folkeskole har det nødvendige faglige niveau?

Med svarmulighederne “i meget lav grad”, “i lav grad”, “i nogen grad”, “i høj grad” og “i meget høj grad”. Men hvad vil det sige i nogen grad at mene, at folkeskolen har det nødvendige faglige niveau? Jyllands-Postens fortolkning faldt både undertegnede og Detektor for brystet.

Men problemet kendes også uden for landets grænser. TV2 Norge fik ørerne i maskinen, da de stillede spørgsmålet (om ressourcer på sykehjem):

I hvilken grad går manglende ressurser utover en forsvarlig og verdig omsorg?

Igen var problemet fortolkningen af svaret “I noen grad” – den midterste svarmulighed. Problemet opstår, når man slår midterkategorierne sammen med enten de tilfredse/enige eller utilfredse/uenige. Det kan være fristende – ikke mindst fordi, der ofte er mange svar i midten. Med denne fremgangsmåde står man pludselig med en meget stor andel danskere eller nordmænd eller plejere, som man kan vinkle på: 2 ud af 3 mener… Men billedet er fortegnet.

Hvordan skal man så fortolke svarene i midterkategorierne? Løsningen er – i mange tilfælde – at lade dem være.