Er klimapolitik danskernes foretrukne valgtema?

Klimapolitik er danskernes foretrukne valgtema. Forleden kunne man læse denne opsigtsvækkende nyhed hos den grønne tænketank Concito. Dagen forinden havde Berlingske imidlertid fortalt, at flygtninge- og indvandrerpolitikken ifølge danskerne er det vigtigste politikområde for en kommende regering. Flere medier undrede sig behørigt over de strittende budskaber. DR’s Detektor tog fat i undersøgelserne og skrev en glimrende artikel om metodeproblemerne ved Concitos undersøgelse, men kom ikke hele vejen rundt. Her er den lidt længere – og lidt mere nørdede – version.

Priming
Concitos undersøgelse bygger på en survey med 27 spørgsmål, som alle handler om klimaforandringer, grøn omstilling, drivhusgasser og klimaudfordringen. Efter de første 26 spørgsmål kommer så spørgsmålet om valgtemaer: “Hvilke af følgende temaer mener du, er vigtigst at få prioriteret i valgdebatten forud for det kommende folketingsvalg?” De 1076 respondenters svar fordelte sig således:

klimabarometer_valg

Problemet er, at respondenterne primes pga. måden, spørgeskemaet er bygget op. Priming kan defineres som “an implicit memory effect in which exposure to a stimulus influences a response to a later stimulus”. Altså en implicit hukommelseseffekt, hvor personen udsættes for et stimuli (her 26 klimaspørgsmål), hvilket påvirker personens svar på et senere stimuli (her spørgsmål 27 om valgtemaer), uden at personen selv er opmærksom på det. Det er derfor velegnet til manipulation og børnelærdom inden for marketing og salg. Det er bestemt ikke sikkert, at Concito gør det med intention om at manipulere resultatet. Men i praksis er det det, der sker. Der etableres en underliggende præmis om, at klimaområdet er vigtigt. En situationsbias. Er Berlingskes undersøgelse så et hak bedre? Ja, det er den faktisk. For den indeholder ikke 26 forudgående stimuli-spørgsmål. De spørger direkte ind til “de vigtigste politikområder” og får denne svarfordeling:

Berlingskes undersøgelse

Repræsentative svarpersoner
Når man undersøger danskernes foretrukne valgtemaer, skal det gøres med repræsentative udsnit (stikprøver) af den voksne danske befolkning. Begge undersøgelser er gennemført af anerkendte analysebureauer (Analyse Danmark og Kantar Gallup), som normalt gør en dyd ud af at fortælle, at svarpersonerne er repræsentativt udvalgte vælgere. Det hviler på en underliggende forudsætning om, at de udvalgte personer faktisk svarer. Er der frafald, kan det være med til at skævvride undersøgelsen og gøre den ikke-repræsentativ. Hvis det sker, er der problemer med den eksterne validitet. Frafald kan opstå undervejs i en undersøgelse. Der er risiko for, at svarpersonen giver op, hvis der er mange spørgsmål; hvis spørgsmålene virker uvedkommende; hvis man er uenig i præmissen for undersøgelsen. I en undersøgelse med 27 spørgsmål om klima er der risiko for, at svarpersoner giver op, hvis de ikke interesserer sig for klimaet og ikke mener, at det er et vigtigt politisk tema. Det kan potentielt skævvride undersøgelsens resultater. Det oplyses, at der undervejs i undersøgelsen sker et frafald på 8 procent. Vi ved ikke, om nogle af dem falder fra på grund af manglende interesse for emnet. Men risikoen er til stede.

Hvad betyder “foretrukne” og “vigtigst”?
Berlingske præsenterer med egne ord politikområder, som er “vigtigst for danskerne”. Concito taler om “danskernes foretrukne valgtema”. Men hvordan kommer man rent metodisk frem til “foretrukne” og “vigtigst”?

For det første opstiller man to forskellige lister med politikområder. Concito udvælger 17 valgtemaer, mens Berlingske udvælger 13 politiske områder. Det er svært på den baggrund at tale om objektive eller direkte sammenlignelige målinger af, hvad danskerne foretrækker. Der er (naturligvis) allerede på forhånd truffet nogle valg for svarpersonerne. Disse valg er præmisser og er forskellige for de to undersøgelser.

For det andet giver man ikke svarpersonerne det samme antal krydser at sætte. Concito lader svarpersonerne sætte fem krydser, mens Berlingske lader sine svarpersoner sætte tre krydser. Er det nu vigtigt? Ja! Det kan faktisk være helt afgørende for undersøgelsens resultat.

Lad mig illustrere pointen med to fiktive holdningsfordelinger, jeg har opfundet til lejligheden:

klimapolitik fiktiv grafik

Indvandrerpolitik fiktiv grafik

Tag et godt kig på de to fordelinger. Har du gættet pointen?

Hvis vi vælger Concitos model med fem krydser (hver person sætter kryds for de fem områder, som har højest prioritet), så vil 48% pege på klimapolitik. Og 48% vil pege på flygtninge- og indvandrerpolitik. Ergo har vores undersøgelse nu vist, at befolkningen peger på de to områder som lige vigtige.

Hvis vi derimod vælger Berlingskes model med tre krydser, så vil 28% pege på klimapolitik. Mens 39% vil pege på flygtninge- og indvandrerpolitik. Ergo har vores undersøgelse nu vist, at befolkningen klart peger på flygtninge- og indvandrerpolitik som vigtigst.

Jamen det var jo den samme undersøgelse med de samme spørgsmål og de samme svarpersoner? Nemlig. Vi vælger bare at kigge på to forskellige udsnit af disse personers politiske præferencer. Og det gør en verden til forskel. Ja, det giver faktisk to radikalt forskellige nyhedshistorier. Og hvad værre er: Vi kan ikke på forhånd entydigt sige, om det er mest korrekt at lade svarpersonerne sætte 1, 2, 3 eller 5 krydser. Men vi kan i det mindste være opmærksomme på problemstillingen.

Som sagt er fordelingerne fiktive. Vi ved ikke, hvordan det havde set ud, hvis Concito havde begrænset sig til tre krydser. Eller hvis Berlingske havde tilladt fem. Men “danskernes foretrukne temaer” og “de vigtigste politikområder” havde formentlig set anderledes ud.

 

Hvis bare det er signifikant …

Danske journalister forholder sig efterhånden hyppigt og kvalificeret til statistisk signifikans og usikkerhed – i meningsmålingsjournalistik: ”… en tilbagegang der lige akkurat er større end den statistiske usikkerhed og derfor er signifikant”. Og “ingen af de to blokke fører dog signifikant … Dødt løb, hvis man tager den statistiske usikkerhed i betragtning“.

Glædeligt – men er det sandt, hvis det er signifikant?

Ikke nødvendigvis, og det ved danske journalister da også godt: “Målingen står indtil videre alene, og derfor skal man være varsom med konklusionerne, men hvis billedet bekræftes af andre meningsmålinger …“.

Klog betragtning. Den kan journalister roligt overføre på forskningsresultater generelt.

Røde kort til sorte spillere
Data kan analyseres statistisk på mange forskellige måder! Forskere skal med andre ord træffe nogle metodevalg, som er styrende for deres statistiske analyser og i sidste ende for de resultater, de offentliggør. Disse valg er i høj grad subjektive, hvor velbegrundede og velargumenterede de end måtte fremstå – og leder til forskellige resultater. Ralph Silberzahn (IESE Business School, Barcelona) og Eric Luis Uhlmann (Insead, Singapore) besluttede at lave et eksperiment, hvor de ville teste, hvordan forskere i praksis træffer forskellige metodevalg, og hvordan det påvirker deres resultater.

forskning 2

29 forskerteams fra hele verden blev stillet samme forskningsspørgsmål: Giver fodbolddommere flere røde kort til sorte spillere end til hvide? De 29 teams, som alle bestod af fagstatistikere, fik det samme datasæt til rådighed og frie hænder til at foretage analysen. Data bestod af samtlige spillere i den bedste række i Spanien, England, Tyskland og Frankrig i sæsonen 2012-2013 og disse spilleres interaktioner med dommere i hele deres professionelle karriere, herunder hvilke røde kort de måtte have fået af hvilke dommere. Alle spillere blev desuden på forhånd kodet efter hudfarve, plads på holdet og en række andre ting.

Forskerens subjektive valg
Denne analyse er vel ret ligetil? Ikke i praksis – viste det sig. 20 forskerteams konkluderede, at hudfarve havde en statistisk signifikant effekt på antallet af rødt kort, altså at sorte spillere får flest røde kort. 9 teams konkluderede, at der ikke var en signifikant sammenhæng. Hvordan kunne det falde så forskelligt ud? Det skyldes, at de 29 teams foretog en række forskellige metodevalg, som ikke er entydigt rigtige eller forkerte – særligt på to områder: 1) De anvendte modeller, som bygger på forskellige statistiske fordelinger; 2) De valgte at kontrollere for forskellige faktorer, fx om den enkelte spiller er forsvarsspiller eller angrebsspiller.

forskning 1

Nu er det sjældent, at journalister præsenteres for 29 simultane analyser baseret på samme forskningsspørgsmål, men mindre kan også gøre det. Eksperimentet viser med al ønskelig tydelighed, at man skal være varsom med at konkludere på en enkeltstående statistisk analyse – selv om den måtte fortælle, at en sammenhæng er signifikant. Eller ikke-signifikant. Mere generelt – og almindeligt – er god, valid forskning blandt andet kendetegnet ved, at andre forskere kan gentage forsøget eller analysen og nå frem til nogenlunde samme resultat, men som bl.a. Jens Ramskov fint har beskrevet i en artikel om samme emne, så viser gentagelseseksperimenter, at overraskende mange forskningsresultater ikke lader sig reproducere.

En svær, men vigtig journalistisk opgave
Det er altså en forbandet god ide altid at spørge, om resultatet står alene eller kan bekræftes af andre lignende forskningsresultater, når man præsenteres for ny forskning.
Det kræver fagekspertise hos den enkelte journalist. Mange danske journalister er eksperter i meningsmålinger og kan på et øjeblik vurdere, om en ny måling ser ”underlig” ud; om der er tale om et ekstremt resultat. Vanskeligere er opgaven, når det gælder alle mulige andre undersøgelser, som (måske?) skal formidles. Men man bør tjekke, om resultaterne understøttes af anden anerkendt forskning. Og forholde sig til metodevalgene. En nylig undersøgelse af forskningsbaseret dækning af udsatte børn og unge, som jeg selv var med til at lave, konkluderer, at forskere på dette fagområde generelt efterlyser større kritisk sans og forståelse af forskningsmetoder og -paradigmer hos journalisterne. Det er vanskeligt, men ikke desto mindre en vigtig journalistisk opgave. Det er ikke nødvendigvis sandt, blot fordi resultatet er ”statistisk signifikant”.

Fup, fejl og fordrejninger

Vil du gerne være din egen detektor? Eller bare blive bedre til at gennemskue tal, fakta og statistik i medierne? Så kan jeg kraftigt anbefale, at du investerer i netop udkomne “Fup, fejl og fordrejninger. Bliv din egen detektor”.

Indrømmet, jeg er ikke en helt uhildet betragter. Jeg er begejstret over, at vi i Danmark har et program som Detektor, og jeg har indimellem selv medvirket i udsendelserne.

9788702164763

Med det sagt, så er det en særdeles oplysende, velskrevet, mundret og eksempelrig bog, Thomas Buch-Andersen og Mads Bøgh Johansen er barslet med. Bogen er inddelt i 11 tematiske kapitler, og det er faktisk bogens helt åbenlyse styrke. Temaerne giver dig hurtigt et overblik over, hvilke typiske fejl og fordrejninger man som mediebruger (eller journalist, politiker, kommunikatør etc.) skal være særligt opmærksom på – tested by reality. Hvis jeg skal fremhæve enkelte temaer, så må det blive “om cherry-picking” – altså når man ved selektiv brug af tal tegner et forkert billede af helheden, “om årsagssammenhænge”, som ofte er nogle helt andre, “om sammenligninger”, som kræver sammenlignelige størrelser, og “om inflation”, som ofte “glemmes”, når priserne igen-igen er rekordhøje. Der er også et udmærket kapitel om meningsmålinger og spørgeskemabaserede undersøgelser, men det bliver dog mest til en indledende introduktion til de typiske validitetsproblemer.

Alle kapitler er krydret med Detektors egne eksempler, og de er både lærerige og underholdende. Bogen indeholder desuden en række korte bidrag fra politikere, erhvervs- og mediefolk, som selv har været en tur i Detektormøllen. Der er – som det nok fremgår – ikke tale om en lærebog. Du lærer ikke, hvordan du finder supplerende tal hos Danmarks Statistik, hvordan du tester for spuriøse sammenhænge, hvordan du korrigerer fra løbende til faste priser, eller hvordan du beregner statistisk usikkerhed ved meningsmålinger. Hvis du skal “kunne selv”, kræver det naturligvis mere end at læse denne bog.

Men med bogen under huden har du alle muligheder for at blive en mere kritisk og vågen medieforbruger. Så læs den. Også – og ikke mindst! – hvis du er journaliststuderende.

 

SMS-afstemning vandt over Facebook

Vinderen af det grønlandske valg var helt klart Siumut og ifølge iagttagere måske især partiets formand Aleqa Hammond. Tilstrømningen til Siumut var allerede tydelig i en måling, som den grønlandske avis Sermitsiaq.AG foretog på avisens Facebook-side frem til fire dage forud for valget – en måling, som vi udsatte for kritik i et indlæg her på sitet.

Kritikken holder vi fast ved. Vi er ikke overbeviste om, at deltagerne i tilkendegivelsen på Facebook var repræsentative for alle vælgere, og samlet set ramte denne måling da også langt forbi skiven, hvis man ser på, hvor mange af målingens svarpersoner der skal flytte deres stemme for at ”ramme” valgets resultat. Fejlprocenten var på 8,9 procentpoint, hvilket er langt fra præcisionen i de sidste meningsmålinger forud for de seneste valg i Danmark. I september sidste år var fejlprocenten i Gallups måling dagen før valget den 15. september på 2,4 procentpoint, mens Rambøll, der fejlede mest, ramte 4,4 procentpoint ved siden af.

Grønlands Radio, KNR, var med en fejlprocent på 4,6 procentpoint tættere på i en lige så uvidenskabelig måling lørdag eftermiddag forud for valget sidste tirsdag. Det var en meningsmåling pr. sms i forbindelse med den sidste tv-transmitterede valgdebat. ”1.817 unikke mobiltelefoner deltog i målingen. Det svarer til 4,5 procent af alle stemmeberettigede”, skriver KNR.

Med til billedet hører, at en videnskabelig måling foretaget telefonisk blandt 800 tilfældigt udvalgte vælgere ramte endnu mere ved siden af end de to nævnte. Den blev afsluttet 10 dage før valget, hvilket ifølge firmaet bag målingen, HS Analyse, kan være en del af forklaringen.

“Vi kunne klart se, at Siumut ville få en stor fremgang, mens IA var på vej tilbage. Og så var der 25 procent, der ikke havde besluttet sig, hvoraf mere end halvdelen havde stemt på IA ved seneste valg. En overvejende del af denne gruppe har i den sidste uge af valgkampen besluttet at følge strømmen og stemt på Siumut, hvorved partiets fremgang blev understreget,” skriver Henrik Skydsbjerg, HS Analyse i en mail.

Han fortæller, at noget af det samme skete ved valget i Grønland i 2009. Dengang var det bare IA, “der stormede frem og først fik tilslutning fra den sidste gruppe af vælgere så tæt på valget, at vi ikke nåede at registrere det.”

Meget tyder på, at Aleqa Hammond og Siumut denne gang høstede mange vælgere i valgkampens slutspurt, men meningsmålingens natur er, at vi ikke kan sige noget præcist om, hvilke skævheder der skyldes den almindelige statistiske usikkerhed, og hvilke der skyldes vælgernes bevægelser, efter at målingen er foretaget.

HS Analyse
afsl. 2.3.

Facebook
afsl. 8.3.

SMS
9.3.
Valget
12.03
Siumut 38,2 35,8 45,2 42,8
Inuit Ataqatigiit 41,4 39,2 32,3 34,4
Demokraterne 8,9 10,2 7,9 6,2
Atassut 6,0 6,9 6,3 8,1
Partii Inuit 4,7 7,0 7,4 6,4
Kattusseqatigiit Partiiat 0,8 0,9 0,9 1,1
Fejlprocent
9,2 8,9 4,6
Antal svar

800

1.927 1.817  30.136

Grønlandske Facebook-brugere strømmer til Siumut

En stikprøve på næsten 2.000 vælgere er ganske mange. Ikke mindst i Grønland, hvor 40.000 indbyggere kan stemme til valget på tirsdag. Det er den grønlandske avis Sermitsiaq.AG, der har fået så mange svar i en meningsmåling på avisens Facebook-side.

Men partiet Siumut, der står til en stor fremgang, skal nok ikke glæde sig for tidligt, for stikprøven kan vise sig at ramme ret meget ved siden af. Ud over den almindelige statistiske usikkerhed er det nemlig langt fra sikkert, at de 1.927 deltagere i meningsmålingen er repræsentative for de grønlandske vælgere. Der kan for eksempel stilles følgende spørgsmål til en eventuel skævhed:

  • Er det kun stemmeberettigede, der har deltaget i afstemningen på Facebook?
  • Er profilen for de grønlandske Facebook-brugere skæv i forhold til partivalg?
  • Er der en skævhed i forhold til, hvem der klikker ind på Sermitsiaq.AG’s Facebook-side?
  • Er især partiet Siumut bare god til at mobilisere sine tilhængere i forbindelse med den slags afstemninger – måske ud fra den betragtning, at medvind kan give ny gejst og yderligere opbakning?

Vi ved det ikke. Men vi ved, at det på andre tidspunkter i historien er gået galt med en meningsmåling, hvor man ikke har sikret sig, at stikprøven var udtaget simpelt og tilfældigt og dermed var repræsentativ for hele befolkningen. Det klassiske eksempel er fra kort før det amerikanske præsidentvalg i 1936, hvor den republikanske guvernør Landon stod til at vinde klart, men alligevel blev Franklin D. Roosevelt genvalgt med en historisk stor valgsejr.

Stikprøven ved meningsmålingen viste sig at være endog meget skæv, fordi den blandt andet kun omfattede forholdsvis velhavende amerikanere med et telefonapparat i huset.

Forud for det seneste Folketingsvalg foretog ekstrabladet.dk en måling, som ramte helt ved siden af landsresultatet samme dag. Dagen efter måtte avisen da også indrømme, at 84.608 ekstrabladet.dk-læsere godt kan tage fejl, selv om der var tale om landets største meningsmåling.

I forbindelse med det grønlandske valg har KNR, “Grønlands Radio”, i dag offentliggjort sin egen undersøgelse foretaget som en sms-afstemning a la X-Factor. “1.817 unikke mobiltelefoner”, 4,5 pct. af alle stemmeberettigede, deltog, og deres svar viser et noget andet resultat end Facebook-afstemningen hos Sermitsiaq.AG og omtales som en “chokmåling”. I forbindelse med den kan der imidlertid sættes mindst lige så store spørgsmålstegn ved deltagernes repræsentativitet.

Til både Sermitsiaq.AG’s og KNR’s ære skal nævnes, at de begge anfører, at der ikke er tale om videnskabelige, repræsentative undersøgelser. Hvad grønlænderne stemmer, ved vi på tirsdag.

Aftenpostens kildekritik halter

Single Kvinner vil beholde boligen for seg selv. Halvparten av norske, single kvinner ønsker ikke at en fremtidig partner skal flytte inn hos dem.

Historien kunne i går læses hos Aftenposten – Norges største avis målt på oplag og traditionelt regnet for en seriøs avis. God historie. Overraskende pointe. Og måske uden hold i virkeligheden.

John Bones, journalist på konkurrerende VG, rejser en berettiget og saglig kritik af historiens manglende belæg.

Kilden til historien er en undersøgelse gennemført af datingtjenesten Match.com blandt 1300 af deres medlemmer (singler). Ikke med ét ord problematiserer Aftenposten brugen af denne kilde. Ingen forbehold. Ingen kildekritik.

Men det er altså for useriøst at generalisere fra 1300 brugere af et datingsite til norske single kvinner som sådan. Som om brugere af et datingsite pr definition er repræsentative for en hel nations singler. Eller som om repræsentativitet ikke for alvor betyder noget. Det gør det. Skulle man have glemt det, hjælper Ekstra Bladets meningsmåling fra efteråret på hukommelsen:

Det er til gengæld befriende at høre en journalist slå ned på Aftenpostens praksis.

Med John Bones egne ord:

Utvalget er dermed ikke representativt for norske kvinner. Aftenposten har ikke beskrevet metodebruken ytterligere, men det er grunn til å anta at svarene er gitt ved selvseleksjon. Enda verre!

I forrige uke gjorde Aftenposten den samme tabben, da avisen mente å kunne fastslå at halvparten av norske foreldre vil fjerne leksene. Undersøkelsen var utført ved selvseleksjon og var følgelig ikke representativ for norske foreldre.

Kan ikke vi som jobber i mediene gjøre det til en felles oppgave å forsikre oss om at undersøkelser vi presenterer faktisk er korrekte? Kildekritikken bør være den samme, uansett hva slags kilder vi bruker.

Man kan kun give manden ret.

Charterturister vil rejse for efterlønspengene

Intet er så godt som resultaterne af en frisk, lille undersøgelse, når man vil understrege et budskab. Det har Star Tours dygtige kommunikator, salgsdirektør Stig Elling, selvfølgelig også fundet ud af. Forleden benyttede han det lille trick i en udtalelse til Jyllands-Posten.
Artiklen ”Ferie i stedet for efterløn” handlede om, at danskerne vil bruge efterlønsmidler på dyre ferier. Stig Elling omtaler en ”lynspørge-undersøgelse” med 600 svar og siger:
”Vores undersøgelse viser, at 30 pct. har valgt at få efterløns-kronerne ud nu, og heraf vil 60 pct. af dem bruge pengene på en rejse.”
600 svarpersoner er et pænt antal, som ikke ligger langt under, hvad de store institutter bruger i politiske meningsmålinger. Den statistiske usikkerhed vokser dog i takt med, at der laves beregninger på undergrupper. 30 pct. af 600 er 180 svarpersoner, der altså har valgt at få efterlønskronerne ud nu, og af dem vil 108 (=60 pct.) bruge pengene på en rejse.
Beregneren på dette site viser et usikkerhedsinterval omkring de 60 pct. på +/- 7,2 procentpoint, så man burde altså kunne konkludere, at et pænt flertal af dem, der har valgt at få efterlønskronerne nu, har tænkt sig at rejse for pengene.
Det problematiske er, at vi ikke ved, om de 180 svarpersoner er repræsentative for alle dem, der ønsker at få efterlønsmidlerne udbetalt blandt de mere end 2 mio. danskere, der betaler til ordningen. Sandsynligvis har vi fat i en gruppe, der adskiller sig afgørende på ét punkt: De er mere interesserede i ferierejser end gennemsnittet.
En opringning til Star Tour viser nemlig, at ”lynspørgeundersøgelsen” ikke er foretaget blandt et repræsentativt udsnit af danskerne, men i løbet af et døgn blandt de mennesker, der er kommet forbi en webrundspørge på Star Tours hjemmeside.
Det stod der bare ikke noget om i artiklen i Jyllands-Posten. Og det kommer vel ikke bag på ret mange, at et pænt flertal af dem, der er på jagt efter en charterrejse, og som har valgt at få efterlønsmidlerne udbetalt, kunne finde på at bruge disse penge til at rejse for?

Piloter falder i søvn i cockpittet

Hvis man ikke led af flyveskræk i forvejen, så fik man en fin anledning forleden, hvor Ritzau kom ud med historien om, at hver anden pilot er faldet i søvn under flyvning.

Det er en god historie – og den har noget på sig. Historien bygger på en undersøgelse gennemført i sensommeren 2011 af analysefirmaet Axand Konsult blandt medlemmer af Svensk Pilotförening. 625 piloter har deltaget i undersøgelsen. I alt 1063 piloter er blevet spurgt, dvs. en svarprocent på 59.

Hvis nogen synes, historien vækker genklang, så er der en god grund. I april måned kørte der en lignende historie om danske piloters arbejdsvilkår og problemer med at holde sig vågne. Denne historie byggede på en undersøgelse foretaget af Sammenslutningen af danske Erhvervspiloter i samarbejde med Politiken. I denne undersøgelse svarede 575 af 1013 adspurgte piloter.

Selvfølgelig er der tale om partsindlæg med en klar dagsorden. Piloterne og deres organisationer bruger undersøgelserne som løftestang til at sikre sig bedre arbejdsvilkår. Men undersøgelserne skal bedømmes på deres troværdighed – ikke på, om de har en bagvedliggende dagsorden.

Axand Konsult allierede sig med Stressforskningsinstituttet ved Stockholms Universitet for at sikre sig spørgsmålenes videnskabelige relevans. Og det er der kommet noget godt ud af. Det gode er, at de kombinerer spørgsmål om piloternes vurderinger af sikkerhed og arbejdsmiljø med meget konkrete spørgsmål om piloternes faktiske arbejdstider, oplevelser med at falde i søvn og fejl begået pga. træthed. Styrken er de konkrete spørgsmål om piloternes egen adfærd. Det giver meget højere troværdighed end de alt for hyppigt forekommende hypotetiske og uforpligtende spørgsmål.

Men kan man stole på, at piloterne ikke overdriver problemerne? Sikker kan man ikke være, men ved at bede piloterne beskrive, hvilke fejl de måtte have begået som følge af træthed, gør man svarene mere forpligtende – og får i tilgift en værdifuld viden.

Hvad så med de piloter, der ikke har svaret? Er undersøgelserne overhovedet repræsentative for danske og svenske piloter? Nej, det er der ikke belæg for at sige. Men der er svar fra et stort antal piloter og en pæn andel af samtlige organiserede piloter. Derfor giver undersøgelserne vigtig viden om piloters arbejdsvilkår – også selv om det ikke nødvendigvis er hver anden pilot, som er faldet i søvn under flyvning.

Så må vi andre leve med flyskrækken. Og med, at Ritzau igen generaliserer for hårdt på en undersøgelse.

For mange ældre går med ble

De fleste beboere på danske plejehjem går med ble, skrev Politiken sidste søndag i en artikel, hvor data var indhentet via en spørgeskemaundersøgelse til plejehjemsledere. Avisen skal have ros for at bruge det udmærkede rundspørge-værktøj til at sætte fokus på et væsentligt emne, som generelt ikke giver så mange prestige-point blandt journalister. Efter valgkampen er det faktisk også ganske befriende med en afbrydelse i den evindelige strøm af undersøgelser, der viser marginale udsving i meningstilkendegivelser fra ”et repræsentativt udsnit af den danske befolkning”.

En væsentlig detalje i Politikens undersøgelse, som avisen da også valgte at vinkle på i forsidehenvisningen, er plejehjemsledernes holdning: ”For mange ældre går med ble”. Nærlæsning viser, at den overskrift er baseret på, at 92,1 pct. af de plejehjemsledere, der har svaret på rundspørgen, tilkendegiver holdningen ”meget enig” eller ”enig” i udsagnet: ”De ældre bør komme på toilettet og i mindre grad gå med ble”.

Man kan indvende, at udsagnet er tæt på at være farvet, så det er vanskeligt at være uenig i. På den anden side må man også gå ud fra, at svarpersonerne kender til de faktiske forhold i plejehjemsbranchen og derfor også de argumenter, der taler for, at ældre bør går med ble, fx problemer med inkontinens. Derfor kan man godt konkludere, at det har været med i overvejelserne hos svarpersonerne, inden de tilkendegav deres grad af enighed i spørgsmålet.

92,1 pct. er en overbevisende andel også selv om svarpersonerne ikke er repræsentative for alle plejehjemsledere. Og det er de faktisk ikke, skriver Politiken selv. I faktaboksen ved undersøgelsen er der nemlig denne ”varedeklaration”:

”Politiken Research har i en spørgeskemaundersøgelse fået svar fra 381 ledere af plejehjem og -boliger ud af i alt 886 mulige. Plejehjemsledere fra i alt 86 kommuner har deltaget. Rundspørgen, som ikke er statistisk repræsentativ, men udtrykker en tendens, er foretaget i perioden 24.2.-7.3.2011”.

Det er faktisk en deklaration, som mange andre medier kunne lære af. Avisen har fået svar fra under halvdelen (43 pct.) af de mulige svarpersoner. Det er en ret lille andel, og avisen har åbenbart ikke grundlag for at påstå, at de, der har svaret, er repræsentative for alle plejehjemsledere. Derfor nøjes man med at kalde resultatet af undersøgelsen for ”en tendens”.

Andre steder i formidlingen er der malet med en mere bred pensel på den måde, at man uden forbehold generaliserer til alle plejehjem i Danmark med ordene ”på halvdelene af plejehjemmene” og ”på hvert andet plejehjem”. Det vælger jeg i denne omgang at se mindre alvorligt på, når forbeholdet er nævnt i en forbilledlig deklaration. Og ”tendensen” i avisens undersøgelse er da både interessant, alvorlig og tankevækkende.

Drop enkeltmålingerne

Opdateret 15. september kl. 9:00 (5 målinger fra Gallup, Epinion, Megafon, Voxmeter og Rambøll)

Drop nu enkeltmålingerne og se på nogle gennemsnitsmål over tid i stedet. Nogenlunde sådan har jeg – og mange andre – sagt og skrevet den seneste uge. For hvad skal man stille op med 6 nye daglige meningsmålinger, som stritter indbyrdes?

Berlingske Barometer formidler sådan et dagligt gennemsnit, og dem ville jeg egentlig gerne anbefale. Men jeg ved ikke, hvordan de gør! “En avanceret model ligger til grund for beregningen” – sådan skriver de, på deres hjemmeside. Nogenlunde som ethvert andet analysefirma ville skrive det. Nå nej, Berlingske er jo ikke et analysefirma. Eller er de? Deres fremgangsmåde er under alle omstændigheder en forretningshemmelighed. Læseren må derfor bare stole på, at journalisterne og researchafdelingen er kloge og har ret. Hmm…

Jeg har derfor sat mig for hver dag at formidle et simpelt gennemsnit baseret på de seneste målinger fra 5-6 institutter* med svar indsamlet de seneste 3 dage** (tabellen opdateres dagligt – klik på den for fuld størrelse):


Nu er det simple gennemsnit jo hverken avanceret eller hemmeligt. Men baseret på de første 3 sammenligninger (4.-6.  5.-7.  og 6.-8. september) så rammer det en anelse anderledes end Berlingskes gennemsnit. Hvad kan det skyldes? Formentlig, at Berlingske medtager flere ældre målinger i deres vægtede gennemsnit. Det simple gennemsnit her på siden er i så fald mere følsomt over for dag-til-dag udviklinger.

Men er gennemsnittet så til at stole på? Ja, det lever i hvert fald op til kravene om aktualitet kombineret med mange svar, og det er givetvis bedre end alle de daglige enkeltmålinger. Med en stikprøve på ca. 6000 repræsentativt udvalgte svarpersoner bør gennemsnittet tegne et temmelig retvisende billede. Den matematiske usikkerhed er reduceret til maksimalt 1,3 procentpoint (plus/minus). Tjek selv med beregneren på denne hjemmeside (beregn usikkerhed 1 andel).

Vær opmærksom på, at der dagligt “kun” udskiftes ca. 2000 svarpersoner i de valgte målinger. Det betyder, at dag-til-dag udviklinger mellem blokkene baserer sig på disse 2000 nye svar – og ikke 6000 nye svar.

*Gennemsnittet er baseret på daglige målinger fra typisk Gallup, Epinion, Megafon, Voxmeter, Rambøll og Norstat.

**Svarene er indsamlet over tre dage. Institutterne anvender rullende målinger.