Fup, fejl og fordrejninger

Vil du gerne være din egen detektor? Eller bare blive bedre til at gennemskue tal, fakta og statistik i medierne? Så kan jeg kraftigt anbefale, at du investerer i netop udkomne “Fup, fejl og fordrejninger. Bliv din egen detektor”.

Indrømmet, jeg er ikke en helt uhildet betragter. Jeg er begejstret over, at vi i Danmark har et program som Detektor, og jeg har indimellem selv medvirket i udsendelserne.

9788702164763

Med det sagt, så er det en særdeles oplysende, velskrevet, mundret og eksempelrig bog, Thomas Buch-Andersen og Mads Bøgh Johansen er barslet med. Bogen er inddelt i 11 tematiske kapitler, og det er faktisk bogens helt åbenlyse styrke. Temaerne giver dig hurtigt et overblik over, hvilke typiske fejl og fordrejninger man som mediebruger (eller journalist, politiker, kommunikatør etc.) skal være særligt opmærksom på – tested by reality. Hvis jeg skal fremhæve enkelte temaer, så må det blive “om cherry-picking” – altså når man ved selektiv brug af tal tegner et forkert billede af helheden, “om årsagssammenhænge”, som ofte er nogle helt andre, “om sammenligninger”, som kræver sammenlignelige størrelser, og “om inflation”, som ofte “glemmes”, når priserne igen-igen er rekordhøje. Der er også et udmærket kapitel om meningsmålinger og spørgeskemabaserede undersøgelser, men det bliver dog mest til en indledende introduktion til de typiske validitetsproblemer.

Alle kapitler er krydret med Detektors egne eksempler, og de er både lærerige og underholdende. Bogen indeholder desuden en række korte bidrag fra politikere, erhvervs- og mediefolk, som selv har været en tur i Detektormøllen. Der er – som det nok fremgår – ikke tale om en lærebog. Du lærer ikke, hvordan du finder supplerende tal hos Danmarks Statistik, hvordan du tester for spuriøse sammenhænge, hvordan du korrigerer fra løbende til faste priser, eller hvordan du beregner statistisk usikkerhed ved meningsmålinger. Hvis du skal “kunne selv”, kræver det naturligvis mere end at læse denne bog.

Men med bogen under huden har du alle muligheder for at blive en mere kritisk og vågen medieforbruger. Så læs den. Også – og ikke mindst! – hvis du er journaliststuderende.

 

Lad os nu se undersøgelsen!

Godt udgangspunkt for inklusion i folkeskolen. Variationer over dette tema har man i dag kunnet læse i næsten alle større danske digitale medier.

Picture1

Baggrunden er en netop offentliggjort undersøgelse fra SFI med den uhelbredelige titel: Statusrapport 1: Et forskningsprojekt om inklusion af elever med særlige behov i den almindelige undervisning.

Og det er jo faktisk et ret interessant og vedkommende emne – ikke mindst hvis man, som jeg, har børn i skolealderen. Derfor tænkte jeg også straks, at det kunne være dejligt at kigge nærmere på selve undersøgelsen. Og det er da heller ikke nogen umulig opgave. Den kan Googles frem. Og man kan finde den på SFI’s hjemmeside.

Men hvordan kan det være, at ingen toneangivende danske medier føler sig foranlediget til at dele rapporten med os? En række medier (Information, Politiken, EkstraBladet, Kristeligt Dagblad etc.) bringer samme Ritzau-telegram. Intet link til rapporten. Andre medier bringer et lignende telegram fra Berlingske Nyhedsbureau. Heller intet link til rapporten. Jyllands-Posten laver deres egen historie. Og linker ikke til rapporten. DR.dk laver deres egen nyhedshistorie. Og linker heller ikke til rapporten. Det er faktisk kun folkeskolen.dk, som linker til rapporten.

Det er jo en lille ting, kan man indvende. Og er der overhovedet nogen derude, som gider og har tid til at læse rapporter og bagvedliggende dokumentation? Ja, jeg gør faktisk. Ikke altid, men indimellem. Og jeg bliver lige irriteret hver gang, jeg selv skal ud og opstøve dokumentation, som medierne har, men blot ikke har delt.

Påvirker meningsmålinger faktisk vælgerne?

De seneste uger har de toneangivende medier været fyldt med selvransagelse: ”Vi lader os rive med af positive meningsmålinger”; ”Målinger overbeviser vælgerne” og ”Politiske prognoser flytter stemmer”.

De refererer alle til en ny forskningsrapport fra Institut for Statskundskab på Københavns Universitet forfattet af Kasper Møller Hansen m.fl. – med titlen: Hvordan påvirkes vælgerne af meningsmålinger?

Projektet er interessant – ikke mindst set i lyset af DR’s uheldige exitprognose ved seneste kommunalvalg. For spørgsmålet er jo, om DR – og refererende medier – har påvirket vælgerne og dermed valgresultatet med den tidlige skæve måling?

Nu er det undersøgt, for første gang i en dansk sammenhæng, via et såkaldt survey-eksperiment. Her har man inddelt ca. 3.000 repræsentativt udvalgte danskere i fire stimuligrupper og en kontrolgruppe, hver især bestående af ca. 600 personer, og herefter præsenteret stimuligrupperne for meningsmålinger og tilhørende nyhedsartikler, som giver fiktiv frem- eller tilbagegang for henholdsvis Socialdemokraterne og De Konservative. Så har man stillet de 3.000 danskere en række spørgsmål, herunder hvad de ville stemme, hvis der var folketingsvalg i morgen, og herudfra estimeret stimulieffekterne – altså mulige fremgangs- og tilbagegangseffekter.

Undersøgelsen konkluderer, at det er ”sandsynliggjort, at når et parti går frem i meningsmålingerne, kan det give dem et ekstra boost blandt vælgerne” og ”… der er en tendens til, at positive meningsmålinger sender partierne frem, mens dårlige målinger kan sende dem tilbage”. Definitionen af boost vil jeg overlade til andre, men faktum er, at undersøgelsen sandsynliggør en ganske lille fremgangseffekt (bandwagon effekt). For Socialdemokraternes vedkommende fraviger man i undersøgelsen det ellers bredt anerkendte krav om et 5 procents signifikansniveau. Effekten er blot signifikant på et 10 procents signifikansniveau.

I forskningssammenhæng taler man om, at en effekt kan være stærkt signifikant, svagt/marginalt signifikant eller slet ikke signifikant. Et 10 procents signifikansniveau vil i mange forskningssammenhænge betegnes ”ikke signifikant” eller ”marginalt signifikant”. Det er et gråzoneområde. Begrundelsen er, at der er en ikke ubetydelig risiko for, at den målte forskel blot er ”tilfældig støj” – altså, at der ingen virkelig effekt er. I fagsproget taler man om risikoen for fejlagtigt at forkaste en sand H0-hypotese, en såkaldt type 1 fejl. Hvis H0-hypotesen er sand, er der ingen effekt. Denne risiko er til stede her, også selv om eksperimentet forventes at have høj intervaliditet (høj intervaliditet: At den observerede stemmeeffekt kan tilskrives stimuli – her meningsmåling og artikel – og ikke andre “forstyrrende” årsager).

Min kritik af undersøgelsens hovedresultater – når man ser på stemmeadfærd – kan i forlængelse heraf sammenfattes i to pointer, som ikke afspejles i de seneste ugers mediedækning:

Pointe 1: Havde der været tale om virkelige meningsmålinger hver især baseret på ca. 600 svar og med samme fremgang i tilslutningen til Socialdemokraterne, ville fagpersoner rådgive journalister til ikke at vinkle på forskellen pga. den statistiske usikkerhed. Med henvisning til eksperimentets høje intervaliditet og evidens fra lignende eksperimenter mener forskerne, at det er forsvarligt her. Det fremgår dog ingen steder i rapporten eller i medieomtalen, at der er tale om marginal signifikans.

Pointe 2: Tilbagegangseffekterne er insignifikante, dvs. ikke sandsynliggjort i undersøgelsen. Men når det er tilfældet, hvordan kan rapporten så konkludere en tendens til, at dårlige målinger kan sende partierne tilbage? Det virker ikke stærkt underbygget i eksperimentets resultater.

Dertil kommer en tredje væsentlig pointe, som handler om selve forskningsdesignet, altså at der er tale om et survey-eksperiment: Fremgangseffekterne ville næppe være målbare ved et virkeligt valg, fordi man ved virkelige valg påvirkes af mange modsatrettede faktorer, og fordi de fleste danskere ikke læser en bestemt meningsmåling og ditto nyhedsartikel. Dette forhold diskuteres behørigt i forskningsrapporten og er et grundvilkår ved denne type forskningsdesign. Og jeg lever gerne med det – når blot det ikke negligeres i formidlingen af undersøgelsens resultater. Det, mener jeg desværre, er sket i flere af artiklerne.

Man har i landsdækkende medier kunnet læse, at der er tale om ”ret store effekter”, ”at det kan være ret fatalt at udkomme med en tidlig meningsmåling”, at der ”gerne kommer 3,4 procent oveni, hvis et parti går 5 procent frem”, at ”S kan have tabt på, at vælgerne har fået at vide, at det gik dårligt” – kort sagt: Man får indtryk af, at meningsmålinger kan påvirke et valgresultat i betydelig grad.

Men alle de nævnte citater, fortolkninger og vinkler er for hårdt strammede. Effekterne ved et virkeligt valg er nærmest umulige at estimere på baggrund af et eksperiment, som det man her har gennemført. Undersøgelsen dokumenterer ikke store effekter med potentielt fatale konsekvenser for fx Socialdemokraterne ved efterårets kommunalvalg.

Nu handler undersøgelsen ikke blot om stemmeadfærd. Stimulieffekter på ”partisympati” undersøges også. Og stemmeadfærdseffekterne for De Konservative er i undersøgelsen større end for Socialdemokraterne. Samlet set sandsynliggør undersøgelsen, at vælgere faktisk påvirkes af fremgangsmålinger. Men det ændrer ikke ved, at hovedparten af stemmeadfærdseffekterne er insignifikante eller marginalt signifikante med almindelig målestok, og at fremgangseffekten i populationen kan være meget begrænset.

Berlingske citerer Kasper Møller Hansen for at sige, at ”der hviler et stort ansvar på nyhedsmedierne som formidlere af meningsmålinger”. Enig. Men, kunne man tilføje, der hviler også et stort ansvar på selvsamme medier som formidlere af undersøgelser om meningsmålingers effekt. Og et ditto ansvar hos forskerne bag undersøgelsen for, at resultaterne ikke overeksponeres.

Politiets interviewteknik

Netop hjemvendt fra årets på alle måder storslåede SKUP-konference i Norge (SKUP er Stiftelsen for en Kritisk og Undersøkende Presse) må jeg reklamere for ét særligt inspirerende metode-oplæg. Han er hjernen bag afhøringerne af Anders Behring Breivik og manden, som har indført en egentlig forskningsbaseret afhøringsmetodik og systematik hos norsk politi: Asbjørn Rachlew.

Picture1Der er helt oplagte paralleller mellem politiets og journalisters interviewteknik, men – og det er måske lidt mindre selvindlysende – også inspiration til, hvordan man stiller gode spørgsmål i spørgeskemaundersøgelser. Lad os håbe, at nogen inviterer manden til Danmark også.

I nogen grad enig …?

De er lumske. Ikke nemme at håndtere. Og medierne har ofte ganske svært ved at fortolke dem retvisende.

Jeg taler om midterkategorierne. Altså svarskalaernes centrale omdrejningspunkt. Enhver balanceret svarskala har vel en midterkategori? Næh, faktisk ikke. Det er ikke givet, at man SKAL have en “hverken-eller/i nogen grad” mulighed, eller hvad man nu måtte kalde sit centrum. Det er et videnskabeligt studie for sig, hvad det betyder for svarfordelingerne, hvis man helt fjerner den midterste værdi – for naturligvis betyder det noget. Men det er en anden diskussion.

Picture1

Forleden stillede Jyllands-Posten danskerne dette spørgsmål:

I hvilken grad mener du, at den danske folkeskole har det nødvendige faglige niveau?

Med svarmulighederne “i meget lav grad”, “i lav grad”, “i nogen grad”, “i høj grad” og “i meget høj grad”. Men hvad vil det sige i nogen grad at mene, at folkeskolen har det nødvendige faglige niveau? Jyllands-Postens fortolkning faldt både undertegnede og Detektor for brystet.

Men problemet kendes også uden for landets grænser. TV2 Norge fik ørerne i maskinen, da de stillede spørgsmålet (om ressourcer på sykehjem):

I hvilken grad går manglende ressurser utover en forsvarlig og verdig omsorg?

Igen var problemet fortolkningen af svaret “I noen grad” – den midterste svarmulighed. Problemet opstår, når man slår midterkategorierne sammen med enten de tilfredse/enige eller utilfredse/uenige. Det kan være fristende – ikke mindst fordi, der ofte er mange svar i midten. Med denne fremgangsmåde står man pludselig med en meget stor andel danskere eller nordmænd eller plejere, som man kan vinkle på: 2 ud af 3 mener… Men billedet er fortegnet.

Hvordan skal man så fortolke svarene i midterkategorierne? Løsningen er – i mange tilfælde – at lade dem være.

Gætværk

Et nyt – og problematisk – argument for at tage meningsmålinger for pålydende er begyndt at dukke op blandt journalister og journaliststuderende:

Man anerkender, at de små ændringer i partiernes tilslutning ligger inden for den statistiske usikkerhed, men argumenterer samtidig for, at det er mest sandsynligt, at tilslutningen (altså den virkelige tilslutning blandt alle myndige danskere)  alligevel ligger som målt. Og man slutter deraf, at det er OK at tage undersøgelsen for pålydende.

I en hvis forstand er argumentet rigtigt, men konklusionen er forkert. Jeg diskuterer problemstillingen her: http://journalisten.dk/gaetvaerk

Spørgeteknik – og lukning af Thomas B. Thriges Gade

Hen over sommeren har odenseanerne diskuteret den mulige lukning af Odenses centrale færdselsåre, Thomas B. Thriges Gade, heftigt.  Et flertal i Odense Byråd har foreslået lukningen – til det lokale erhvervslivs og Venstres fortrydelse. Lokale meningsmålinger foretaget blandt almindelige odenseanere og lokale erhvervsdrivende har været et input til denne diskussion og er blevet forsøgt brugt som politisk løftestang af modstandere af lukningen – som beskrevet af Fyens Stiftstidende i går, 27. august 2013:

Så langt, så godt. Det kan være helt legitimt at bruge lødige og troværdige meningsmålinger som led i en politisk diskussion. Men lad os kigge nærmere på et par af målingerne og den spørgeteknik, de anvender.

En af målingerne er foretaget af analysefirmaet M3 Research. Det har spurgt 500 beboere bosat i Odense Kommune om deres holdning til lukningen af gaden. Sådan lyder spørgsmålet:

Et flertal i Odense Byråd har foreslået en lukning af Thomas B. Thriges Gade. I hvilken grad går du ind for en lukning af Thomas B. Thriges Gade? I meget høj grad, I høj grad, I nogen grad, I lille grad, Slet ikke, Ved ikke.

Er det ikke et helt tilforladeligt og afbalanceret spørgsmål at stille? Nej, det er det faktisk ikke. Det skyldes tre forhold:

  1. Man spørger: “I hvilken grad går du ind for en lukning …?” Man lægger dermed op til, at svarpersonen nok i en eller anden grad går ind for lukning.
  2. Man præsenterer spørgsmålet i en bestemt kontekst, nemlig: “Et flertal i Odense Byråd har foreslået en lukning”. Denne kontekst, som peger på lukning foreslået af byens politiske autoriteter, kan være med til at påvirke uafklarede odenseanere til at udtrykke en eller anden grad af enighed med byrødderne. Det faktum, at man nævner Odense Byråd i formuleringen, kan altså gøre den enkelte borgers stillingtagen til et spørgsmål, om man er for eller imod byrådet. Og det var jo ikke meningen.
  3. Man anvender et sæt svarmuligheder, som ikke er særligt velegnede til formålet. Hvad vil det sige at gå ind for noget i lille grad? Det er næsten en selvmodsigelse.

Man kunne i stedet have spurgt helt enkelt: “Er du tilhænger af at bevare eller lukke gaden?” Og så med 2-3 svarmuligheder uden gradbøjning (og “ved ikke” som udvej). Det ville gøre den efterfølgende fortolkning meget mere entydig.

Man kunne altså have grebet det hele noget mere enkelt – og balanceret – an. Og det er der faktisk nogen, som har gjort – tilbage i efteråret 2012. Hvilket analyseinstitut er der så tale om? Her kommer det morsomme: Det er såmænd en meningsmåling udarbejdet af gymnasieelever fra Sct. Knuds Gymnasium. De har stillet 380 odenseanere følgende spørgsmål:

Er du for eller imod lukningen af Thomas B. Thriges Gade? For, Imod, Både og, Ved ikke

De har i samme ombæring – og i lighed med M3 Research – stillet en lang række uddybende og supplerende spørgsmål, som de fint linker til fra deres netavis. Og så har de naturligvis vægtet svarene fra de 380 odenseanere på en række indsamlede baggrundsvariable for at sikre et mest muligt retvisende billede i forhold til den faktiske befolkningssammensætning i Odense Kommune. Hvis denne klasse sætter standarden for nutidens gymnasieelever, hvad angår metodisk forståelse og stringens (læs selv deres øvrige analyser på netavisen), så er jeg både tryg og imponeret.

Kvalitetsvægtede gennemsnit af meningsmålinger

Det lyder grimt. Eller i hvert fald kompliceret.

Men faktisk er det ret enkelt: Et gennemsnit af mange meningsmålinger er alt andet lige mere retvisende end de enkelte målinger, som gennemsnittet bygger på. Sådanne gennemsnit finder du fx hos Berlingske Barometer, hos Ritzau Index og på Altinget.dk. Brug dem.

Erik Gahner Larsen har for nylig skrevet et godt og informativt indlæg, som forklarer, hvorfor gennemsnit typisk er mere præcise, og hvad man som journalist eller mediebruger skal være særligt opmærksom på, når man læser meningsmålinger. Læs det.

SMS-afstemning vandt over Facebook

Vinderen af det grønlandske valg var helt klart Siumut og ifølge iagttagere måske især partiets formand Aleqa Hammond. Tilstrømningen til Siumut var allerede tydelig i en måling, som den grønlandske avis Sermitsiaq.AG foretog på avisens Facebook-side frem til fire dage forud for valget – en måling, som vi udsatte for kritik i et indlæg her på sitet.

Kritikken holder vi fast ved. Vi er ikke overbeviste om, at deltagerne i tilkendegivelsen på Facebook var repræsentative for alle vælgere, og samlet set ramte denne måling da også langt forbi skiven, hvis man ser på, hvor mange af målingens svarpersoner der skal flytte deres stemme for at ”ramme” valgets resultat. Fejlprocenten var på 8,9 procentpoint, hvilket er langt fra præcisionen i de sidste meningsmålinger forud for de seneste valg i Danmark. I september sidste år var fejlprocenten i Gallups måling dagen før valget den 15. september på 2,4 procentpoint, mens Rambøll, der fejlede mest, ramte 4,4 procentpoint ved siden af.

Grønlands Radio, KNR, var med en fejlprocent på 4,6 procentpoint tættere på i en lige så uvidenskabelig måling lørdag eftermiddag forud for valget sidste tirsdag. Det var en meningsmåling pr. sms i forbindelse med den sidste tv-transmitterede valgdebat. ”1.817 unikke mobiltelefoner deltog i målingen. Det svarer til 4,5 procent af alle stemmeberettigede”, skriver KNR.

Med til billedet hører, at en videnskabelig måling foretaget telefonisk blandt 800 tilfældigt udvalgte vælgere ramte endnu mere ved siden af end de to nævnte. Den blev afsluttet 10 dage før valget, hvilket ifølge firmaet bag målingen, HS Analyse, kan være en del af forklaringen.

“Vi kunne klart se, at Siumut ville få en stor fremgang, mens IA var på vej tilbage. Og så var der 25 procent, der ikke havde besluttet sig, hvoraf mere end halvdelen havde stemt på IA ved seneste valg. En overvejende del af denne gruppe har i den sidste uge af valgkampen besluttet at følge strømmen og stemt på Siumut, hvorved partiets fremgang blev understreget,” skriver Henrik Skydsbjerg, HS Analyse i en mail.

Han fortæller, at noget af det samme skete ved valget i Grønland i 2009. Dengang var det bare IA, “der stormede frem og først fik tilslutning fra den sidste gruppe af vælgere så tæt på valget, at vi ikke nåede at registrere det.”

Meget tyder på, at Aleqa Hammond og Siumut denne gang høstede mange vælgere i valgkampens slutspurt, men meningsmålingens natur er, at vi ikke kan sige noget præcist om, hvilke skævheder der skyldes den almindelige statistiske usikkerhed, og hvilke der skyldes vælgernes bevægelser, efter at målingen er foretaget.

HS Analyse
afsl. 2.3.

Facebook
afsl. 8.3.

SMS
9.3.
Valget
12.03
Siumut 38,2 35,8 45,2 42,8
Inuit Ataqatigiit 41,4 39,2 32,3 34,4
Demokraterne 8,9 10,2 7,9 6,2
Atassut 6,0 6,9 6,3 8,1
Partii Inuit 4,7 7,0 7,4 6,4
Kattusseqatigiit Partiiat 0,8 0,9 0,9 1,1
Fejlprocent
9,2 8,9 4,6
Antal svar

800

1.927 1.817  30.136

Grønlandske Facebook-brugere strømmer til Siumut

En stikprøve på næsten 2.000 vælgere er ganske mange. Ikke mindst i Grønland, hvor 40.000 indbyggere kan stemme til valget på tirsdag. Det er den grønlandske avis Sermitsiaq.AG, der har fået så mange svar i en meningsmåling på avisens Facebook-side.

Men partiet Siumut, der står til en stor fremgang, skal nok ikke glæde sig for tidligt, for stikprøven kan vise sig at ramme ret meget ved siden af. Ud over den almindelige statistiske usikkerhed er det nemlig langt fra sikkert, at de 1.927 deltagere i meningsmålingen er repræsentative for de grønlandske vælgere. Der kan for eksempel stilles følgende spørgsmål til en eventuel skævhed:

  • Er det kun stemmeberettigede, der har deltaget i afstemningen på Facebook?
  • Er profilen for de grønlandske Facebook-brugere skæv i forhold til partivalg?
  • Er der en skævhed i forhold til, hvem der klikker ind på Sermitsiaq.AG’s Facebook-side?
  • Er især partiet Siumut bare god til at mobilisere sine tilhængere i forbindelse med den slags afstemninger – måske ud fra den betragtning, at medvind kan give ny gejst og yderligere opbakning?

Vi ved det ikke. Men vi ved, at det på andre tidspunkter i historien er gået galt med en meningsmåling, hvor man ikke har sikret sig, at stikprøven var udtaget simpelt og tilfældigt og dermed var repræsentativ for hele befolkningen. Det klassiske eksempel er fra kort før det amerikanske præsidentvalg i 1936, hvor den republikanske guvernør Landon stod til at vinde klart, men alligevel blev Franklin D. Roosevelt genvalgt med en historisk stor valgsejr.

Stikprøven ved meningsmålingen viste sig at være endog meget skæv, fordi den blandt andet kun omfattede forholdsvis velhavende amerikanere med et telefonapparat i huset.

Forud for det seneste Folketingsvalg foretog ekstrabladet.dk en måling, som ramte helt ved siden af landsresultatet samme dag. Dagen efter måtte avisen da også indrømme, at 84.608 ekstrabladet.dk-læsere godt kan tage fejl, selv om der var tale om landets største meningsmåling.

I forbindelse med det grønlandske valg har KNR, “Grønlands Radio”, i dag offentliggjort sin egen undersøgelse foretaget som en sms-afstemning a la X-Factor. “1.817 unikke mobiltelefoner”, 4,5 pct. af alle stemmeberettigede, deltog, og deres svar viser et noget andet resultat end Facebook-afstemningen hos Sermitsiaq.AG og omtales som en “chokmåling”. I forbindelse med den kan der imidlertid sættes mindst lige så store spørgsmålstegn ved deltagernes repræsentativitet.

Til både Sermitsiaq.AG’s og KNR’s ære skal nævnes, at de begge anfører, at der ikke er tale om videnskabelige, repræsentative undersøgelser. Hvad grønlænderne stemmer, ved vi på tirsdag.