500 forskere undsiger deres rektor

Når 500 medarbejdere mener, at deres øverste chef bør forlade sin stilling, er det da ganske opsigtsvækkende. Derfor er der ingen tvivl om, at Berlingske havde en god historie, da avisen omtalte en rundspørge, der var sendt til videnskabelige medarbejdere på Københavns Universitet.

Allerede i det indledende afsnit begår Berlingske imidlertid den fejl at konkludere, at ”op mod hver anden videnskabelig medarbejder” ønsker rektors afgang, og straks derefter citere en kilde for, at ”godt halvdelen af medarbejderne ønsker, at den ledende figur skal gå af” – også bortset fra tvivl om betydningen af udtrykket ”godt” fra enten kildens eller journalistens side.

Ifølge Berlingske svarede nemlig 48,3 procent af svarpersonerne ”Ja” til spørgsmålet: ”Mener du, at Ralf Hemmingsen bør gå af efter Penkowa-sagen?”. Problemet er, at avisen har spurgt 5.500 videnskabelige medarbejdere, og kun 1.049 har valgt at svare. En svarprocent på 19 er meget lav, og det er nærliggende at antage, at mange af dem, der har undladt at svare, enten ikke har nogen mening om den fremsatte påstand eller måske ligefrem hælder til et ”Nej”, men i øvrigt ikke synes, at deres holdning til den komplekse sag om rektors rolle i Penkowa-sagen kan destilleres til et svar på et så unuanceret spørgsmål.

Fagbladet Journalisten bringer historien om, at Universitetsavisens redaktør er kommet under beskydning efter at have forsøgt at kopiere Berlingskes rundspørge, men med universitetets studerende og øvrige grupper af ansatte som svarpersoner. I Journalisten er Nils Mulvad og jeg blevet bedt om en vurdering af rundspørgernes lødighed. Nils har derudover lavet sin egen grundige gennemgang, som er værd at læse, hvis man vil klæde sig på til at undgå lignende fejl, eller hvis man blot ønsker at blive bedre rustet til at være en kritisk læser af rundspørgeresultater.

Links

Artiklen i Berlingske, 23. juni 2011

Journalisten: Ansvarsløs og skandaløs, 10. august 2011

Journalisten: Eksperter: Undersøgelsen er for tynd, 10. august 2011

Nils Mulvad: Dårlig rundspørge fra Berlingske i Penkowa-sagen, 10. august 2011

Københavnere bekymrer sig over forbruget af stoffer

”Mere end hver fjerde dansker er bekymret over en nær pårørendes narkotikamisbrug”, lød det i går i morgenradioavisen. ”Det var li’godt … mange,” tænkte jeg.

Et nærmere tjek viser, at de fleste udtryk i sætningen enten er usikre eller direkte fejlagtige:

”Mere end hver fjerde” – usikkert
Andelen henviser til, at der i en artikel af syv nordiske forskere er angivet, at 27 procent af de spurgte tilkendegiver, at de er bekymrede over brug af stoffer hos en person i omgangskredsen. Problemet er, at svarpersonerne fra et repræsentativt panel forinden er gjort opmærksom på, at emnet er stofmisbrug i omgangskredsen, og forskerne skriver selv, at det kan betyde, at de, der valgte at svare, er mere interesserede i emnet end gennemsnittet.

”dansker” – forkert
Andelen er fra de danske svar i en nordisk undersøgelse blandt indbyggerne i landenes hovedstæder. Svarpersonerne er altså fra København. Mon ikke man kan tillade sig at antage, at københavnerne kender lidt flere, der indtager stoffer, end indbyggerne i resten af landet?

”en nær pårørendes” – forkert
Udtrykket ”en person, du kender personligt” er anvendt i undersøgelsen, men forskerne har forinden over for svarpersonerne defineret udtrykket som ”en person, der er tæt på dig, en slægtning eller en ven, eller en person, du mindst kender navnet på og har talt med”. Det kan man vist ikke udelukkende kalde ”en nær pårørende”.

”narkotikamisbrug” – forkert
Spørgsmålet handler om ”brug af stoffer”, altså ikke nødvendigvis misbrug. Desuden er hash også narkotika, men de fleste danskere forbinder nok et lidt for stort forbrug af hash med noget helt andet end narkotikamisbrug, selv om førstnævnte kan være nok så bekymrende.

Som næsten altid ved den type historier var Radioavisens indslag inspireret af et af de trykte medier, nemlig en artikel i MetroXpress, hvor skærpelsen – og dermed fejlene – især fremgår af rubrik og underrubrik.

Til slut et lille hjertesuk: Forskere sørger selvfølgelig for den nødvendige rygdækning i deres videnskabelige artikler, men når forbeholdene er gemt godt af vejen, er det altså lidt af en gratis omgang. På hjemmesiden for norske ”Statens institutt for rusmiddelforskning” (SIRUS) står der for eksempel ikke noget om risikoen for, at det især er berørte, der har valgt at svare på undersøgelsen. Og ifølge nyhedsjournalisten på MetroXpress var det den pressemeddelelse, der vækkede hans interesse.

Kære forskere: I skal ikke regne med, at den travle nyhedsjournalist får læst hele den videnskabelige artikel (i dette tilfælde 15 sider på engelsk), så sørg for at få forbeholdene trukket frem i forgrunden. Når mediemøllen kværner, er der stor sandsynlighed for, at nuancerne forsvinder, hvis I ikke tager jeres del af ansvaret for at få dem med.

Overskriften på dette indlæg er mit forsøg på en rubrik, der i højere grad er i overensstemmelse med det videnskabelige grundlag, men som – indrømmet – ikke i samme grad ville vække min opmærksomhed og være årsag til, at jeg fik morgenkaffen galt i halsen.

40 borgmestre forventer mere udlicitering

Under overskriften ”Borgmestre byder private virksomheder indenfor” bragte gårsdagens Berlingske (side 10-11 i Business-sektionen) resultatet af en rundspørge til landets borgmestre. Artiklen illustrerer på glimrende vis hele tre pointer i vores bog:

  • Det kan være vanskeligt at få kilder tæt ved magtens top til at svare på spørgeskemaer
  • Ved rundspørger skal man være omhyggelig med at vurdere frafald
  • Ved færre end 100 svarpersoner bør man ikke omregne til procent

Danmark har 98 borgmestre, hvis man ser bort fra de seks ”underborgmestre” i København. Ved det centrale spørgsmål har 54 borgmestre markeret deres holdning. Man må gå ud fra, at Berlingske Research har gjort en anstrengelse for at få så mange som muligt til at svare og dermed gøre undersøgelsen pålidelig. Antallet af svar viser altså, hvor vanskeligt det er at få kommunernes topfolk til at svare på spørgsmål fra selv en seriøs, landsdækkende avis.

Ved store rundspørger kan en svarprocent på 55 være tilfredsstillende, men ved en så lille og politisk sammensat population er den katastrofal lav. Som læsere efterlades man i hvert fald med en stor tvivl, om de indkomne svar nu også kan generaliseres til samtlige borgmestre. Hvordan er frafaldet for eksempel fordelt på de forskellige partier? For man kan vel godt regne med, at holdningen til emnet – udlicitering af velfærdsopgaver – også kan have noget at gøre med borgmesterens politiske farve – eller hvad?

I det spørgsmål bliver man ikke klogere af at læse avisen. Kontakter man Berlingske Research, bliver man henvist til at købe rapporten bag tallene. Den koster 99 kr.

Af rapporten fremgår det, at politisk tilhørsforhold har stor betydning. Andelen af borgmestre, der forventer eller planlægger mere ”konkurrenceudsættelse” i de kommende fem år, er væsentlig større blandt borgmestre med medlemskab hos Det Konservative Folkeparti og Venstre end på den modsatte politiske fløj.

Derfor har det selvfølgelig betydning, når frafaldet rent faktisk er skævt. Mindre end hver anden socialdemokratiske borgmester har svaret på spørgsmålet, mens det gælder næsten to ud af tre borgmestre fra Venstre og De Konservative.

Der er også andre typer af skævheder. Borgmestre fra store byer som København, Aarhus og Odense har ikke svaret. Dermed repræsenterer borgmestrene, der har svaret på spørgsmålet om forventninger til udlicitering, mindre end halvdelen af den danske befolkning. Og de, der har svaret ja, repræsenterer kun en tredjedel.

Der er altså store problemer ved den formulering, som Berlingske bruger i underrubrikken: ”To ud af tre borgmestre planlægger at sende endnu flere offentlige opgaver af sted til private virksomheder i løbet af de næste fem år”. Ud fra undersøgelsen kan vi kun konkludere, at 40 borgmestre forventer eller planlægger, at deres kommune vil konkurrenceudsætte mere i løbet af de næste fem år.

Også rubrikken ”Borgmestre byder private virksomheder indenfor” er udsat for mere end blot en journalistisk stramning. Andre spørgsmål i undersøgelsen viser nemlig, at kun 24 af svarpersonerne ser et potentiale i mere konkurrenceudsættelse, at erfaringerne med udlicitering er noget lunkne, og at kun seks socialdemokratiske borgmestre mener, at man generelt skal konkurrenceudsætte mere i Danmark.

Borgmesterkæden sidder om halsen på en socialdemokrat i præcis halvdelen af landets 98 kommuner.

Bilister efterlyser flere fartfælder – eller gør de?

“Bilister efterlyser flere fartfælder” – pressemeddelelsen med rubrik og grydeklar konklusion gik direkte ind på adskillige danske medier i forrige uge. Man har sikkert været godt tilfredse hos Business Danmark, sælgernes fagforening, som via Interresearch stod bag undersøgelsen.

Og rigtigt er det, at 52 procent af de 1076 adspurgte medlemmer af fagforeningen efterlyser flere stærekasser, så nogen bilister efterlyser faktisk flere fartfælder – og hvad er så problemet?

Problemet er, at fagforeningen skriver, at “et flertal af de danske bilister … efterlyser en mere intensiv fartkontrol fra politiet”. Men 52 procent er ikke et flertal, når man tager højde for den statistiske usikkerhed, og man kan slet ikke generalisere fra en fagforenings medlemmer og til danskerne generelt. Det er ikke bare for bombastisk eller for skarpvinklet – det er slet og ret forkert. Heldigvis lykkedes det flere medier at undgå denne generalisering i deres gengivelse af undersøgelsen.

Problemet er også, at fagforeningen lægger op til at opdele undersøgelsens resultater i tal for Nordjylland, København, Syddanmark, Sjælland og Midtjylland. Og i tal for forskellige aldersgrupper. Hvad er der nu galt i det? Jo, dermed nedbryder man stikprøven i undergrupper på skønsmæssigt 200 personer og i tilfældet med aldersgrupperne formentlig endnu færre. Det betyder markant øget usikkerhed på resultaterne. Men denne usikkerhed negligeres fuldstændig. Man ønsker velsagtens at gøre sig appetitlig for regionale og lokale medier med denne manøvre. Men det er uprofessionelt og utroværdigt.

Tilbage står, at ca. halvdelen af de adspurgte medlemmer faktisk efterlyser flere stærekasser. Det er interessant i sig selv. Så lad dog det være historien.

Repræsentativ undersøgelse?

“Skoleledere dumper plan om elever i verdensklasse” – sådan kunne man forleden læse på Politiken.dk.

“elever i verdensklasse” refererer til regeringens nyligt fremlagte målsætning om, at børn, der startede i skole i sommer, skal være blandt top 5 i verden til at læse og regne, når de forlader skolen i 2020.

Politiken Research har spurgt ca. 1500 skoleledere, om de mener, at målsætningen er realistisk. Det mener blot 16 procent af de 600 skoleledere, som faktisk svarede. Men er de 600 svar tilstrækkeligt til, at man kan generalisere og skrive, at “danske skoleledere dumper …”?

Svaret er nej. 600 svar er ganske vist mange, og en svarprocent på 40 er god for denne type undersøgelser. Men vi ved ikke, om svarene er repræsentative for hele populationen af skoleledere. Man kan fx forestille sig, at skoleledere, som er utilfredse med regeringens udspil, har følt større incitament til at svare end skoleledere, som forholder sig mere neutralt.

Politiken vinkler i første omgang for skarpt, men løser herefter problemstillingen fint med følgende kommentar indsat nederst i artiklen:

Rettelse: Der stod i en tidligere version af denne artikel, at 16 procent af alle skoleledere finder det urealistisk, at danske børn om ni år er blandt verdens bedste til at læse og regne. Det er 16 procent af de skoleledere, der svarede i vores rundspørge, der har den opfattelse.

Et godt eksempel på, hvordan man i formidlingen tager de nødvendige forbehold.