Ledende spørgsmål hos Sex & Samfund

P1s Detektor havde forleden generalsekretær for Sex & Samfund, Bjarne B. Christensen, i studiet og svare på kritik af en undersøgelse, foreningen havde lavet i forbindelse med Uge Sex 2012-kampagnen.

Sex & Samfund havde spurgt 605 folkeskolelærere, om de oplever faste kønsrollemønstre blandt deres elever, og konkluderede på baggrund af svarene, at næsten hver anden af dem (47,8 procent) har oplevet meget fastlåste opfattelser blandt deres elever af, hvad drenge og piger kan og bør.

Undersøgelsen og formidlingen af samme er et fint (negativt) studie i kunsten at formulere gode spørgsmål og vinkle sobert på svarene. Her følger en gennemgang.

Man formulerede hovedspørgsmålet på denne måde:

Oplever du – eller har du oplevet – meget faste opfattelser blandt dine elever af, hvad man kan og bør som henholdsvis dreng og pige? (for eksempel hvordan man skal opføre sig, hvilke fritidsaktiviteter man kan gå til, hvilket tøj man kan/skal have på, hvor mange man må kysse etc.)

 Spørgsmålet rummer adskillige spørgetekniske problemer, som til sammen gør svarene ubrugelige at konkludere på.

1) Oplever du – eller har du oplevet: Med formuleringen eller har du oplevet ved man ikke, om lærerne svarer ud fra deres aktuelle oplevelser eller noget, de engang har oplevet. Det bliver dermed umuligt at konkludere noget aktuelt ud fra svarene. Der mangler en tidsafgrænsning på spørgsmålet.

2) Blandt dine elever: Der mangler en styrkemarkør. Hvad betyder blandt dine elever? Ganske få elever? Halvdelen af eleverne? Flertallet af eleverne?

3) Som henholdsvis dreng og pige: Man slår kønnene sammen, hvor man med fordel kunne have bedt lærerne svare for henholdsvis drenge og piger. Hvem ved på forhånd, om de samme mønstre gør sig gældende på tværs af køn?

4) (for eksempel hvordan man skal opføre sig, hvilke fritidsaktiviteter man kan gå til, hvilket tøj man kan/skal have på, hvor mange man må kysse etc.): Man forsøger med disse eksempler at give lærerne en fælles referenceramme, når de skal svare. I praksis virker det mod hensigten. Hvis man blot oplever problemer på ét af de nævnte områder, skal man i princippet svare ja, men i så fald svarer folk ja på baggrund af vidt forskellige oplevelser.

Som spørgsmålet er stillet, er det voldsomt ledende i retning af at få lærerne til at svare, at de oplever faste mønstre. Man skal blot på et eller andet tidspunkt i et eller andet omfang have oplevet meget faste opfattelser på ét af de nævnte områder… og hvem har ikke det? Set i det lys, er det faktisk overraskende, at blot 48 procent af lærerne svarer ja. Det ligger lige for at vinkle på, at så lav en andel tilsyneladende oplever faste holdninger. I stedet gør Sex & Samfund det modsatte. Vinkler på, at næsten hver anden lærer har oplevet faste holdninger blandt eleverne. Den vinkel havde vist skrevet sig selv på forhånd.

Men hvordan skulle man have stillet spørgsmålet? Svaret er, at man skal lade være med at stille den slags komprimerede, sammenfattende spørgsmål, hvor det hele skal med på én gang. Fremgangsmåden er grundlæggende forkert. I stedet skal man – som Sex & Samfund også er på sporet af – stille åbne, enkle og konkrete spørgsmål a la:

Tag stilling til hvert af de nævnte eksempler på “faste opfattelser” og angiv, om du oplever dem blandt dine elever i din dagligdag som lærer:

  • Drenge går til fodbold
  • Piger går ikke til fodbold
  • Drenge leger med biler, krig og lignende
  • Piger har langt hår
  • osv.

Læreren skal altså tage stilling til en række konkrete eksempler på (stereotype) opfattelser. I tilfælde af, at læreren svarer ja, kan man efterfølgende bede læreren vurdere styrken/udbredelsen af den pågældende opfattelse og vurdere, om opfattelsen er kønsspecifik. Man kan eventuelt også bede læreren tage stilling til, om han/hun oplever opfattelserne som et problem for eleverne.

På baggrund af svarene på disse enkle og konkrete spørgsmål, kan man lave sin sammenfatning og – med belæg – konkludere

  1. om lærerne oplever meget faste opfattelser blandt eleverne i deres dagligdag som lærere
  2. om opfattelserne er udbredte blandt eleverne
  3. om opfattelserne er kønsspecifikke
  4. om lærerne oplever det som et problem for eleverne

Det ville ikke bare være mere retvisende, men også langt mere interessant.

Undersøgelse forvrænger ældres tilfredshed

Altinget kritiserer i denne uge den netop offentliggjorte tilfredshedsundersøgelse blandt ældre, der modtager praktisk hjælp eller personlig pleje.

Undersøgelsen viser, at

  • 87 procent af de ældre er tilfredse eller meget tilfredse med den praktiske hjælp
  • 91 procent er tilfredse eller meget tilfredse med den personlige pleje

Undersøgelsen er gennemført af Epinion for KL og Social- og Integrationsministeriet. Den bygger på svar fra i alt 1401 modtagere af praktisk hjælp og/eller personlig pleje.

Blandt kritikerne af undersøgelsen er direktør i Danske Patienter, Morten Freil, medieforsker Preben Sepstrup og undertegnede.

Der peges på tre grundlæggende problemer ved undersøgelsen:

1) Ældre har en tendens til at svare i sympati med personalet. Det er jo ikke “deres skyld”.

2) Der svares udelukkende via tilfredshedsskalaer (meget utilfreds – meget tilfreds). Når man udelukkende anvender skalasvar og ikke i tillæg giver mulighed for, at man kan uddybe og adressere sin kritik via åbne svar, afholder det nogle fra at udtrykke kritik.

3) Kategorierne “tilfreds “og “meget tilfreds” lægges sammen i fortolkningen og formidlingen af undersøgelsens resultater. Dermed forsvinder den moderate kritik, der kan ligge i at svare “tilfreds”.

Alle tre problemstillinger er dokumenteret gennem forskning i tilfredshedsundersøgelser, bl.a. i forskningsartiklen Er otte ud af ti patienter tilfredse? (Nordisk Sygeplejeforskning, 2011).

Problemerne betyder ikke, at undersøgelsen er uden værdi. Men det betyder, at man skal være meget forsigtig med at konkludere, at næsten alle er tilfredse med den hjælp, de får. Og hvis undersøgelsen skal bruges til at ændre og eventuelt forbedre hjemmehjælpen, er der behov for at supplere med kvalitative undersøgelser.

Piloter falder i søvn i cockpittet

Hvis man ikke led af flyveskræk i forvejen, så fik man en fin anledning forleden, hvor Ritzau kom ud med historien om, at hver anden pilot er faldet i søvn under flyvning.

Det er en god historie – og den har noget på sig. Historien bygger på en undersøgelse gennemført i sensommeren 2011 af analysefirmaet Axand Konsult blandt medlemmer af Svensk Pilotförening. 625 piloter har deltaget i undersøgelsen. I alt 1063 piloter er blevet spurgt, dvs. en svarprocent på 59.

Hvis nogen synes, historien vækker genklang, så er der en god grund. I april måned kørte der en lignende historie om danske piloters arbejdsvilkår og problemer med at holde sig vågne. Denne historie byggede på en undersøgelse foretaget af Sammenslutningen af danske Erhvervspiloter i samarbejde med Politiken. I denne undersøgelse svarede 575 af 1013 adspurgte piloter.

Selvfølgelig er der tale om partsindlæg med en klar dagsorden. Piloterne og deres organisationer bruger undersøgelserne som løftestang til at sikre sig bedre arbejdsvilkår. Men undersøgelserne skal bedømmes på deres troværdighed – ikke på, om de har en bagvedliggende dagsorden.

Axand Konsult allierede sig med Stressforskningsinstituttet ved Stockholms Universitet for at sikre sig spørgsmålenes videnskabelige relevans. Og det er der kommet noget godt ud af. Det gode er, at de kombinerer spørgsmål om piloternes vurderinger af sikkerhed og arbejdsmiljø med meget konkrete spørgsmål om piloternes faktiske arbejdstider, oplevelser med at falde i søvn og fejl begået pga. træthed. Styrken er de konkrete spørgsmål om piloternes egen adfærd. Det giver meget højere troværdighed end de alt for hyppigt forekommende hypotetiske og uforpligtende spørgsmål.

Men kan man stole på, at piloterne ikke overdriver problemerne? Sikker kan man ikke være, men ved at bede piloterne beskrive, hvilke fejl de måtte have begået som følge af træthed, gør man svarene mere forpligtende – og får i tilgift en værdifuld viden.

Hvad så med de piloter, der ikke har svaret? Er undersøgelserne overhovedet repræsentative for danske og svenske piloter? Nej, det er der ikke belæg for at sige. Men der er svar fra et stort antal piloter og en pæn andel af samtlige organiserede piloter. Derfor giver undersøgelserne vigtig viden om piloters arbejdsvilkår – også selv om det ikke nødvendigvis er hver anden pilot, som er faldet i søvn under flyvning.

Så må vi andre leve med flyskrækken. Og med, at Ritzau igen generaliserer for hårdt på en undersøgelse.

Ledende spørgsmål og bondefup med Galluptal

Som man spørger, får man svar. Det er en gammel kendt sandhed, som også gælder spørgeskemaundersøgelser.

Forleden blev jeg præsenteret for en undersøgelse, som Gallup havde lavet for JKL Group på vegne af foreningen Bæredygtigt Landbrug.

Undersøgelsen var et studie i ledende spørgsmåls- og svarformuleringer. Et lille udpluk:

Skal politikerne, når de lovgiver, lægge vægt på

At minimere administrativt bøvl?

At miljøet beskyttes uanset hvad det koster?

Er du enig eller uenig i følgende udsagn:

Der er en grænse for, hvor langt de danske politikere kan gå i forhold til at lægge særregler og afgifter over på dansk landbrug?

 Hvem er ikke imod bøvl, hvem vil beskytte miljøet uanset prisen, og hvem mener, at man kan pålægge noget erhverv i dette land ubegrænsede særregler og afgifter?

Hvis formålet med undersøgelsen er at blive klogere på danskernes holdning til landbruget, så er spørgsmålene forkert stillet.

Journalist Kjeld Hansen stiller skarpt på undersøgelsen og dens kontekst i en dugfrisk artikel: Bondefup med Gallup-tal publiceret på Åbenhedstingets hjemmeside. Læs selv og vurder undersøgelsens troværdighed.

Når svarpersoner pynter på virkeligheden

Forleden kunne man i Politiken læse en større undersøgelse af danskernes kulturforbrug. Megafon havde spurgt 1.026 danskere om følgende:

Har du inden for det seneste år gjort én eller flere af nedenstående ting? (Her er et udpluk af de svarmuligheder, man kunne krydse af)

  • Besøgt et kunstgalleri
  • Været til klassisk koncert
  • Været til koncert med rytmisk musik
  • Købt billedkunst
  • Været til opera
  • Hørt radioteater

Det viste sig, at blandt de universitetsuddannede svarpersoner havde halvdelen været i teatret, hver tredje købt billedkunst, hver fjerde været til opera og knap hver tredje været til klassisk koncert. Inden for det seneste år. Hvis man altså tager svarpersonerne på ordet.

Men kan man faktisk stole på den slags svar? Eller har folk en tilbøjelighed til at pynte lidt på virkeligheden? Ja, det har mange mennesker faktisk. Effekten kaldes i fagsproget social desirability bias – en betegnelse, som henviser til, at undersøgelser i almindelighed viser forkert, når de spørger folk om emner, der er socialt følsomme. Socialt følsomme emner kan fx være seksualitet, generøsitet, intolerance, intellektuel formåen og adfærd, som er forbundet med høj eller lav status. Fænomenet (socially desirable responding) er særlig udtalt, når man spørger folk direkte om deres egen adfærd/egne holdninger. Det er ikke nødvendigvis, fordi svarpersonerne lyver. Ofte husker de forkert og tror selv på det, de svarer. Men det hjælper lige lidt.

Hvordan skal man så undersøge folks kulturvaner – og alle mulige andre vaner – og få valide svar? Èn mulighed er at lade være med at spørge! I stedet kan man via Danmarks Statistik og kulturinstitutionerne undersøge, hvor mange billetter, der faktisk er solgt over en 1-årig periode. Men det besvarer jo ikke spørgsmål om køb af billedkunst m.v.

En anden mulighed er at gøre svarene mere forpligtende. Man kan fx bede svarpersonerne konkretisere, hvor og hvornår de har været i operaen, og eventuelt fortælle, hvad de har set. Det kan man problem- og omkostningsfrit gøre i en webbaseret undersøgelse, og det vil gøre det noget vanskeligere for svarpersonerne at pynte på virkeligheden. Det vil provokere svarpersonen til faktisk at tænke efter. Måske ligger operaturen og kunstkøbet et par år tilbage, når det kommer til stykket?

En anden problemstilling ved undersøgelsen er Megafons nedbrydning af stikprøven på 6 undergrupper (længste gennemførte uddannelse). Det er legitimt at gøre, men giver stor statistisk usikkerhed på de konkrete tal, når den samlede stikprøve ikke er større end 1.026 danskere. Denne betydelige usikkerhed forbigås i rungende tavshed.

Alt i alt er der god grund til at tage undersøgelsens resultater med et stort gran salt. Desværre bliver ingen af disse oplagte fejlkilder og forbehold nævnt i artiklen. Tværtimod. Undersøgelsens resultater tages for pålydende:

“Mens for eksempel 26 procent af kandidaterne fra universiteterne har været til opera inden for det seneste år, så gælder det 6 procent af håndværkerne og 9 procent af de ufaglærte.”

Det er for skråsikkert. For ukritisk. Og formentlig forkert. Og det havde faktisk ikke krævet meget at gøre det bedre.

Forførende sprog og ledende spørgsmål

Hans røv har den vildeste luksus! Manden, hvis bagdel man – et ganske kort øjeblik – kunne ønske sig at bytte med, er Tårnbys kommunaldirektør, Klavs Gross, og rubrikken stammer fra Ekstra Bladets aktuelle undersøgelse af kommunernes indkøb af designmøbler og kunst. Klavs Gross har fået ny kontorstol, og den er lækker – og dyr.

Lad os nu lave et tankeeksperiment: Vi vil spørge læseren om rimeligheden af kommunens indkøb og bruge Ekstra Bladets formuleringer og udtryk fra deres dækning. Det kunne lyde sådan her:

Er det i orden, at Tårnby kommune går shop-amok, fyrer 1,2 mio. kroner af på kunst og køber en møgdyr trone til Tårnbys kommunaldirektør samtidig med, at han og andre luksusborgmestre tigger staten om flere skattekroner?

Samme spørgsmål kan stilles en anelse mindre ledende:

Er det i orden, at Tårnby kommune bruger 1,2 mio. kroner på kunst og køber dyre, men præsentable kontormøbler til kommunaldirektøren og samtidig søger regeringens støttepulje om tilskud til kommunen?

Indrømmet. Det er knap så farverig læsning. Eksemplet er tænkt, men problemstillingen er allestedsnærværende: Man kan aldrig blive opmærksom nok på brugen af forførende sprog og farvede vendinger, når man formulerer sine spørgsmål.

Hvad mener du fx om disse eksempler, hvor man, ved at udskifte nogle få ord med andre med et lidt andet betydningsindhold, ændrer oplevelsen af spørgsmålet markant:

Skal kommunerne efter din mening yde økonomisk støtte til lavindkomstgrupper til fx tandlægebesøg?

Skal kommunerne efter din mening yde økonomisk støtte til fattige danskere til fx tandlægebesøg?

eller

Tag stilling til følgende udsagn: ”Den kommende regering bør øge det offentlige forbrug

Tag stilling til følgende udsagn: ”Den kommende regering bør investere flere penge i øget velfærd

eller

Mener du, at det er en rigtig beslutning, at danske tropper er i aktion i Afghanistan?

Mener du, at det er en rigtig beslutning, at danske tropper er i krig i Afghanistan?

Det er ikke nødvendigvis let at afgøre, hvilken formulering der er mest “korrekt” eller “neutral” i de nævnte eksempler.

Derimod kan man normalt ret let rense sine spørgsmål for de værste eksempler på nysprog. Hvem kan fx være modstander af lømmelpakker, fair løsning og ghettoplaner? Og hvem kan være tilhænger af fjumreår, papirnussere, cafepenge og den voksende ældrebyrde? Eller rundkredspædagogik i folkeskolen? Eksemplerne er velkendte og har normalt ikke noget at gøre i en seriøs rundspørge.

Formulering og formidling af balancerede, objektive, neutrale spørgsmål er forbandet svært – hvis ikke umuligt. Det kræver opmærksomhed på valg af ord og udtryk, på spørgsmålets grammatiske form og på konteksten, som spørgsmålet præsenteres i.

Nogle vil mene, at alle spørgsmål nødvendigvis må være ledende – at det ligger i selve spørgsmålets natur. Men idealet må altid være ikke at påvirke svarpersonens holdning gennem spørgsmålet og måden, det præsenteres på.


Danskernes holdning til fedtafgift

Detektor på P1 har lavet en fremragende udsendelse om danskernes holdning til den såkaldte fedtafgift – en afgift på mættet fedt, som Folketinget vedtog d. 17. marts i år. Detektor undersøger i udsendelsen, hvordan det kan lade sig gøre, at danskerne i to samtidige meningsmålinger forholder sig vidt forskelligt til afgiften.

Afgiften har været voldsomt diskuteret. Erhvervslivet har protesteret mod afgiften, som vil fordyre chips, burgere og pomfritter, men også mere almindelige dagligvarer som fx ost og smør og måske flytte mere af danskernes forbrug syd for grænsen.

Men hvad mener danskerne egentlig om afgiften? To anerkendte meningsmålingsinstitutter, Epinion og Interresearch, har hver især spurgt et repræsentativt udsnit af befolkningen, om de er for eller imod afgiften. Men spørgsmålet er af institutterne blevet præsenteret i vidt forskellige kontekster – baggrunden for og de mulige konsekvenser af afgiften er altså blevet præsenteret på to vidt forskellige måder. Epinions kontekst handlede om folkesundhed og de problemer, en dårlig folkesundhed skaber i sundhedsvæsenet. Interresearchs kontekst handlede primært om afgiftens konsekvenser for prisen på dagligvarer, og at afgiften kan bruges til at finansiere skattelettelser.

Forskellen i svarene var tankevækkende: I Epinions undersøgelse var 58 procent enige eller meget enige i at indføre afgiften. I Interresearchs undersøgelse var knap 62 procent imod! Altså stik modsatte resultater.

Det helt grundlæggende problem ved undersøgelser som denne er, at man spørger danskerne om noget, som de færreste på forhånd har en klar og entydig holdning til. Dermed bliver rammen, som spørgsmålene præsenteres i, afgørende for, hvordan folk svarer. Og man kan derfor ikke konkludere, om danskerne som sådan er for eller imod afgiften, men kun, om de under helt bestemte forudsætninger (i en given spørgeramme eller kontekst) er for eller imod.

Undersøgelser, hvor svarpersonerne først etablerer en holdning i det øjeblik, problemstillingen præsenteres i røret eller i spørgeskemaet i en given kontekst, er et hyppigt forekommende problem og samtidig et problem, der ofte overses.

Jeg kan derfor varmt anbefale Detektors udsendelse.

Manipulerende spørgsmål

Jeg støder jævnligt på rundspørger, hvor nogle spørgsmål er formuleret på en måde, der i vid udstrækning får svarpersonerne til at afgive svar i overensstemmelse med afsenderens opfattelse. Et af de grovere eksempler er fra Landbrugsavisen i en webafstemning, der sluttede for et par dage siden.

Spørgsmålet, der blev præsenteret på avisens hjemmeside, handlede om miljøminister Karen Ellemanns beslutning om at udskyde visse EU-miljøregler – blandt andet begrænsningen af kvælstofudledningen fra landbruget – med den begrundelse, at indfasningen af disse regler sker noget langsommere i andre EU-lande. Hvis det – som i den oprindelige plan – skulle ske i Danmark senest i 2015, ville dansk landbrug stå dårligt i konkurrencen, fordi andre lande vil vente med den fulde indfasning af de såkaldte miljømål til 2027, lyder ministerens begrundelse.

Spørgsmålet lød: ”Er det nok, at Karen Ellemann vil udskyde halvdelen af miljømålene til 2027?
Spørgsmålet tager altså på ingen måde højde for, at der kan være svarpersoner, der mener, at Danmark bør gå foran i arbejdet for et bedre miljø, og som derfor er kritiske over for udskydelsen. Næ, enten støtter man miljøministerens tiltag, eller også mener man, at hun burde være gået endnu videre i sin imødekommelse af de mange landmænd, der har protesteret mod miljøplanerne.

I rundspørgesproget kaldes det, at svarmulighederne ikke er udtømmende. Ordet ”nok” betyder tilmed , at spørgsmålet ikke er neutralt og især udtrykker sympati med ét synspunkt i debatten om miljømålene.

På den baggrund kan man godt blive overrasket over svarfordelingen. Selv om den slags webafstemninger højest kan betragtes som underholdende indslag, fordi vi ikke aner, om svarpersonerne på nogen måde er repræsentative for noget som helst, så er det alligevel påfaldende, at næsten hver tredje stemme er en støtte til Karen Ellemanns begrænsede lempelse, når det nu handler om en hjemmeside, hvor det forventes, at næsten alle besøgende sympatiserer med de landmænd, der deltager i protestmøder mod miljøplanerne.

Mere interessant kunne det være at vide, om der rent faktisk findes landmænd og andre i branchen, der mener, at de oprindelige mål skulle have været fulgt, men det har de altså ikke haft mulighed for at tilkendegive, selv om de kiggede indenfor på Landbrugsavisens hjemmeside i afstemningsperioden.