Når svarpersoner pynter på virkeligheden

Forleden kunne man i Politiken læse en større undersøgelse af danskernes kulturforbrug. Megafon havde spurgt 1.026 danskere om følgende:

Har du inden for det seneste år gjort én eller flere af nedenstående ting? (Her er et udpluk af de svarmuligheder, man kunne krydse af)

  • Besøgt et kunstgalleri
  • Været til klassisk koncert
  • Været til koncert med rytmisk musik
  • Købt billedkunst
  • Været til opera
  • Hørt radioteater

Det viste sig, at blandt de universitetsuddannede svarpersoner havde halvdelen været i teatret, hver tredje købt billedkunst, hver fjerde været til opera og knap hver tredje været til klassisk koncert. Inden for det seneste år. Hvis man altså tager svarpersonerne på ordet.

Men kan man faktisk stole på den slags svar? Eller har folk en tilbøjelighed til at pynte lidt på virkeligheden? Ja, det har mange mennesker faktisk. Effekten kaldes i fagsproget social desirability bias – en betegnelse, som henviser til, at undersøgelser i almindelighed viser forkert, når de spørger folk om emner, der er socialt følsomme. Socialt følsomme emner kan fx være seksualitet, generøsitet, intolerance, intellektuel formåen og adfærd, som er forbundet med høj eller lav status. Fænomenet (socially desirable responding) er særlig udtalt, når man spørger folk direkte om deres egen adfærd/egne holdninger. Det er ikke nødvendigvis, fordi svarpersonerne lyver. Ofte husker de forkert og tror selv på det, de svarer. Men det hjælper lige lidt.

Hvordan skal man så undersøge folks kulturvaner – og alle mulige andre vaner – og få valide svar? Èn mulighed er at lade være med at spørge! I stedet kan man via Danmarks Statistik og kulturinstitutionerne undersøge, hvor mange billetter, der faktisk er solgt over en 1-årig periode. Men det besvarer jo ikke spørgsmål om køb af billedkunst m.v.

En anden mulighed er at gøre svarene mere forpligtende. Man kan fx bede svarpersonerne konkretisere, hvor og hvornår de har været i operaen, og eventuelt fortælle, hvad de har set. Det kan man problem- og omkostningsfrit gøre i en webbaseret undersøgelse, og det vil gøre det noget vanskeligere for svarpersonerne at pynte på virkeligheden. Det vil provokere svarpersonen til faktisk at tænke efter. Måske ligger operaturen og kunstkøbet et par år tilbage, når det kommer til stykket?

En anden problemstilling ved undersøgelsen er Megafons nedbrydning af stikprøven på 6 undergrupper (længste gennemførte uddannelse). Det er legitimt at gøre, men giver stor statistisk usikkerhed på de konkrete tal, når den samlede stikprøve ikke er større end 1.026 danskere. Denne betydelige usikkerhed forbigås i rungende tavshed.

Alt i alt er der god grund til at tage undersøgelsens resultater med et stort gran salt. Desværre bliver ingen af disse oplagte fejlkilder og forbehold nævnt i artiklen. Tværtimod. Undersøgelsens resultater tages for pålydende:

“Mens for eksempel 26 procent af kandidaterne fra universiteterne har været til opera inden for det seneste år, så gælder det 6 procent af håndværkerne og 9 procent af de ufaglærte.”

Det er for skråsikkert. For ukritisk. Og formentlig forkert. Og det havde faktisk ikke krævet meget at gøre det bedre.

Forførende sprog og ledende spørgsmål

Hans røv har den vildeste luksus! Manden, hvis bagdel man – et ganske kort øjeblik – kunne ønske sig at bytte med, er Tårnbys kommunaldirektør, Klavs Gross, og rubrikken stammer fra Ekstra Bladets aktuelle undersøgelse af kommunernes indkøb af designmøbler og kunst. Klavs Gross har fået ny kontorstol, og den er lækker – og dyr.

Lad os nu lave et tankeeksperiment: Vi vil spørge læseren om rimeligheden af kommunens indkøb og bruge Ekstra Bladets formuleringer og udtryk fra deres dækning. Det kunne lyde sådan her:

Er det i orden, at Tårnby kommune går shop-amok, fyrer 1,2 mio. kroner af på kunst og køber en møgdyr trone til Tårnbys kommunaldirektør samtidig med, at han og andre luksusborgmestre tigger staten om flere skattekroner?

Samme spørgsmål kan stilles en anelse mindre ledende:

Er det i orden, at Tårnby kommune bruger 1,2 mio. kroner på kunst og køber dyre, men præsentable kontormøbler til kommunaldirektøren og samtidig søger regeringens støttepulje om tilskud til kommunen?

Indrømmet. Det er knap så farverig læsning. Eksemplet er tænkt, men problemstillingen er allestedsnærværende: Man kan aldrig blive opmærksom nok på brugen af forførende sprog og farvede vendinger, når man formulerer sine spørgsmål.

Hvad mener du fx om disse eksempler, hvor man, ved at udskifte nogle få ord med andre med et lidt andet betydningsindhold, ændrer oplevelsen af spørgsmålet markant:

Skal kommunerne efter din mening yde økonomisk støtte til lavindkomstgrupper til fx tandlægebesøg?

Skal kommunerne efter din mening yde økonomisk støtte til fattige danskere til fx tandlægebesøg?

eller

Tag stilling til følgende udsagn: ”Den kommende regering bør øge det offentlige forbrug

Tag stilling til følgende udsagn: ”Den kommende regering bør investere flere penge i øget velfærd

eller

Mener du, at det er en rigtig beslutning, at danske tropper er i aktion i Afghanistan?

Mener du, at det er en rigtig beslutning, at danske tropper er i krig i Afghanistan?

Det er ikke nødvendigvis let at afgøre, hvilken formulering der er mest “korrekt” eller “neutral” i de nævnte eksempler.

Derimod kan man normalt ret let rense sine spørgsmål for de værste eksempler på nysprog. Hvem kan fx være modstander af lømmelpakker, fair løsning og ghettoplaner? Og hvem kan være tilhænger af fjumreår, papirnussere, cafepenge og den voksende ældrebyrde? Eller rundkredspædagogik i folkeskolen? Eksemplerne er velkendte og har normalt ikke noget at gøre i en seriøs rundspørge.

Formulering og formidling af balancerede, objektive, neutrale spørgsmål er forbandet svært – hvis ikke umuligt. Det kræver opmærksomhed på valg af ord og udtryk, på spørgsmålets grammatiske form og på konteksten, som spørgsmålet præsenteres i.

Nogle vil mene, at alle spørgsmål nødvendigvis må være ledende – at det ligger i selve spørgsmålets natur. Men idealet må altid være ikke at påvirke svarpersonens holdning gennem spørgsmålet og måden, det præsenteres på.


Danskernes holdning til fedtafgift

Detektor på P1 har lavet en fremragende udsendelse om danskernes holdning til den såkaldte fedtafgift – en afgift på mættet fedt, som Folketinget vedtog d. 17. marts i år. Detektor undersøger i udsendelsen, hvordan det kan lade sig gøre, at danskerne i to samtidige meningsmålinger forholder sig vidt forskelligt til afgiften.

Afgiften har været voldsomt diskuteret. Erhvervslivet har protesteret mod afgiften, som vil fordyre chips, burgere og pomfritter, men også mere almindelige dagligvarer som fx ost og smør og måske flytte mere af danskernes forbrug syd for grænsen.

Men hvad mener danskerne egentlig om afgiften? To anerkendte meningsmålingsinstitutter, Epinion og Interresearch, har hver især spurgt et repræsentativt udsnit af befolkningen, om de er for eller imod afgiften. Men spørgsmålet er af institutterne blevet præsenteret i vidt forskellige kontekster – baggrunden for og de mulige konsekvenser af afgiften er altså blevet præsenteret på to vidt forskellige måder. Epinions kontekst handlede om folkesundhed og de problemer, en dårlig folkesundhed skaber i sundhedsvæsenet. Interresearchs kontekst handlede primært om afgiftens konsekvenser for prisen på dagligvarer, og at afgiften kan bruges til at finansiere skattelettelser.

Forskellen i svarene var tankevækkende: I Epinions undersøgelse var 58 procent enige eller meget enige i at indføre afgiften. I Interresearchs undersøgelse var knap 62 procent imod! Altså stik modsatte resultater.

Det helt grundlæggende problem ved undersøgelser som denne er, at man spørger danskerne om noget, som de færreste på forhånd har en klar og entydig holdning til. Dermed bliver rammen, som spørgsmålene præsenteres i, afgørende for, hvordan folk svarer. Og man kan derfor ikke konkludere, om danskerne som sådan er for eller imod afgiften, men kun, om de under helt bestemte forudsætninger (i en given spørgeramme eller kontekst) er for eller imod.

Undersøgelser, hvor svarpersonerne først etablerer en holdning i det øjeblik, problemstillingen præsenteres i røret eller i spørgeskemaet i en given kontekst, er et hyppigt forekommende problem og samtidig et problem, der ofte overses.

Jeg kan derfor varmt anbefale Detektors udsendelse.

Manipulerende spørgsmål

Jeg støder jævnligt på rundspørger, hvor nogle spørgsmål er formuleret på en måde, der i vid udstrækning får svarpersonerne til at afgive svar i overensstemmelse med afsenderens opfattelse. Et af de grovere eksempler er fra Landbrugsavisen i en webafstemning, der sluttede for et par dage siden.

Spørgsmålet, der blev præsenteret på avisens hjemmeside, handlede om miljøminister Karen Ellemanns beslutning om at udskyde visse EU-miljøregler – blandt andet begrænsningen af kvælstofudledningen fra landbruget – med den begrundelse, at indfasningen af disse regler sker noget langsommere i andre EU-lande. Hvis det – som i den oprindelige plan – skulle ske i Danmark senest i 2015, ville dansk landbrug stå dårligt i konkurrencen, fordi andre lande vil vente med den fulde indfasning af de såkaldte miljømål til 2027, lyder ministerens begrundelse.

Spørgsmålet lød: ”Er det nok, at Karen Ellemann vil udskyde halvdelen af miljømålene til 2027?
Spørgsmålet tager altså på ingen måde højde for, at der kan være svarpersoner, der mener, at Danmark bør gå foran i arbejdet for et bedre miljø, og som derfor er kritiske over for udskydelsen. Næ, enten støtter man miljøministerens tiltag, eller også mener man, at hun burde være gået endnu videre i sin imødekommelse af de mange landmænd, der har protesteret mod miljøplanerne.

I rundspørgesproget kaldes det, at svarmulighederne ikke er udtømmende. Ordet ”nok” betyder tilmed , at spørgsmålet ikke er neutralt og især udtrykker sympati med ét synspunkt i debatten om miljømålene.

På den baggrund kan man godt blive overrasket over svarfordelingen. Selv om den slags webafstemninger højest kan betragtes som underholdende indslag, fordi vi ikke aner, om svarpersonerne på nogen måde er repræsentative for noget som helst, så er det alligevel påfaldende, at næsten hver tredje stemme er en støtte til Karen Ellemanns begrænsede lempelse, når det nu handler om en hjemmeside, hvor det forventes, at næsten alle besøgende sympatiserer med de landmænd, der deltager i protestmøder mod miljøplanerne.

Mere interessant kunne det være at vide, om der rent faktisk findes landmænd og andre i branchen, der mener, at de oprindelige mål skulle have været fulgt, men det har de altså ikke haft mulighed for at tilkendegive, selv om de kiggede indenfor på Landbrugsavisens hjemmeside i afstemningsperioden.