Når svarpersoner pynter på virkeligheden

Forleden kunne man i Politiken læse en større undersøgelse af danskernes kulturforbrug. Megafon havde spurgt 1.026 danskere om følgende:

Har du inden for det seneste år gjort én eller flere af nedenstående ting? (Her er et udpluk af de svarmuligheder, man kunne krydse af)

  • Besøgt et kunstgalleri
  • Været til klassisk koncert
  • Været til koncert med rytmisk musik
  • Købt billedkunst
  • Været til opera
  • Hørt radioteater

Det viste sig, at blandt de universitetsuddannede svarpersoner havde halvdelen været i teatret, hver tredje købt billedkunst, hver fjerde været til opera og knap hver tredje været til klassisk koncert. Inden for det seneste år. Hvis man altså tager svarpersonerne på ordet.

Men kan man faktisk stole på den slags svar? Eller har folk en tilbøjelighed til at pynte lidt på virkeligheden? Ja, det har mange mennesker faktisk. Effekten kaldes i fagsproget social desirability bias – en betegnelse, som henviser til, at undersøgelser i almindelighed viser forkert, når de spørger folk om emner, der er socialt følsomme. Socialt følsomme emner kan fx være seksualitet, generøsitet, intolerance, intellektuel formåen og adfærd, som er forbundet med høj eller lav status. Fænomenet (socially desirable responding) er særlig udtalt, når man spørger folk direkte om deres egen adfærd/egne holdninger. Det er ikke nødvendigvis, fordi svarpersonerne lyver. Ofte husker de forkert og tror selv på det, de svarer. Men det hjælper lige lidt.

Hvordan skal man så undersøge folks kulturvaner – og alle mulige andre vaner – og få valide svar? Èn mulighed er at lade være med at spørge! I stedet kan man via Danmarks Statistik og kulturinstitutionerne undersøge, hvor mange billetter, der faktisk er solgt over en 1-årig periode. Men det besvarer jo ikke spørgsmål om køb af billedkunst m.v.

En anden mulighed er at gøre svarene mere forpligtende. Man kan fx bede svarpersonerne konkretisere, hvor og hvornår de har været i operaen, og eventuelt fortælle, hvad de har set. Det kan man problem- og omkostningsfrit gøre i en webbaseret undersøgelse, og det vil gøre det noget vanskeligere for svarpersonerne at pynte på virkeligheden. Det vil provokere svarpersonen til faktisk at tænke efter. Måske ligger operaturen og kunstkøbet et par år tilbage, når det kommer til stykket?

En anden problemstilling ved undersøgelsen er Megafons nedbrydning af stikprøven på 6 undergrupper (længste gennemførte uddannelse). Det er legitimt at gøre, men giver stor statistisk usikkerhed på de konkrete tal, når den samlede stikprøve ikke er større end 1.026 danskere. Denne betydelige usikkerhed forbigås i rungende tavshed.

Alt i alt er der god grund til at tage undersøgelsens resultater med et stort gran salt. Desværre bliver ingen af disse oplagte fejlkilder og forbehold nævnt i artiklen. Tværtimod. Undersøgelsens resultater tages for pålydende:

“Mens for eksempel 26 procent af kandidaterne fra universiteterne har været til opera inden for det seneste år, så gælder det 6 procent af håndværkerne og 9 procent af de ufaglærte.”

Det er for skråsikkert. For ukritisk. Og formentlig forkert. Og det havde faktisk ikke krævet meget at gøre det bedre.

Bilister efterlyser flere fartfælder – eller gør de?

“Bilister efterlyser flere fartfælder” – pressemeddelelsen med rubrik og grydeklar konklusion gik direkte ind på adskillige danske medier i forrige uge. Man har sikkert været godt tilfredse hos Business Danmark, sælgernes fagforening, som via Interresearch stod bag undersøgelsen.

Og rigtigt er det, at 52 procent af de 1076 adspurgte medlemmer af fagforeningen efterlyser flere stærekasser, så nogen bilister efterlyser faktisk flere fartfælder – og hvad er så problemet?

Problemet er, at fagforeningen skriver, at “et flertal af de danske bilister … efterlyser en mere intensiv fartkontrol fra politiet”. Men 52 procent er ikke et flertal, når man tager højde for den statistiske usikkerhed, og man kan slet ikke generalisere fra en fagforenings medlemmer og til danskerne generelt. Det er ikke bare for bombastisk eller for skarpvinklet – det er slet og ret forkert. Heldigvis lykkedes det flere medier at undgå denne generalisering i deres gengivelse af undersøgelsen.

Problemet er også, at fagforeningen lægger op til at opdele undersøgelsens resultater i tal for Nordjylland, København, Syddanmark, Sjælland og Midtjylland. Og i tal for forskellige aldersgrupper. Hvad er der nu galt i det? Jo, dermed nedbryder man stikprøven i undergrupper på skønsmæssigt 200 personer og i tilfældet med aldersgrupperne formentlig endnu færre. Det betyder markant øget usikkerhed på resultaterne. Men denne usikkerhed negligeres fuldstændig. Man ønsker velsagtens at gøre sig appetitlig for regionale og lokale medier med denne manøvre. Men det er uprofessionelt og utroværdigt.

Tilbage står, at ca. halvdelen af de adspurgte medlemmer faktisk efterlyser flere stærekasser. Det er interessant i sig selv. Så lad dog det være historien.