Tag Archive for 'spørgeteknik'

Danskernes holdning til retsforbeholdet – et svært spørgsmål?

”Måling: Dødt løb mellem ja og nej inden folkeafstemning”. ”Dyk til ja-siden i kamp om retsforbehold”. ”Måling: Flertal vil stemme ja ved folkeafstemning”.

Det svirrer i luften. Medierne kappes om at tage temperaturen på den kommende folkeafstemning. Men hvordan måler man danskernes holdning? Hvordan stiller man bedst dette – skulle man mene – ret enkle spørgsmål?

dødt løb billede

Det er der langt fra enighed om. Grundlæggende har man to helt væsensforskellige muligheder:

1) Man kan forsøge at bibringe svarpersoner en fælles (bedre) forståelse af problemstillingen og mulige konsekvenser af et ja henholdsvis nej, før man beder dem tage stilling. Det kan man gøre med en vejledende, introducerende tekst. Udfordringen er, at det er enormt svært at gøre balanceret – og at det hurtigt bliver langstrakt og langhåret.

2) Man kan stille spørgsmålet nøgternt og ”nøgent”. Dermed undgår man at påvirke svarpersonernes holdning med selve spørgsmålet. Til gengæld må man så forvente, at svarpersonerne forestiller sig ret forskellige konsekvenser og for manges vedkommende svarer ud fra en ret begrænset viden.

DR har i alle forårets målinger anvendt den første strategi med denne spørgsmålsformulering:

”Et flertal i Folketinget vil have en folkeafstemning om det danske EU-forbehold på retsområdet for at omdanne forbeholdet til en såkaldt tilvalgsordning. En tilvalgsordning vil betyde, at Danmark selv kan vælge, hvilke europæiske samarbejder man vil deltage i, og hvilke man ønsker at stå uden for på det retslige område. Det vil eksempelvis betyde, at Danmark kan vælge at deltage i det europæiske politisamarbejde, Europol, men at stå uden for de fælles beslutninger omkring eksempelvis udlændingepolitikken. Støtter du en sådan ændring af retsforbeholdet?”

Formuleringen er – med rette – blevet beskyldt for at være ledende og favorisere et ”ja”. Man nævner, at et flertal i Folketinget ønsker ændringen; Man beskriver fordelene og fleksibiliteten ved frit-valg uden at nævne suverænitetsafgivelse, flytning af beslutningsmagt og uden at nævne muligheden for parallelaftaler ved den eksisterende ordning; Og man spørger, om du ”støtter denne ændring” i stedet for at spørge, om ”du er for eller imod ændringen”.

DR har nu ændret strategi og lavet en ny spørgsmålsformulering:

”Den 3. december skal der være folkeafstemning om at ændre det danske EU-retsforbehold til en tilvalgsordning. Hvad vil du stemme ved folkeafstemningen?”

Den nye formulering minder – overordnet set – om Børsens (som er fra januar måned): ”Hvad ville du stemme, hvis der var folkeafstemning om dansk deltagelse i den fælles rets- og udlændingepolitik i EU i morgen?”; om Altingets: ”Vælgerne skal i år til folkeafstemning om det danske retsforbehold over for EU. Hvad vil du stemme, hvis afstemningen var i dag?”; Og om TV2’s: ”Hvilket af følgende udsagn er du mest enig i? 1) Jeg synes, at det eksisterende retsforbehold skal omdannes til en tilvalgsordning. 2) Jeg synes, at retsforbeholdet skal bevares, som det er i dag”. Fælles for alle disse formuleringer er, at de IKKE beskriver fordele, ulemper og konsekvenser, og at de IKKE refererer til Folketingets eller partiernes holdninger.

Det betyder dog ikke, at spørgsmålene er ens eller kan forventes at give ”samme svar”. Langtfra. Djævelen ligger i detaljen. Børsens formulering nævner udlændingepolitikken, og netop spørgsmålet om udlændingepolitikken må forventes at trigge mange. Politiken har for nylig gennemført et interessant eksperiment for at undersøge netop denne problemstilling. De stillede spørgsmålet på to forskellige måder til repræsentative udsnit af den voksne danske befolkning. Den første formulering lød (min fremhævning):

”Den 3. december er der folkeafstemning. Her skal danskerne stemme om, hvorvidt Danmark skal overgive magt til EU på flere områder, der i dag er omfattet af det danske retsforbehold, herunder bl.a. dele af udlændingepolitikken. Vil du stemme ja eller nej?” (36% ja; 41% nej).

Den anden formulering lød (min fremhævning):

”Den 3. december er der folkeafstemning. Her skal danskerne stemme om, hvorvidt Danmark skal bevare sit retsforbehold i EU med en tilvalgsordning på udvalgte områder, herunder bl.a. deltagelse i kampen mod grænseoverskridende kriminalitet. Vil du stemme ja eller nej?” (42% ja; 26% nej).

Andelene, som svarer ja/nej i Politikens eksperiment, bekræfter, hvad man kunne forvente, nemlig at framingen af spørgsmålet betyder alverden for de svar, man får.

TV2’s formulering adskiller sig fra de øvrige ved at bestå af udsagn, som man kan erklære sig enig i. Dermed bliver det ikke længere et spørgsmål om at sige ja eller nej. Det har den fordel, at man neutraliserer eventuelle ”enighedseffekter”, altså mulige effekter af at det kræver mindre stillingtagen og fremstår mere positivt at erklære sig enig og sige ja, end det modsatte.

Hvad kan vi så lære? Essensen er, at man skal være meget forsigtig med at flette fordele, ulemper og konsekvenser ind i denne type holdningsspørgsmål. Hold det kort og nøgternt, så du undgår at påvirke svarpersonen. Det giver også det mest realistiske og repræsentative øjebliksbillede af folkestemningen.

Nogle vil sikkert mene, at alle disse målinger er ligegyldige og uinteressante, men forskning viser, at vi ikke er upåvirkede af dem. Målingerne betyder noget – om vi kan lide det eller ej. Det samme gør formuleringer. Og i sidste ende er der én formulering, vi ikke kan undslå os: Den på stemmesedlen ..

Spørgeteknik – og lukning af Thomas B. Thriges Gade

Hen over sommeren har odenseanerne diskuteret den mulige lukning af Odenses centrale færdselsåre, Thomas B. Thriges Gade, heftigt.  Et flertal i Odense Byråd har foreslået lukningen – til det lokale erhvervslivs og Venstres fortrydelse. Lokale meningsmålinger foretaget blandt almindelige odenseanere og lokale erhvervsdrivende har været et input til denne diskussion og er blevet forsøgt brugt som politisk løftestang af modstandere af lukningen – som beskrevet af Fyens Stiftstidende i går, 27. august 2013:

Så langt, så godt. Det kan være helt legitimt at bruge lødige og troværdige meningsmålinger som led i en politisk diskussion. Men lad os kigge nærmere på et par af målingerne og den spørgeteknik, de anvender.

En af målingerne er foretaget af analysefirmaet M3 Research. Det har spurgt 500 beboere bosat i Odense Kommune om deres holdning til lukningen af gaden. Sådan lyder spørgsmålet:

Et flertal i Odense Byråd har foreslået en lukning af Thomas B. Thriges Gade. I hvilken grad går du ind for en lukning af Thomas B. Thriges Gade? I meget høj grad, I høj grad, I nogen grad, I lille grad, Slet ikke, Ved ikke.

Er det ikke et helt tilforladeligt og afbalanceret spørgsmål at stille? Nej, det er det faktisk ikke. Det skyldes tre forhold:

  1. Man spørger: “I hvilken grad går du ind for en lukning …?” Man lægger dermed op til, at svarpersonen nok i en eller anden grad går ind for lukning.
  2. Man præsenterer spørgsmålet i en bestemt kontekst, nemlig: “Et flertal i Odense Byråd har foreslået en lukning”. Denne kontekst, som peger på lukning foreslået af byens politiske autoriteter, kan være med til at påvirke uafklarede odenseanere til at udtrykke en eller anden grad af enighed med byrødderne. Det faktum, at man nævner Odense Byråd i formuleringen, kan altså gøre den enkelte borgers stillingtagen til et spørgsmål, om man er for eller imod byrådet. Og det var jo ikke meningen.
  3. Man anvender et sæt svarmuligheder, som ikke er særligt velegnede til formålet. Hvad vil det sige at gå ind for noget i lille grad? Det er næsten en selvmodsigelse.

Man kunne i stedet have spurgt helt enkelt: “Er du tilhænger af at bevare eller lukke gaden?” Og så med 2-3 svarmuligheder uden gradbøjning (og “ved ikke” som udvej). Det ville gøre den efterfølgende fortolkning meget mere entydig.

Man kunne altså have grebet det hele noget mere enkelt – og balanceret – an. Og det er der faktisk nogen, som har gjort – tilbage i efteråret 2012. Hvilket analyseinstitut er der så tale om? Her kommer det morsomme: Det er såmænd en meningsmåling udarbejdet af gymnasieelever fra Sct. Knuds Gymnasium. De har stillet 380 odenseanere følgende spørgsmål:

Er du for eller imod lukningen af Thomas B. Thriges Gade? For, Imod, Både og, Ved ikke

De har i samme ombæring – og i lighed med M3 Research – stillet en lang række uddybende og supplerende spørgsmål, som de fint linker til fra deres netavis. Og så har de naturligvis vægtet svarene fra de 380 odenseanere på en række indsamlede baggrundsvariable for at sikre et mest muligt retvisende billede i forhold til den faktiske befolkningssammensætning i Odense Kommune. Hvis denne klasse sætter standarden for nutidens gymnasieelever, hvad angår metodisk forståelse og stringens (læs selv deres øvrige analyser på netavisen), så er jeg både tryg og imponeret.

Andres drømme er vanskelige at forholde sig til

At spørge ind til holdninger er en disciplin, der i en rundspørge stiller store krav til neutralitet i spørgsmålsformulering og afbalancerede svarkategorier. Det bliver ikke lettere, hvis man vil have svarpersonerne til at tage stilling til andres holdning, for holdninger bygger jo som regel på en bund af forudsætninger og argumentation med – som regel – mange nuancer.

Tænketanken Cepos har gjort forsøget med en holdning, som sundhedsminister Astrid Krag har givet udtryk for. Eller rettere: En drøm, som Astrid Krag har delt med offentligheden, nemlig at det offentlige sundhedsvæsen skal have en kvalitet, så det private bliver overflødigt.

Astrid Krags drøm blev præsenteret i en overskrift i Dagens Medicin: ”Astrid Krag: Min drøm er et sundhedsvæsen uden privathospitaler”, hvilket er en lidt problematisk forenkling, men mindre kritisk, når synspunktet – som det er tilfældet – bliver nuanceret i artiklens brødtekst.

Værre er det, når den skarpvinklede overskrift, forfattet af redaktionen, bliver brugt som et spørgsmål til 1.000 svarpersoner, formuleret på denne måde:

“Astrid Krag har været ude at sige, at hun drømmer om et sundhedsvæsen uden privathospitaler. Deler du Astrid Krags drøm?”

Det er der så 66 pct. af svarpersonerne, der ikke gør. En andel, der sandsynligvis havde ændret sig, hvis mere konkrete forudsætninger for ministerens æteriske drømmemål var blevet præsenteret.

At helt små ændringer af spørgsmåls formulering kan føre til signifikant forskellige svarfordelinger, er blandt andet dokumenteret af Danmarks fremmeste surveyforsker, Henning Olsen, der har både har konstrueret og studeret en lang række såkaldte split sample-eksperimenter, hvor man prøver at lave små ændringer af spørgsmål, som bliver stillet til forskellige repræsentative stikprøver. I sin bog ”Fra spørgsmål til svar” beretter han, at eksperimenterne ”har bidraget til en voksende erkendelse af, hvor sensitive respondenter er over for, hvordan spørgsmål – det gælder ikke mindst holdningsspørgsmål – formuleres.

I tirsdags havde radioudgaven af DR’s Detektor et indslag om undersøgelsen fra Cepos (19 min. henne i udsendelsen), som også er refereret i denne artikel. Tilbage er blot at tilføje, at Cepos – ud over en mere nuanceret spørgsmålsformulering – også burde have undladt at nævne Astrid Krag, hvis man ville have en mere pålidelig måling. Når personer, som er kendt for synspunkter på en lang række områder, og som i dette tilfælde endda repræsenterer et bestemt politisk parti, er der en stor risiko for, at svarpersonerne ved deres stillingtagen forholder sig til helt andre af hendes eller hendes partis synspunkter.

Er “godt” godt nok?

I denne måned blev den årlige LUP-undersøgelse offentliggjort. LUP står for Landsdækkende Undersøgelse af Patientoplevelser, og der er i sandhed tale om en landsdækkende undersøgelse. Flere end 138.000 patienter har i efteråret 2011 besvaret det fremsendte spørgeskema. Nej, der er ikke et nul for meget med. Og ja, spørgeskemaerne er fremSENDT. Med posten. Som i de gode gamle dage.

LUP-undersøgelsen er god at blive klog af. Den rummer rigtig megen god metode – og tillige en række metodiske problemer.

Et af problemerne tematiseres i LUP-rapporten under overskriften Er “godt” godt nok? Indledningen lyder sådan her:

Flere spørgsmål i LUP har over 90 % positive besvarelser. “Positive besvarelser” dækker både over de patienter, der besvarer, at de oplever noget som “godt” og som “virkelig godt”.

Men hvad er historien bag tallene? Hvad gemmer sig fx bag bedømmelsen “god”? Det har folkene bag LUP gjort sig den ulejlighed at afdække via en interviewundersøgelse blandt et lille udvalg af patienter, der har vurderet den mundtlige information som “god”.

Interview med de pågældende patienter viser – ikke overraskende – at vurderingen “god” bliver en slags gennemsnitsvurdering, som dækker over både gode og dårlige oplevelser, og hvor de seneste besøg fylder mest. Konkret skjuler vurderingen “god” oplevelser med overfladiske læger og utryghed og nervøsitet, som bl.a. bunder i skiftende meldinger fra skiftende læger. Som tidligere beskrevet kan der være mange gode grunde til, at patienter ikke giver udtryk for dårlige oplevelser i et spørgeskema – eller i det mindste kun gør det indirekte med bedømmelsen “god”.

Man må derfor spørge sig selv, om vurderingen “god” er godt nok – som succesparameter. Og videre, hvordan man kan bruge store kvantitative undersøgelser som denne til at fremme det gode patientforløb – en erklæret målsætning.

I mellemtiden kan vi (metodenørder og andre) glæde os over et fint og gennemsigtigt studie i spørgeskemaundersøgelsens lyksaligheder og – ikke mindst – begrænsninger.

Uklare spørgsmål giver uklare svar

Når spørgsmål i en rundspørge skal formuleres, ligger der en væsentlig opgave i at indsnævre den såkaldte ”betydningsvidde”, der kommer af, at mange ord kan forstås forskelligt. Når problemstillingen er kompleks, bliver denne udfordring tilsvarende større.
Det er der et glimrende eksempel på i dagens udgave af Børsen, hvor emnet er den omlægning af skattesystemet, som regeringen har stillet i udsigt.

Under overskriften ”Danskerne vil mere end en skatteomlægning” præsenterer dagbladet Børsen resultatet af en undersøgelse foretaget af Greens Analyseinstitut. Avisen er selv lidt tilbageholdende med at overfortolke svaret på et lidt uklart spørgsmål, men det skinner tydeligt igennem, at der anes en opbakning fra 69 pct. af danskerne til egentligt skattelettelser.
En temmelig overraskende udvikling i danskernes holdning, når der på baggrund af andre undersøgelser tidligere er blevet konkluderet, at syv ud af ti danskere gerne vil betale en høj skat (også fra Børsen/Greens), og at ordentlig velfærd – i danskernes optik – er vigtigere end lav skat. Så sent som i april kunne man endda høre, at danskerne er meget villige til at betale mere i skat, hvis de øgede skatteindtægter går til velfærdsydelser som sundhedsvæsen og ældrepleje.

Omlægninger i skattesystemet er et komplekst emne, og man kan med rette stille kritiske spørgsmål til alle undersøgelser om holdningerne til det. Formuleringen i Børsens seneste undersøgelse sætter dog rekord i uklarhed:

”Regeringen vil sænke skatten på arbejde i en kommende reform. Mener du, at de alene skal finansieres ved nye stigninger i andre skatter eller bør man også lede efter penge uden for skattesystemet?”

De 1.108 svarpersoner, der indgår i den telefoniske rundspørge, har haft en række svarkategorier at vælge mellem, og 69 pct. svarer ”Uden for skattesystemet”, 16 pct. svarer ”Stigning i andre skatte og afgifter”, mens andre 16 pct. svarer ”Ved ikke/vil ikke svare”.

Det centrale spørgsmål er, hvad der menes med ”uden for skattesystemet”. Gælder det fx en ny beskatning af finansielle transaktioner, som er blevet nævnt i debatten? Gælder det en øget arveafgift, som også har været i spil? Eller handler det bare om, at ”den hårdtarbejdende skatteyder”, som politikerne kæmper om at appellere til, er blevet stillet en lettelse af beskatningen på sin arbejdsindkomst i udsigt og nødig ser den spist op af andre skatteforhøjelser?

Det er temmelig uklart. Og som man spørger, får man svar …

Mistro til medierne?

I morgen åbner Nordiske Mediedager i Bergen – en 3-dages mediefestival, hvor branchen samles og vender blikket indad.

Et af festivalens omdrejningspunkter bliver en unik skandinavisk medieundersøgelse lavet til lejligheden. Sådan set ikke uinteressant – i hvert fald ikke for branchen selv. Flere af undersøgelsens resultater er allerede “lækket” til pressen. En af hovedkonklusionerne lader til at være, at Skandinavisk publikum uttrykker mistro til mediene. Baggrunden er dette spørgsmål:

Smag lige på formuleringen en gang: I hvilken grad har du tiltro til medierne generelt? Hvad ville du svare på det spørgsmål?

Medierne er en utrolig sammensat størrelse; det behøver man næppe være ekspert eller medieforsker for at være enig i.

Hvordan kan man meningsfuldt angive sin tiltro til medierne – generelt? Hvis man nu fx i almindelighed har tillid til nyhedsudsendelserne og de landsdækkende dagblade og måske også til sin lokalavis; ikke sådan ubetinget, blind tillid, men heller ikke stor og generel mistillid. Men til gengæld har lav tiltro til formiddagspressen? For nu blot at skitsere én stereotyp medieforbruger. Skal man så svare nogen tiltro? Eller mindre tiltro? Nej, det er ikke nemt at finde ét svar, som yder den samlede mediestand retfærdighed.

Når man ser på undersøgelsens resultat, er der markant forskel i befolkningens tiltro til medierne på tværs af de nordiske lande. De svenske tal ser skræmmende ud. Så langt, så skidt. Men hvad skal man egentlig mene om de 24 procent af danskerne (+/- 3 procentpoints usikkerhed), som udtrykker mindre eller ingen tiltro? Det er faktisk et godt spørgsmål, som man bør grave sig godt og grundigt ned i, før man drager forhastede dommedagskonklusioner.

En lignende undersøgelse viste i februar måned et tilsvarende billede: Hver fjerde dansker udtrykte her lille eller meget lille tillid til danske medier – sådan generelt. Men denne undersøgelse gjorde sig også den ulejlighed at undersøge tilliden til det enkelte medie (landsdækkende medier). Undersøgelsen tegnede her et klart billede: Mistilliden til tabloidpressen var massiv. Gratisaviserne stod også for skud, mens flertallet af de øvrige danske medier blot fik prædikatet lille eller meget lille tillid af 6-15 procent af danskerne.

Er det så et fair billede? Og er det godt nok? Det kan man fint diskutere, men lad os få nuanceret billedet, før vi skyder medierne ned fra hoften.

Note (tilføjet 11. maj):
Eurobarometer udkom i marts måned med den survey-baserede rapport Media Use in the European Union. Her måler man blandt andet trust in the media i samtlige EU-lande plus nogle få øvrige lande. Media operationaliseres her som henholdsvis Radio, Television, The Press og The Internet. Svenskernes mistrust – som også kommer til udtryk i denne rapport – er klart og tydeligt rettet mod den skrevne presse (54% tend not to trust) og internettet (54% tend not to trust), mens de udtrykker tillid til radio (18% tend not to trust) og tv (25% tend not to trust). Danskerne har nogenlunde samme mønster som svenskerne bortset fra internettet, som vi udtrykker stor tillid til. Dyk selv ned i tallene.
Pointen er, at man er nødt til at nedbryde (operationalisere) overbegrebet medier, hvis man vil vide, hvad der er på spil, når folk udtrykker tillid eller mistillid. Og det vil man vel – når man gør sig den ulejlighed at spørge..?

Ledende spørgsmål hos Sex & Samfund

P1s Detektor havde forleden generalsekretær for Sex & Samfund, Bjarne B. Christensen, i studiet og svare på kritik af en undersøgelse, foreningen havde lavet i forbindelse med Uge Sex 2012-kampagnen.

Sex & Samfund havde spurgt 605 folkeskolelærere, om de oplever faste kønsrollemønstre blandt deres elever, og konkluderede på baggrund af svarene, at næsten hver anden af dem (47,8 procent) har oplevet meget fastlåste opfattelser blandt deres elever af, hvad drenge og piger kan og bør.

Undersøgelsen og formidlingen af samme er et fint (negativt) studie i kunsten at formulere gode spørgsmål og vinkle sobert på svarene. Her følger en gennemgang.

Man formulerede hovedspørgsmålet på denne måde:

Oplever du – eller har du oplevet – meget faste opfattelser blandt dine elever af, hvad man kan og bør som henholdsvis dreng og pige? (for eksempel hvordan man skal opføre sig, hvilke fritidsaktiviteter man kan gå til, hvilket tøj man kan/skal have på, hvor mange man må kysse etc.)

 Spørgsmålet rummer adskillige spørgetekniske problemer, som til sammen gør svarene ubrugelige at konkludere på.

1) Oplever du – eller har du oplevet: Med formuleringen eller har du oplevet ved man ikke, om lærerne svarer ud fra deres aktuelle oplevelser eller noget, de engang har oplevet. Det bliver dermed umuligt at konkludere noget aktuelt ud fra svarene. Der mangler en tidsafgrænsning på spørgsmålet.

2) Blandt dine elever: Der mangler en styrkemarkør. Hvad betyder blandt dine elever? Ganske få elever? Halvdelen af eleverne? Flertallet af eleverne?

3) Som henholdsvis dreng og pige: Man slår kønnene sammen, hvor man med fordel kunne have bedt lærerne svare for henholdsvis drenge og piger. Hvem ved på forhånd, om de samme mønstre gør sig gældende på tværs af køn?

4) (for eksempel hvordan man skal opføre sig, hvilke fritidsaktiviteter man kan gå til, hvilket tøj man kan/skal have på, hvor mange man må kysse etc.): Man forsøger med disse eksempler at give lærerne en fælles referenceramme, når de skal svare. I praksis virker det mod hensigten. Hvis man blot oplever problemer på ét af de nævnte områder, skal man i princippet svare ja, men i så fald svarer folk ja på baggrund af vidt forskellige oplevelser.

Som spørgsmålet er stillet, er det voldsomt ledende i retning af at få lærerne til at svare, at de oplever faste mønstre. Man skal blot på et eller andet tidspunkt i et eller andet omfang have oplevet meget faste opfattelser på ét af de nævnte områder… og hvem har ikke det? Set i det lys, er det faktisk overraskende, at blot 48 procent af lærerne svarer ja. Det ligger lige for at vinkle på, at så lav en andel tilsyneladende oplever faste holdninger. I stedet gør Sex & Samfund det modsatte. Vinkler på, at næsten hver anden lærer har oplevet faste holdninger blandt eleverne. Den vinkel havde vist skrevet sig selv på forhånd.

Men hvordan skulle man have stillet spørgsmålet? Svaret er, at man skal lade være med at stille den slags komprimerede, sammenfattende spørgsmål, hvor det hele skal med på én gang. Fremgangsmåden er grundlæggende forkert. I stedet skal man – som Sex & Samfund også er på sporet af – stille åbne, enkle og konkrete spørgsmål a la:

Tag stilling til hvert af de nævnte eksempler på “faste opfattelser” og angiv, om du oplever dem blandt dine elever i din dagligdag som lærer:

  • Drenge går til fodbold
  • Piger går ikke til fodbold
  • Drenge leger med biler, krig og lignende
  • Piger har langt hår
  • osv.

Læreren skal altså tage stilling til en række konkrete eksempler på (stereotype) opfattelser. I tilfælde af, at læreren svarer ja, kan man efterfølgende bede læreren vurdere styrken/udbredelsen af den pågældende opfattelse og vurdere, om opfattelsen er kønsspecifik. Man kan eventuelt også bede læreren tage stilling til, om han/hun oplever opfattelserne som et problem for eleverne.

På baggrund af svarene på disse enkle og konkrete spørgsmål, kan man lave sin sammenfatning og – med belæg – konkludere

  1. om lærerne oplever meget faste opfattelser blandt eleverne i deres dagligdag som lærere
  2. om opfattelserne er udbredte blandt eleverne
  3. om opfattelserne er kønsspecifikke
  4. om lærerne oplever det som et problem for eleverne

Det ville ikke bare være mere retvisende, men også langt mere interessant.

Undersøgelse forvrænger ældres tilfredshed

Altinget kritiserer i denne uge den netop offentliggjorte tilfredshedsundersøgelse blandt ældre, der modtager praktisk hjælp eller personlig pleje.

Undersøgelsen viser, at

  • 87 procent af de ældre er tilfredse eller meget tilfredse med den praktiske hjælp
  • 91 procent er tilfredse eller meget tilfredse med den personlige pleje

Undersøgelsen er gennemført af Epinion for KL og Social- og Integrationsministeriet. Den bygger på svar fra i alt 1401 modtagere af praktisk hjælp og/eller personlig pleje.

Blandt kritikerne af undersøgelsen er direktør i Danske Patienter, Morten Freil, medieforsker Preben Sepstrup og undertegnede.

Der peges på tre grundlæggende problemer ved undersøgelsen:

1) Ældre har en tendens til at svare i sympati med personalet. Det er jo ikke “deres skyld”.

2) Der svares udelukkende via tilfredshedsskalaer (meget utilfreds – meget tilfreds). Når man udelukkende anvender skalasvar og ikke i tillæg giver mulighed for, at man kan uddybe og adressere sin kritik via åbne svar, afholder det nogle fra at udtrykke kritik.

3) Kategorierne “tilfreds “og “meget tilfreds” lægges sammen i fortolkningen og formidlingen af undersøgelsens resultater. Dermed forsvinder den moderate kritik, der kan ligge i at svare “tilfreds”.

Alle tre problemstillinger er dokumenteret gennem forskning i tilfredshedsundersøgelser, bl.a. i forskningsartiklen Er otte ud af ti patienter tilfredse? (Nordisk Sygeplejeforskning, 2011).

Problemerne betyder ikke, at undersøgelsen er uden værdi. Men det betyder, at man skal være meget forsigtig med at konkludere, at næsten alle er tilfredse med den hjælp, de får. Og hvis undersøgelsen skal bruges til at ændre og eventuelt forbedre hjemmehjælpen, er der behov for at supplere med kvalitative undersøgelser.

Piloter falder i søvn i cockpittet

Hvis man ikke led af flyveskræk i forvejen, så fik man en fin anledning forleden, hvor Ritzau kom ud med historien om, at hver anden pilot er faldet i søvn under flyvning.

Det er en god historie – og den har noget på sig. Historien bygger på en undersøgelse gennemført i sensommeren 2011 af analysefirmaet Axand Konsult blandt medlemmer af Svensk Pilotförening. 625 piloter har deltaget i undersøgelsen. I alt 1063 piloter er blevet spurgt, dvs. en svarprocent på 59.

Hvis nogen synes, historien vækker genklang, så er der en god grund. I april måned kørte der en lignende historie om danske piloters arbejdsvilkår og problemer med at holde sig vågne. Denne historie byggede på en undersøgelse foretaget af Sammenslutningen af danske Erhvervspiloter i samarbejde med Politiken. I denne undersøgelse svarede 575 af 1013 adspurgte piloter.

Selvfølgelig er der tale om partsindlæg med en klar dagsorden. Piloterne og deres organisationer bruger undersøgelserne som løftestang til at sikre sig bedre arbejdsvilkår. Men undersøgelserne skal bedømmes på deres troværdighed – ikke på, om de har en bagvedliggende dagsorden.

Axand Konsult allierede sig med Stressforskningsinstituttet ved Stockholms Universitet for at sikre sig spørgsmålenes videnskabelige relevans. Og det er der kommet noget godt ud af. Det gode er, at de kombinerer spørgsmål om piloternes vurderinger af sikkerhed og arbejdsmiljø med meget konkrete spørgsmål om piloternes faktiske arbejdstider, oplevelser med at falde i søvn og fejl begået pga. træthed. Styrken er de konkrete spørgsmål om piloternes egen adfærd. Det giver meget højere troværdighed end de alt for hyppigt forekommende hypotetiske og uforpligtende spørgsmål.

Men kan man stole på, at piloterne ikke overdriver problemerne? Sikker kan man ikke være, men ved at bede piloterne beskrive, hvilke fejl de måtte have begået som følge af træthed, gør man svarene mere forpligtende – og får i tilgift en værdifuld viden.

Hvad så med de piloter, der ikke har svaret? Er undersøgelserne overhovedet repræsentative for danske og svenske piloter? Nej, det er der ikke belæg for at sige. Men der er svar fra et stort antal piloter og en pæn andel af samtlige organiserede piloter. Derfor giver undersøgelserne vigtig viden om piloters arbejdsvilkår – også selv om det ikke nødvendigvis er hver anden pilot, som er faldet i søvn under flyvning.

Så må vi andre leve med flyskrækken. Og med, at Ritzau igen generaliserer for hårdt på en undersøgelse.

Ledende spørgsmål og bondefup med Galluptal

Som man spørger, får man svar. Det er en gammel kendt sandhed, som også gælder spørgeskemaundersøgelser.

Forleden blev jeg præsenteret for en undersøgelse, som Gallup havde lavet for JKL Group på vegne af foreningen Bæredygtigt Landbrug.

Undersøgelsen var et studie i ledende spørgsmåls- og svarformuleringer. Et lille udpluk:

Skal politikerne, når de lovgiver, lægge vægt på

At minimere administrativt bøvl?

At miljøet beskyttes uanset hvad det koster?

Er du enig eller uenig i følgende udsagn:

Der er en grænse for, hvor langt de danske politikere kan gå i forhold til at lægge særregler og afgifter over på dansk landbrug?

 Hvem er ikke imod bøvl, hvem vil beskytte miljøet uanset prisen, og hvem mener, at man kan pålægge noget erhverv i dette land ubegrænsede særregler og afgifter?

Hvis formålet med undersøgelsen er at blive klogere på danskernes holdning til landbruget, så er spørgsmålene forkert stillet.

Journalist Kjeld Hansen stiller skarpt på undersøgelsen og dens kontekst i en dugfrisk artikel: Bondefup med Gallup-tal publiceret på Åbenhedstingets hjemmeside. Læs selv og vurder undersøgelsens troværdighed.