3.3.2 Meting

Meten is over het maken van gevolgtrekkingen uit wat uw respondenten zeggen tegen wat uw respondenten denken en doen.

De tweede categorie van de totale enquête fout kader is de meting; het gaat over hoe we gevolgtrekkingen kunnen maken uit de antwoorden die respondenten geven op onze vragen. Het blijkt dat de antwoorden die we ontvangen, en dus ook de gevolgtrekkingen die we maken, kunt vertrouwen kritisch-en soms verrassende manieren-on precies hoe we vragen. Misschien toont niets dit belangrijke punt beter dan een grap in het prachtige boek Vragen stellen door Norman Bradburn, Seymour Sudman en Brian Wansink (2004) :

Twee priesters, een dominicaan en een jezuïet, bespreken of het een zonde is om te roken en te bidden op hetzelfde moment. Na niet aan een conclusie te komen, ieder gaat uit naar zijn respectieve superieur te raadplegen. The Dominican zegt: "Wat heeft uw leidinggevende te zeggen? '

De jezuïet antwoordt: "Hij zei dat het goed was."

"Dat is grappig" de Dominicaanse antwoordt: "Mijn begeleider zei dat het een zonde."

De jezuïet zei: "Wat heb je hem vragen? 'The Dominican antwoordt:" Ik vroeg hem of het goed om te roken tijdens het bidden was. "" O ", zei de jezuïet:" Ik vroeg of het was OK, terwijl het roken om te bidden. "

Er zijn vele voorbeelden van afwijkingen zoals die ervaren door de twee priesters. In feite is het zeer probleem aan de basis van deze grap heeft een naam in het onderzoek onderzoekswereld: vragenformulier effecten (Kalton and Schuman 1982) . Om te zien hoe vragenformulier effecten kan van invloed zijn echte onderzoeken, deze twee zeer lijkende enquêtevragen:

• "Hoeveel bent u het eens met de volgende stelling: Individuen zijn meer te verwijten dan de sociale omstandigheden van misdaad en wetteloosheid in dit land."
• "Hoeveel bent u het eens met de volgende verklaring: Sociale omstandigheden zijn meer te verwijten dan individuen voor misdaad en wetteloosheid in dit land."

Hoewel beide vragen lijken hetzelfde te meten, ze produceerde verschillende resultaten in een echt onderzoek experiment (Schuman and Presser 1996) . Toen hem werd gevraagd een manier, ongeveer 60% van de respondenten gaf aan dat mensen waren meer de schuld van misdaad, maar toen hem gevraagd werd de andere kant op ongeveer 60% meldde dat de sociale omstandigheden waren meer schuld (Figuur 3.2). Met andere woorden, het kleine verschil tussen de twee vragen leiden onderzoekers een andere conclusie.

Figuur 3.2: Resultaten van een enquête experiment (Schuman and Presser 1996, Table 8.1) . Onderzoekers kunnen verschillende antwoorden, afhankelijk van precies hoe ze de vraag stelde. Dit is een voorbeeld van een vragenformulier effect (Kalton and Schuman 1982) .

In aanvulling op de structuur van de vraag, respondenten kunnen ook verschillende antwoorden op basis van de specifieke gebruikte woorden geven. Bijvoorbeeld, om de opvattingen over de overheid prioriteiten meten respondenten leest de volgende prompt:

"We worden geconfronteerd met vele problemen in dit land, die geen van eenvoudig of goedkoop kan worden opgelost. Ik ga een aantal van deze problemen te noemen, en voor elke één ik zou graag willen dat u mij vertellen of je dat we te veel geld uitgeven aan het, te weinig geld, of over de juiste hoeveelheid. "

". Steun voor de armen" Next, de helft van de respondenten werden ondervraagd over 'welzijn' en de andere helft werd gevraagd over Hoewel deze lijkt misschien twee verschillende zinnen voor het zelfde ding, ontlokte ze heel verschillende resultaten (Figuur 3.3); Amerikanen melden dat het veel meer voorstander van "hulp aan de armen" dan "welzijn" (Smith 1987; Rasinski 1989; Huber and Paris 2013) . Terwijl enquêteonderzoekers deze formulering effecten anomalieën zijn, kunnen ze ook beschouwen hen onderzoeksresultaten. Dat wil zeggen, hebben we iets over de publieke opinie van dit resultaat geleerd.

Figuur 3.3: Resultaten van Huber and Paris (2013) . Respondenten zijn veel meer voorstander van "hulp aan de armen" dan "het welzijn." Dit is een voorbeeld van een vraagstelling effect waarbij de antwoorden die onderzoekers ontvangen afhankelijk zijn van precies welke woorden ze gebruiken in hun vragen.

Zoals deze voorbeelden over de vraag vorm effecten en tekst effecten te laten zien, kan de antwoorden die onderzoekers ontvangen beïnvloed worden op een subtiele manier op basis van hoe zij hun vragen te stellen. Dit betekent niet dat de onderzoeken niet mogen worden gebruikt; Vaak is er geen keuze. Integendeel, de voorbeelden illustreren dat we onze vragen zorgvuldig moeten bouwen en we moeten niet antwoorden kritiekloos accepteren.

Meest concreet betekent dit dat als je het analyseren van onderzoeksgegevens door iemand anders verzameld, zorg ervoor dat u de werkelijke vragenlijst hebt gelezen. En, als u het maken van uw eigen vragenlijst, ik heb drie suggesties. Ten eerste, ik stel voor dat je meer over ontwerp van de vragenlijst te lezen (bijv Bradburn, Sudman, and Wansink (2004) ); er is meer aan de hand dan ik in staat om hier te beschrijven zijn geweest. Ten tweede, stel ik voor dat u kopieert-woord-voor-woord-vragen van hoge kwaliteit enquêtes. Hoewel dit klinkt als plagiaat, is het kopiëren vragen aangemoedigd in survey-onderzoek (zolang u de originele enquête noemen). Als u vragen uit hoogwaardig enquêtes kopiëren, kunt u er zeker van zijn dat ze zijn getest en kunt u de antwoorden op uw enquête te vergelijken met de reacties van een aantal andere enquête. Tot slot, ik stel voor dat je een pre-test uw vragen met een aantal mensen uit je lijst populatie (Presser et al. 2004) ; Mijn ervaring is dat pre-test onthult altijd verrassend kwesties.