3.3.2 Mérési

A mérés azt a következtetést vonja le, amit a válaszadók úgy gondolnak, és azt, amit mondanak.

A reprezentációs problémák mellett a teljes felmérési hiba-keretrendszer azt mutatja, hogy a hibák második legfontosabb forrása a mérés : hogyan következtetéseket vonunk le a válaszok által adott válaszokból. Kiderül, hogy a kapott válaszok, és így a következtetéseink, kritikusan - és néha meglepő módon - függenek attól, hogy pontosan hogyan kérdezünk. Talán semmi sem illusztrálja ezt a fontos pont jobb, mint egy vicc a csodálatos könyv Kérdések Norman Bradburn Seymour Sudman és Brian Wansink (2004) :

Két pap, a domonkos és egy jezsuita, tárgyalunk, hogy ez bűn, hogy a füst és imádkozzatok egyidejűleg. Miután nem a végső következtetés, minden kialszik, hogy beszéljen az illető kiváló. A Dominikai azt mondja: "Mi volt a kiváló mondjuk?"

A jezsuita válaszol: "Azt mondta, hogy rendben van."

"Ez vicces" a Dominikai válaszol: "A felettesem azt mondta, hogy a bűn."

A jezsuita azt mondta: "Mit kérsz tőle?" A Dominikai válaszol: "Megkérdeztem, ez rendben van, hogy a füst, miközben imádkozott." "Ó", mondta a jezsuita, "Megkérdeztem, ha minden rendben volt imádkozni dohányzás közben."

Ezen a különös viccen túl a felmérési kutatók számos módszeres módon dokumentálták, hogy a tanulás függ attól, hogy hogyan kérdezel. Valójában a vicc gyökerében lévő kérdésnek van egy neve a felmérés kutatóközösségében: kérdőíves hatások (Kalton and Schuman 1982) . Ha meg szeretné tudni, hogy a kérdőívek hatásai milyen hatással lehetnek valódi felmérésekre, fontolja meg a két nagyon hasonló megjelenésű felmérési kérdést:

• "Mennyit ért egyet a következő kijelentéssel: Az egyének több a hibás, mint a társadalmi feltételeket bűnözés és törvénytelenség ebben az országban."
• "Mennyi ért egyet a következő kijelentéssel: Szociális feltételek több a hibás, mint az egyének számára a bűnözés és törvénytelenség ebben az országban."

Bár mindkét kérdés úgy tűnik, hogy ugyanazt a dolgot mérje, különböző eredményeket produkáltak valódi felmérési kísérletben (Schuman and Presser 1996) . A válaszadók mintegy 60% -a arról számolt be, hogy az egyének jobban hibáztatják a bűnözést, de ha más kérdést kérték, körülbelül 60% arról számolt be, hogy a társadalmi viszonyok többé hibáztattak (3.3. Ábra). Más szóval, a két kérdés közötti kis különbség a kutatók számára más következtetést vonhatna maga után.

3.3 ábra: Felmérési kísérlet eredményei, amelyek azt mutatják, hogy a kutatók különböző válaszokat kaphatnak attól függően, hogy pontosan hogyan kérdezik a kérdést. A válaszadók többsége egyetértett abban, hogy az egyének jobban hibáznak, mint a bűnözés és a törvénytelenség társadalmi feltételei. A válaszadók többsége pedig ezzel ellentétesen állapodott meg: hogy a társadalmi körülmények nagyobb felelősséggel bírnak, mint az egyének. Alkalmazva Schuman and Presser (1996) , 8.1 táblázat.

A kérdés struktúráján kívül a válaszadók a konkrét szavaktól függően különböző válaszokat adhatnak. Például a kormányzati prioritásokra vonatkozó vélemények mérésére a válaszadók a következőket olvasták:

"Állunk szemben sok probléma ebben az országban, amelyek közül egyik sem lehet megoldani egyszerűen és olcsón. Megyek nevezni néhány ezeket a problémákat, és mindegyikre Szeretném, ha elmondanád, hogy Ön szerint mi túl sok pénzt rá, túl kevés a pénz, vagy a megfelelő összeget. "

Ezt követően a megkérdezettek felét megkérdezték a "jólétről", és felét megkérték a "segélyek a szegényekre". Bár ezek ugyanazt a két különböző kifejezést tükrözik, igen eltérő eredményeket hoztak (3.4. Ábra); Az amerikaiak azt (Smith 1987; Rasinski 1989; Huber and Paris 2013) hogy sokkal inkább támogatják a "szegényeknek nyújtott segítséget", mint a "jólét" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

3.4. Ábra: A felmérési kísérletek eredményei, amelyek azt mutatják, hogy a válaszadók sokkal inkább támogatják a "segélyek a szegényeknek", mint a "jóllét". Ez egy példa a kérdéses megfogalmazás hatására, amelyre a kutatók válaszai pontosan attól függnek, hogy mely szavakat használják kérdéseiket. Alkalmazva Huber and Paris (2013) , A1 táblázat.

Mivel ezek a példák a kérdőíves hatásokról és a megfogalmazások hatásairól mutatnak rá, a kutatók megkapott válaszai befolyásolhatják a kérdések kérdése. Ezek a példák néha arra késztetik a kutatókat, hogy kérdezzék fel a felmérés kérdéseinek "helyes" módját. Bár úgy vélem, van néhány egyértelműen rossz módja annak, hogy feltesszen egy kérdést, nem hiszem, hogy mindig van egyetlen helyes út. Vagyis nem feltétlenül jobb kérni a "jóllét", vagy "a szegények támogatását"; ezek két különböző kérdés, amelyek két különböző dolgot mérnek a válaszadók magatartásáról. Ezek a példák arra is vezetnek, hogy a kutatók arra a következtetésre jutnak, hogy a felméréseket nem szabad felhasználni. Sajnos néha nincs más választás. Ehelyett azt gondolom, hogy a megfelelő tanulság ebből a példából következtetni, hogy alaposan meg kell fogalmaznunk a kérdéseinket, és nem válaszolunk kritikátlanul.

Ez konkrétan azt jelenti, hogy ha valaki más által gyűjtött felmérési adatokat elemez, győződjön meg róla, hogy elolvasta a tényleges kérdőívet. És ha saját kérdőívet készítesz, négy javaslatom van. Először azt javaslom, hogy olvasson többet a kérdőívek tervezéséről (pl. Bradburn, Sudman, and Wansink (2004) ); van ennél több, mint amit itt tudtam leírni. Másodszor, azt javaslom, hogy jó szórakoztató felmérésekből másoljon szó szót kérdéseket. Például ha megkérdezni szeretné a válaszadókat a faji / etnikai hovatartozásukról, akkor átmásolhatja azokat a kérdéseket, amelyeket a nagyméretű kormányzati felmérések során használnak, például a népszámlálást. Bár ez plágiumszerűnek hangzik, kérdőíveket másolnak fel a felmérések során (mindaddig, amíg az eredeti felmérést idézi). Ha jó minőségű felmérésekből átmásolja a kérdéseket, biztos lehet benne, hogy tesztelték őket, és összehasonlíthatja a felmérés válaszát a többi felmérés válaszaira. Harmadszor, ha úgy gondolja, hogy a kérdőíve fontos kérdésfüggő effektusokat vagy kérdőjel-effektusokat tartalmazhat, akkor futtathat egy felmérési kísérletet, ahol a megkérdezettek fele megkapja a kérdés egyik változatát, míg a másik fél megkapja a másik változatot (Krosnick 2011) . Végezetül azt javaslom, hogy teszteljétek a kérdéseket néhány emberrel a kerettázottságodból; a felmérés kutatói ezt a folyamatot elővizsgálatnak nevezik (Presser et al. 2004) . Tapasztalatom szerint a felmérés előtesztelése rendkívül hasznos.