3.3.2 Mezurado

Mezuro temas pri malsukcesi kion viaj enketantoj pensas kaj faras de tio, kion ili diras.

Aldone al problemoj de reprezento, la tuta enketa erara kadro montras, ke la dua plej grava fonto de eraroj estas mezurado : kiel ni konsideras la respondojn, kiujn respondas niaj demandoj. Ĝi rezultas, ke la respondoj, kiujn ni ricevas, kaj sekve la konferencoj, kiujn ni faras, povas dependi kritike - kaj en kelkaj surprizaj manieroj - ĝuste kiel ni petas. Eble nenio pli bone ilustras ĉi tiun gravan punkton ol ŝerco en la mirinda libro Asking Questions de Norman Bradburn, Seymour Sudman, kaj Brian Wansink (2004) :

Du pastroj, dominika kaj jezuito, diskutas ĉu ĝi estas propeka fumi kaj preĝu samtempe. Post malsukcesado atingi konkludon, ĉiu foriras konsulti siajn respektivajn supera. La Dominika diras, "Kion faris via supera diru?"

La jesuita respondas, "Li diris, ke bone."

"Tio estas amuza" la Dominika respondas: "Mia kontrolisto diris ke estis peko."

La jezuito diris: "Kion vi petas de Li?" La Dominika respondas, "mi demandis lin se ĝi bone fumi preĝante." "Ho!" Diris la jezuito, "mi demandis, ĉu ĝi estis bone preĝi dum fumado."

Pli tie de ĉi tiu specifa ŝerco, esploristoj esploris multajn sistemajn manierojn, ke tio, kion vi lernas dependas de kiel vi petas. Fakte, la tre afero ĉe la radiko de ĉi tiu ŝerco havas nomon en la enketa esplorkomunumo: pridemandformoj (Kalton and Schuman 1982) . Por vidi, kiel la demando, efektojn povus efiki realajn enketojn, konsideru ĉi tiujn du tre similan enketajn demandojn:

• "Kiom vi konsentas kun la sekvan deklaron: Individuoj estas pli kulpas ol sociaj kondiĉoj por krimo kaj maljusteco en ĉi tiu lando."
• "Kiom vi konsentas kun la sekva deklaro: Sociaj kondiĉoj estas pli kulpas ol individuoj por krimo kaj maljusteco en ĉi tiu lando."

Kvankam ambaŭ demandoj ŝajnas mezuri la saman aferon, ili produktis malsamajn rezultojn en vera enketa eksperimento (Schuman and Presser 1996) . Kiam oni demandis unu vojon, proksimume 60% de la enketistoj informis, ke individuoj estis pli kulpaj pro krimo, sed kiam oni petis la alian, ĉirkaŭ 60% informis, ke sociaj kondiĉoj pli kulpiĝis (figuro 3.3). Alivorte, la malgranda diferenco inter ĉi tiuj du demandoj povus konduki al esploristoj al malsama konkludo.

Figuro 3.3: Rezultoj de enketa eksperimento montrante, ke esploristoj povas ricevi malsamajn respondojn laŭ la precize kiel ili demandis la demandon. Multaj enketantoj konsentis, ke individuoj estas pli kulpaj ol sociaj kondiĉoj pri krimo kaj senleĝeco. Kaj plimulto de la enketitaj konsentis kontraŭe: ke sociaj kondiĉoj estas pli respondecaj ol individuoj. Adaptita de Schuman and Presser (1996) , tablo 8.1.

Krom la strukturo de la demando, enketantoj povas ankaŭ doni malsamajn respondojn, laŭ la specifaj vortoj uzataj. Ekzemple, por mezuri opiniojn pri registaraj prioritatoj, la enketintoj legu la sekvan rekomendon:

"Ni alfrontas kun multaj problemoj en ĉi tiu lando, neniu el kiu povas esti solvita facile aŭ malmultekoste. Mi tuj enoficigi iuj de tiuj problemoj, kaj por ĉiu mi ŝatus ke vi diru al mi, ĉu vi pensas ni elspezi tro da mono sur ĝi, tro malmulte da mono, aŭ pri la ĝusta kvanto. "

Tuj poste, la duono de la enketistoj estis demanditaj pri "bonstato" kaj duono estis demandita pri "helpo por malriĉuloj". Dum ĉi tiuj povus simili du malsamajn frazojn por la sama afero, ili elsendis tre malsamajn rezultojn (figuro 3.4); Usonanoj raportas esti multe pli subtenaj al "helpo al la malriĉuloj" ol "bonstato" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Figuro 3.4: Rezultoj de enketaj eksperimentoj montrante, ke enketantoj multe pli helpas al "helpo al malriĉuloj" ol "bonstato". Ĉi tio estas ekzemplo de demando, per kiu la respondoj, kiujn esploristoj ricevas, dependas precize de tiuj vortoj, kiujn ili uzas en iliaj demandoj. Adaptita de Huber and Paris (2013) , tablo Al1.

Ĉar ĉi tiuj ekzemploj pri demando formas efektojn kaj vortajn efektojn, la respondoj, kiujn ricevas esploristoj, povas esti influitaj de kiel ili demandas siajn demandojn. Ĉi tiuj ekzemploj foje kondukas esploristojn por demandi pri la "ĝusta maniero" por demandi siajn enketajn demandojn. Dum mi kredas, ke estas iuj klare malĝentilaj manieroj por demandi demandon, mi ne pensas, ke ĉiam estas unu sola ĝusta maniero. Tio estas, evidente ne estas pli bona demandi pri "bonstato" aŭ "helpo por malriĉuloj"; Ĉi tiuj estas du malsamaj demandoj, kiuj mezuras du malsamajn aferojn pri sintenoj de respondantoj. Ĉi tiuj ekzemploj ankaŭ foje kondukis esploristojn por fini ke enketoj ne devus esti uzataj. Bedaŭrinde, foje ne estas elekto. Anstataŭe, mi opinias, ke la lerta leciono el ĉi tiuj ekzemploj estas, ke ni devas zorgeme zorgi kaj ne akcepti respondojn senkritike.

Plej konkrete, tio signifas, ke se vi analizas la enketon de datumoj kolektitaj de iu alia, certigu, ke vi legis la realan demandaron. Kaj se vi kreas vian propran demandaron, mi havas kvar sugestojn. Unue mi sugestas, ke vi legas pli pri demando de demandoj (ekz., Bradburn, Sudman, and Wansink (2004) ); estas pli ol ĉi tie ol mi povis priskribi ĉi tie. Due, mi sugestas, ke vi kopii-vorton por vort-demandoj de altkvalitaj enketoj. Ekzemple, se vi volas demandi alrespondantoj pri ilia raso / etnaĵo, vi povus kopii la demandojn, kiuj estas uzataj en grandskalaj registaraj enketoj, kiel ekzemple la censo. Kvankam ĉi tio povus soni kiel plagiato, kopiante demandoj estas kuraĝigitaj en enketa esplorado (kondiĉe ke vi citas la originalan enketon). Se vi kopias demandojn de altkvalitaj enketoj, vi povas esti certa, ke ili estis provitaj, kaj vi povas kompari la respondojn al via enketo al respondoj de iuj aliaj enketoj. Tria, se vi pensas, ke via demando eble enhavas gravajn demandojn, aŭ efektojn, vi povus ekzameni enketon, kie duono de la enketintoj ricevas unu version de la demando kaj duono ricevas la alian version (Krosnick 2011) . Finfine mi sugestas, ke vi provu provi viajn demandojn kun iuj homoj de via kadra populacio; Enketaj esploristoj nomas ĉi tiun procezon antaŭpropanta (Presser et al. 2004) . Mia sperto estas ke tiu enketo antaŭprovas estas ekstreme helpema.