3.3.2 Matja

Matja ka të bëjë me nxjerrjen e asaj që mendojnë dhe bëjnë të anketuarit tuaj nga ajo që thonë ata.

Përveç problemeve të përfaqësimit, kuadri i gabimit të përgjithshëm të anketës tregon se burimi i dytë i gabimeve është matja : si nxjerrim konkluzione nga përgjigjet që anketuesit u japin pyetjeve tona. Rezulton se përgjigjet që marrim, dhe për këtë arsye konkluzionet që bëjmë, mund të varen në mënyrë kritike - dhe nganjëherë edhe në mënyra habitëse - pikërisht në atë se si i kërkojmë. Ndoshta asgjë nuk ilustron këtë pikë të rëndësishme më mirë sesa një shaka në librin e mrekullueshëm Pyetjet nga Norman Bradburn, Seymour Sudman dhe Brian Wansink (2004) :

Dy priftërinj, një Domenikane dhe një jezuit, po diskutojnë nëse ajo është një mëkat për të pirë duhan dhe të luten në të njëjtën kohë. Pas dështimit për të arritur një përfundim, secili shkon jashtë për të konsultuar eprorit përkatës. Domenikane thotë: "Çfarë të tha të lartë?"

Jezuit i përgjigjet: "Ai tha se ishte në rregull."

"Kjo është qesharake" Domenikane përgjigjet: "mbikëqyrësi im tha se ishte një mëkat."

Jezuit i tha: "Çfarë ju kërkoni atë?" The Dominican përgjigjet: "E pyeta nëse ajo ishte në rregull për të pirë duhan, ndërsa duke u lutur." "Oh", tha jezuit: "E pyeta nëse ajo ishte në rregull për t'u lutur, ndërsa pirja e duhanit."

Përtej këtij shaka specifike, hulumtuesit e sondazhit kanë dokumentuar shumë mënyra sistematike se ajo që mëson varet nga mënyra se si kërkoni. Në fakt, vetë çështja në rrënjë të kësaj shaka ka një emër në komunitetin e hulumtimit të anketës: efektet e formës së pyetjeve (Kalton and Schuman 1982) . Për të parë se si efektet e formës së pyetjeve mund të ndikojnë në sondazhe reale, shqyrtoni këto dy pyetje shumë të ngjashme me anketën:

• "Sa jeni dakord me deklaratën e mëposhtme: Individët janë më shumë fajtore se kushtet sociale për krimin dhe mungesën e ligjit në këtë vend."
• "Sa jeni dakord me deklaratën e mëposhtme: Kushtet sociale janë më shumë fajtore se individët për krimin dhe mungesën e ligjit në këtë vend."

Megjithëse të dyja pyetjet duket se matin të njëjtën gjë, ata prodhuan rezultate të ndryshme në një eksperiment të vërtetë studimi (Schuman and Presser 1996) . Kur u pyetën në një mënyrë, rreth 60% e të anketuarve raportuan se individët ishin më shumë përgjegjës për krimin, por kur u pyetën nga ana tjetër, rreth 60% raportuan se kushtet sociale ishin më shumë për t'u fajësuar (figura 3.3). Me fjalë të tjera, dallimi i vogël mes këtyre dy pyetjeve mund t'i çojë kërkuesit në një përfundim tjetër.

Figura 3.3: Rezultatet nga një eksperiment studimi që tregon se kërkuesit mund të marrin përgjigje të ndryshme në varësi të saktë se si e kanë bërë këtë pyetje. Shumica e të anketuarve ranë dakord që individët të fajësojnë më shumë sesa kushtet sociale për krimin dhe paligjshmërinë. Dhe shumica e të anketuarve janë pajtuar me të kundërtën: kushtet sociale janë më të përgjegjshme sesa individët. Përshtatur nga Schuman and Presser (1996) , tabela 8.1.

Përveç strukturës së pyetjes, të anketuarit mund të japin edhe përgjigje të ndryshme, në varësi të fjalëve të veçanta të përdorura. Për shembull, për të matur mendimet rreth prioriteteve qeveritare, të anketuarve u lexua në vijim:

"Ne jemi ballafaquar me shumë probleme në këtë vend, asnjë nga të cilat mund të zgjidhen lehtë apo inexpensively. Unë jam duke shkuar për të përmendur disa nga këto probleme, dhe për secilin prej tyre unë do të doja që ju të më thoni nëse ju mendoni se ne jemi duke shpenzuar shumë para në të, shumë pak të holla, ose në lidhje me sasinë e duhur. "

Më pas, gjysma e të anketuarve u pyetën për "mirëqenien" dhe gjysma u pyetën për "ndihmë për të varfrit". Ndonëse këto mund të dukeshin si dy fraza të ndryshme për të njëjtën gjë, ata nxitën rezultate shumë të ndryshme (figura 3.4); Amerikanët raportojnë se janë më shumë përkrahës të "ndihmës për të varfërit" se "mirëqenia" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Figura 3.4: Rezultatet nga një eksperiment studimesh që tregojnë se të anketuarit janë shumë më tepër përkrahës të "ndihmës për të varfërit" sesa "mirëqenies". Ky është një shembull i një efekti të formulimit të pyetjeve ku përgjigjet që marrin kërkuesit varen saktësisht se cilat fjalë përdorin pyetjet e tyre. Përshtatur nga Huber and Paris (2013) , tabela A1.

Siç tregojnë këto shembuj për efektet e formës së pyetjeve dhe efektet e formulimit, përgjigjet që marrin kërkuesit mund të ndikohen nga mënyra se si i shtrojnë pyetjet e tyre. Këta shembuj ndonjëherë i bëjnë kërkuesit të pyesin veten për mënyrën "e saktë" për të pyetur pyetjet e pyetjeve të tyre. Ndërsa mendoj se ka disa mënyra të gabuara për të bërë një pyetje, unë nuk mendoj se ka gjithmonë një mënyrë të vetme korrekte. Kjo është, nuk është e qartë më mirë të pyesësh për "mirëqenien" ose "ndihmën për të varfrit"; këto janë dy pyetje të ndryshme që matin dy gjëra të ndryshme rreth qëndrimeve të respondentëve. Këta shembuj gjithashtu nisin ndonjëherë studiuesit që të konkludojnë se sondazhet nuk duhet të përdoren. Për fat të keq, nganjëherë nuk ka zgjedhje. Përkundrazi, mendoj se mësimi i duhur për t'u nxjerrë nga këta shembuj është se ne duhet t'i ndërtojmë me kujdes pyetjet tona dhe ne nuk duhet të pranojmë përgjigjet në mënyrë jo kritike.

Më konkretisht, kjo do të thotë që nëse jeni duke analizuar të dhënat e sondazhit të mbledhura nga dikush tjetër, sigurohuni që keni lexuar pyetësorin aktual. Dhe nëse po krijoni pyetësorin tuaj, unë kam katër sugjerime. Së pari, sugjeroj që të lexoni më shumë rreth dizajnit të pyetësorit (p.sh., Bradburn, Sudman, and Wansink (2004) ); ka më shumë për këtë sesa unë kam qenë në gjendje të përshkruaj këtu. Së dyti, unë sugjeroj që ju të kopjoni fjala për fjalë-pyetje nga sondazhet me cilësi të lartë. Për shembull, nëse dëshironi t'u kërkoni të anketuarve për racën / përkatësinë etnike, ju mund të kopjoni pyetjet që përdoren në anketat e qeverisë në shkallë të gjerë, siç është regjistrimi i popullsisë. Edhe pse kjo mund të tingëllojë si plagjiaturë, pyetjet e kopjimit inkurajohen në hulumtimin e anketës (për aq kohë sa citoni studimin origjinal). Nëse kopjoni pyetjet nga sondazhet me kualitet të lartë, mund të jeni të sigurtë se janë testuar dhe ju mund të krahasoni përgjigjet e anketës tuaj me përgjigjet nga disa anketime të tjera. Së treti, nëse mendoni se pyetësori juaj mund të përmbajë efektet e formulimit të pyetjeve të rëndësishme ose efektet e formës së pyetjeve, mund të zhvilloni një eksperiment studimi ku gjysma e të anketuarve marrin një version të pyetjes dhe gjysma marrin versionin tjetër (Krosnick 2011) . Përfundimisht, ju sugjeroj që të pilotoni pyetjet tuaja me disa njerëz nga popullata juaj e kornizës; hulumtuesit e sondazhit e quajnë këtë proces para testimit (Presser et al. 2004) . Përvoja ime është se para-testimi i anketës është jashtëzakonisht i dobishëm.