3.3.2測量

衡量標準是根據他們所說的內容推斷出受訪者的想法和行為。

除了代表性問題之外,總調查錯誤框架還表明錯誤的第二個主要來源是衡量 :我們如何根據受訪者對我們問題的答案做出推論。事實證明,我們收到的答案,以及我們所做出的推論,可以嚴格地 - 有時是令人驚訝的方式 - 取決於我們究竟的要求。也許沒有什麼說明了這重要的一點比精彩的書諾曼·布拉德,西摩Sudman和布賴恩萬辛克問題一個笑話更好的(2004)

兩個牧師,一個多明尼加和耶穌會士,都在討論它是否吸煙,並在同一時間祈禱贖罪。未能得出結論後,每個熄滅徵詢他的各自優越。該多明尼加說:“那你的上司說?”

耶穌會回應,“他說,這是正常的。”

“這很有趣”的多明尼加回答說,“我的導師說,這是一種罪過。”

耶穌會說,“你問過他嗎?”多明尼加回答說,“我問他,如果它是好的,同時祈禱抽煙。”“哦”耶穌會說,“我問,如果它是確定吸煙時祈禱。”

除了這個特定的笑話,調查研究人員已經記錄了許多系統的方法,你學到的東西取決於你的要求。事實上,這個笑話根源的問題在調查研究界有一個名稱: 問題形式效應 (Kalton and Schuman 1982) 。要了解問題形式效果如何影響實際調查,請考慮以下兩個非常相似的調查問題:

  • “多少錢你用下面的說法: 個人均超過了在這個國家的犯罪和違法的社會條件惹的禍。”
  • “多少錢你同意以下說法: 社會條件超過了在這個國家的犯罪和違法個人惹的禍。”

雖然這兩個問題似乎都是相同的,但它們在真實的調查實驗中產生了不同的結果(Schuman and Presser 1996) 。當被問到一種方式時,大約60%的受訪者表示個人更應該為犯罪負責,但當被問到另一種方式時,大約60%的受訪者表示社會狀況更為嚴重(圖3.3)。換句話說,這兩個問題之間的微小差異可能會導致研究人員得出不同的結論。

圖3.3:調查實驗的結果顯示,研究人員可以根據他們提出問題的確切方式獲得不同的答案。大多數受訪者都認為,個人比犯罪和無法無天的社會條件更容易受到指責。大多數受訪者都讚同相反的觀點:社會條件比個人更負責任。改編自Schuman和Presser(1996),表8.1。

圖3.3:調查實驗的結果顯示,研究人員可以根據他們提出問題的確切方式獲得不同的答案。大多數受訪者都認為,個人比犯罪和無法無天的社會條件更容易受到指責。大多數受訪者都讚同相反的觀點:社會條件比個人更負責任。改編自Schuman and Presser (1996) ,表8.1。

除了問題的結構,受訪者還可以根據所使用的具體詞語給出不同的答案。例如,為了衡量有關政府優先事項的意見,受訪者閱讀了以下提示:

“我們正面臨著這個國家的許多問題,其中沒有一個可以很容易地或廉價地得到解決。我將列舉一些的這些問題,並為每一個我希望你能告訴我,你是否認為我們花太多錢在上面,錢太少,或約適量“。

接下來,一半的受訪者被問及“福利”,一半被問及“為窮人提供幫助。”雖然這些看起來像兩個不同的短語同樣的事情,但他們引出了截然不同的結果(圖3.4);美國人報告說,他們更多地支持“對貧困人口的援助”而不是“福利” (Smith 1987; Rasinski 1989; Huber and Paris 2013)

圖3.4:調查實驗的結果顯示受訪者更多地支持對窮人的援助而不是福利。這是問題措辭效果的一個例子,研究人員得到的答案取決於他們在問題中使用的確切詞語。改編自Huber和Paris(2013),表A1。

圖3.4:調查實驗的結果顯示受訪者更多地支持“對窮人的援助”而不是“福利”。這是問題措辭效果的一個例子,研究人員得到的答案取決於他們在他們的問題。改編自Huber and Paris (2013) ,表A1。

正如這些關於問題形式效果和措辭效果的例子所示,研究人員得到的答案可能會受到他們提出問題的方式的影響。這些例子有時會讓研究人員懷疑詢問調查問題的“正確”方式。雖然我認為提問有一些明顯錯誤的方法,但我認為總有一種方法是正確的。也就是說,詢問“福利”或“為窮人提供援助”顯然不是更好;這是兩個不同的問題,衡量兩個不同的事情,關於受訪者的態度。這些例子有時也會使研究人員得出結論,不應該使用調查。不幸的是,有時別無選擇。相反,我認為從這些例子中得出的正確教訓是,我們應該認真地構建我們的問題,不應該不加批判地接受回應。

最具體地說,這意味著如果您正在分析其他人收集的調查數據,請確保您已閱讀實際調查問卷。如果您要創建自己的問卷,我有四個建議。首先,我建議你閱讀更多關於問卷設計的內容(例如, Bradburn, Sudman, and Wansink (2004) );除了我在這裡描述之外,還有更多內容。其次,我建議你從高質量的調查中復制單詞。例如,如果您想詢問受訪者的種族/民族,您可以復制大規模政府調查中使用的問題,例如人口普查。雖然這可能聽起來像是抄襲,但在調查研究中鼓勵複製問題(只要你引用原始調查)。如果您從高質量的調查中復制問題,您可以確定它們已經過測試,您可以將調查的答案與其他調查的答案進行比較。第三,如果您認為您的問卷可能包含重要的問題措辭效果或問題形式效果,您可以進行調查實驗 ,其中一半的受訪者收到一個版本的問題,另一半收到另一個版本(Krosnick 2011) 。最後,我建議你與你的框架人群中的一些人一起試驗你的問題;調查研究人員將這一過程稱為預測試 (Presser et al. 2004) 。我的經驗是,調查預測試非常有用。