3.3總調查誤差框架

調查總誤差=表示錯誤+測量誤差。

來自抽樣調查的估計通常是不完美的。也就是說,抽樣調查產生的估計值(例如,學校中學生的估計平均身高)與人口中的真實值(例如,學校中學生的實際平均身高)之間通常存在差異。有時候這些錯誤是如此之小以至於它們並不重要,但有時候,不幸的是,這些錯誤可能是巨大而重要的。為了理解,衡量和減少錯誤,研究人員逐漸為樣本調查中可能出現的錯誤創建了一個單一的,總體的概念框架: 總調查錯誤框架 (Groves and Lyberg 2010) 。雖然這個框架的開發始於20世紀40年代,但我認為它為數字時代的調查研究提供了兩個有用的思路。

首先,總調查錯誤框架闡明了存在兩種類型的錯誤: 偏差方差 。粗略地說,偏差是系統誤差,方差是隨機誤差。換句話說,想像一下運行相同抽樣調查的1,000次重複,然後查看這1,000次重複的估算分佈。偏差是這些重複估計的平均值與真實值之間的差異。方差是這些估計的可變性。在其他條件相同的情況下,我們希望一個沒有偏差和小方差的程序。不幸的是,對於許多實際問題,不存在這樣的無偏差,小方差程序,這使得研究人員處於決定如何平衡偏差和方差引入的問題的困難位置。一些研究人員本能地偏愛無偏見的程序,但一心一意地關注偏見可能是一個錯誤。如果目標是產生盡可能接近事實的估計(即,具有最小可能的誤差),那麼您可能最好使用具有小偏差和小方差的過程而不是沒有偏見,但差異很大(圖3.1)。換句話說,該調查總誤差框架來看,評估調查研究過程時,則應當考慮兩者偏差和方差。

圖3.1:偏差和方差。理想情況下,研究人員將採用無偏差,低方差估計程序。實際上,他們經常必須做出決策,在偏見和差異之間進行權衡。儘管一些研究人員本能地傾向於無偏倚程序,但有時候小偏差,小方差程序可以產生比具有高方差的無偏倚程序更準確的估計。

圖3.1:偏差和方差。理想情況下,研究人員將採用無偏差,低方差估計程序。實際上,他們經常必須做出決策,在偏見和差異之間進行權衡。儘管一些研究人員本能地傾向於無偏倚程序,但有時候小偏差,小方差程序可以產生比具有高方差的無偏倚程序更準確的估計。

總調查錯誤框架的第二個主要見解,即本章的大部分內容,是有兩個錯誤來源:與您交談的人( 代表 )相關的問題以及與您從這些對話中學到的內容相關的問題( 測量 )。例如,您可能有興趣估計居住在法國的成年人對在線隱私的態度。進行這些估計需要兩種不同類型的推斷。首先,從受訪者給出的答案中,您必須推斷出他們對在線隱私的態度(這是一個衡量問題)。其次,從受訪者的推斷態度來看,你必須推斷整個人口的態度(這是一個代表性問題)。採用不良調查問題的完美抽樣將產生糟糕的估計,以及完美調查問題的不良抽樣。換句話說,良好的估計需要合理的測量表示方法。鑑於這一背景,我將回顧調查研究人員過去對代表性和測量的看法。然後,我將展示關於表示和測量的想法如何指導數字時代的調查研究。