3.3总调查误差框架

调查总误差=表示错误+测量误差。

来自抽样调查的估计通常是不完美的。也就是说,抽样调查产生的估计值(例如,学校中学生的估计平均身高)与人口中的真实值(例如,学校中学生的实际平均身高)之间通常存在差异。有时候这些错误是如此之小以至于它们并不重要,但有时候,不幸的是,这些错误可能是巨大而重要的。为了理解,衡量和减少错误,研究人员逐渐为样本调查中可能出现的错误创建了一个单一的,总体的概念框架: 总调查错误框架 (Groves and Lyberg 2010) 。虽然这个框架的开发始于20世纪40年代,但我认为它为数字时代的调查研究提供了两个有用的思路。

首先,总调查错误框架阐明了存在两种类型的错误: 偏差方差 。粗略地说,偏差是系统误差,方差是随机误差。换句话说,想象一下运行相同抽样调查的1,000次重复,然后查看这1,000次重复的估算分布。偏差是这些重复估计的平均值与真实值之间的差异。方差是这些估计的可变性。在其他条件相同的情况下,我们希望一个没有偏差和小方差的程序。不幸的是,对于许多实际问题,不存在这样的无偏​​差,小方差程序,这使得研究人员处于决定如何平衡偏差和方差引入的问题的困难位置。一些研究人员本能地偏爱无偏见的程序,但一心一意地关注偏见可能是一个错误。如果目标是产生尽可能接近事实的估计(即,具有最小可能的误差),那么您可能最好使用具有小偏差和小方差的过程而不是没有偏见,但差异很大(图3.1)。换句话说,该调查总误差框架来看,评估调查研究过程时,则应当考虑两者偏差和方差。

图3.1:偏差和方差。理想情况下,研究人员将采用无偏差,低方差估计程序。实际上,他们经常必须做出决策,在偏见和差异之间进行权衡。尽管一些研究人员本能地倾向于无偏倚程序,但有时候小偏差,小方差程序可以产生比具有高方差的无偏倚程序更准确的估计。

图3.1:偏差和方差。理想情况下,研究人员将采用无偏差,低方差估计程序。实际上,他们经常必须做出决策,在偏见和差异之间进行权衡。尽管一些研究人员本能地倾向于无偏倚程序,但有时候小偏差,小方差程序可以产生比具有高方差的无偏倚程序更准确的估计。

总调查错误框架的第二个主要见解,即本章的大部分内容,是有两个错误来源:与您交谈的人( 代表 )相关的问题以及与您从这些对话中学到的内容相关的问题( 测量 )。例如,您可能有兴趣估计居住在法国的成年人对在线隐私的态度。进行这些估计需要两种不同类型的推断。首先,从受访者给出的答案中,您必须推断出他们对在线隐私的态度(这是一个衡量问题)。其次,从受访者的推断态度来看,你必须推断整个人口的态度(这是一个代表性问题)。采用不良调查问题的完美抽样将产生糟糕的估计,以及完美调查问题的不良抽样。换句话说,良好的估计需要合理的测量表示方法。鉴于这一背景,我将回顾调查研究人员过去对代表性和测量的看法。然后,我将展示关于表示和测量的想法如何指导数字时代的调查研究。