3.3.1表示

表示是有关从受访者进行推论到你的目标人群。

为了理解从受访者向较大人群推断时可能发生的错误,让我们考虑一下试图预测1936年美国总统大选结果的文学摘要民意调查。虽然它发生在75多年前,但这个崩溃仍然是今天教授研究人员的一个重要教训。

“文学摘要”是一本受欢迎的综合性杂志,从1920年开始,他们开始进行稻草民意调查以预测总统选举的结果。为了做出这些预测,他们会向很多人发送选票,然后简单地计算返回的选票; “文学摘要”自豪地报道,他们收到的选票既没有“加权,调整也没有解释。”这个程序正确地预测了1920年,1924年,1928年和1932年选举的获胜者。1936年,在大萧条时期, 文学摘要向1000万人发送了选票,其名字主要来自电话簿和汽车登记记录。以下是他们描述方法的方式:

“DIGEST的平稳运行机器具有三十年经验的快速精确度,可以减少对实际情况的猜测......本周,500支钢笔每天都会丢失超过25万个地址。每天,在位于纽约第四大道的第四大道上方的一个大房间里,400名工人巧妙地将一百万件印刷品 - 足以铺设四十个城市街区 - 滑入所涉及的信封[原文如此]。每小时,在THE DIGEST自己的邮局变电站,三台喋喋不休的邮资计量机密封并盖上白色长方形;熟练的邮政员工将他们翻转成凸出的邮件;车队DIGEST卡车加速他们表达邮件列车。 。 。下周,来自这一千万人的第一批答案将开始标记选票的进入潮流,进行三重检查,核实,五次交叉分类和总计。当最后一个数字已经被检查和检查时,如果过去的经验是一个标准,该国将知道实际普遍投票的四千万[选民]的1%的一小部分。“(1936年8月22日)

文学摘要对大小迷恋很快就会被任何“大数据”研究者所认识。在分发的1000万张选票中,返回了惊人的240万张 - 这比现代政治民意调查大约高出1000倍。从这240万名受访者中,判决结果很明确:Alf Landon打算击败现任富兰克林罗斯福。但事实上,罗斯福以压倒性优势击败了兰登。 文学摘要怎么会出现这么多数据?我们对抽样的现代理解使文学摘要的错误变得清晰,并有助于我们避免在未来犯同样的错误。

清楚地考虑抽样需要我们考虑四个不同的人群(图3.2)。第一组是目标人群 ;这是研究人员定义为感兴趣的群体的群体。在“ 文学摘要”的案例中,目标人群是1936年总统选举中的选民。

在确定目标人群后,研究人员需要制定一份可用于抽样的人员名单。此列表称为抽样框架 ,其上的人员称为框架填充 。理想情况下,目标人群和框架人口将完全相同,但在实践中往往并非如此。例如,在“ 文学摘要”的案例中,框架人口是1000万人,其名字主要来自电话簿和汽车登记记录。目标总体与帧总体之间的差异称为覆盖误差 。覆盖率错误本身并不能保证问题。但是,如果框架群体中的人与目标人群中不在框架群体中的人系统地不同,则可能导致覆盖偏差 。事实上,这正是“ 文学摘要”民意调查所发生的事情。他们的框架人口往往更有可能支持Alf Landon,部分原因是他们更富有(回想起1936年电话和汽车都相对较新且价格昂贵)。因此,在文学摘要调查中,覆盖误差导致覆盖偏差。

图3.2:表示错误。

图3.2:表示错误。

在定义框架群体之后 ,下一步是研究人员选择样本群体 ;这些是研究人员试图采访的人。如果样本具有与帧总体不同的特征,则采样可能引入采样误差 。然而,在文学摘要惨败的情况下,实际上没有采样 - 该杂志与框架群体中的每个人联系 - 因此没有采样错误。许多研究人员倾向于关注抽样误差 - 这通常是调查中报告的误差幅度所捕获的唯一一种误差 - 但文学摘要惨败提醒我们,我们需要考虑所有误差来源,包括随机误差和系统误差。

最后,在选择样本群体后,研究人员试图采访其所有成员。成功访谈的人称为受访者 。理想情况下,样本人群和受访者将完全相同,但实际上没有回应。也就是说,在样本中选择的人有时不参与。如果回复的人与那些没有回应的人不同,则可能存在回应偏见 。无回应偏见是文学摘要民意调查的第二个主要问题。接受选票的人中只有24%做出了回应,结果发现支持兰登的人更有可能做出回应。

除了仅仅是一个介绍代表性思想的榜样之外,“ 文学摘要”民意调查是一个经常重复的比喻,提醒研究人员关于随意抽样的危险性。不幸的是,我认为许多人从这个故事中吸取的教训是错误的。这个故事中最常见的道德是研究人员无法从非概率样本中学到任何东西(即,没有严格的基于概率的规则来选择参与者的样本)。但是,正如我将在本章后面所述,这不太对。相反,我认为这个故事确实存在两种道德;道德在今天和1936年一样真实。首先,大量随意收集的数据无法保证良好的估计。一般而言,拥有大量受访者会降低估计的方差,但并不一定会减少偏差。有了大量数据,研究人员有时可以对错误的东西进行精确估计;它们可能准确无误 (McFarland and McFarland 2015) 。 “ 文学摘要”惨败的第二个主要教训是,研究人员需要考虑在进行估算时如何收集样本。换句话说,由于文学摘要民意调查中的抽样过程系统性地偏向某些受访者,研究人员需要使用更复杂的估算过程,这使得一些受访者比其他受访者更为重要。在本章的后面,我将向您展示一个这样的加权程序 - 后分层 - 这可以使您从随意的样本中做出更好的估计。