4.1简介

在本书迄今为止所涉及的方法中 - 观察行为(第2章)和提问(第3章) - 研究人员在没有故意和系统地改变世界的情况下收集数据。本章所涉及的方法 - 运行实验 - 从根本上是不同的。当研究人员进行实验时,他们会系统地干预世界,以创建非常适合回答有关因果关系问题的数据。

因果问题在社会研究中非常普遍,例子包括以下问题:增加教师工资是否会增加学生的学习?最低工资对就业率的影响是什么?求职者的种族如何影响她获得工作的机会?除了这些明确的因果问题之外,有时候因果问题隐含在关于某些绩效指标最大化的更一般性问题中。例如,“捐赠按钮在非政府组织网站上的颜色应该是什么颜色?”这个问题确实存在很多关于不同按钮颜色对捐赠的影响的问题。

回答因果问题的一种方法是在现有数据中寻找模式。例如,回到关于教师工资对学生学习的影响的问题,您可以计算出学生在提供高教师工资的学校中学到更多。但是,这种相关性是否表明更高的薪水会让学生学到更多东西?当然不是。教师挣得更多的学校可能在很多方面都有所不同。例如,教师工资高的学校的学生可能来自富裕家庭。因此,看起来像教师的影响可能来自比较不同类型的学生。学生之间这些无法衡量的差异被称为混淆因素 ,而且,一般而言,混淆因素可能会严重破坏研究人员通过寻找现有数据中的模式来回答因果问题的能力。

解决混淆问题的一个方法是尝试通过调整组之间的可观察差异来进行公平比较。例如,您可以从许多政府网站下载财产税数据。然后,您可以比较家庭价格相似但教师工资不同的学校的学生表现,您仍然可能会发现学生在教师工资较高的学校学到更多。但仍有许多可能的混淆因素。也许这些学生的父母的教育水平不同。或许这些学校与公共图书馆的亲密程度不同。或者,教师薪酬较高的学校也可以为校长支付更高的薪酬,而校长薪酬,而不是教师工资,实际上是增加学生学习的内容。您也可以尝试测量和调整这些因素,但可能的混杂因素列表基本上是无穷无尽的。在许多情况下,您无法测量和调整所有可能的混淆因素。为了应对这一挑战,研究人员开发了许多用于从非实验数据进行因果估计的技术 - 我在第2章中讨论了其中的一些 - 但是,对于某些类型的问题,这些技术是有限的,并且实验提供了有希望的替代。

实验使研究人员能够超越自然发生数据的相关性,从而可靠地回答某些因果问题。在模拟时代,实验往往在逻辑上很困难且昂贵。现在,在数字时代,物流限制逐渐消失。不仅像过去那样进行实验更容易,现在可以进行新的实验。

在我到目前为止所写的内容中,我的语言有点松散,但区分两件事很重要:实验和随机对照实验。在一项实验中 ,研究人员介入世界,然后测量结果。我听说这种方法被描述为“扰乱和观察”。在一项随机对照实验中 ,研究人员干预一些人而不是其他人,研究人员决定哪些人通过随机化接受干预(例如,掷硬币)。随机对照实验在两组之间进行公平比较:一组接受干预,一组接受干预。换句话说,随机对照实验是混杂问题的解决方案。然而,扰动和观察实验仅涉及接受干预的单个群体,因此结果可能导致研究人员得出错误的结论(我将很快显示)。尽管实验和随机对照实验之间存在重要差异,但社会研究人员经常互换使用这些术语。我将按照这个惯例,但是,在某些方面,我将打破常规,强调随机对照实验的价值而非随机化和对照组的实验。

随机对照实验已被证明是了解社交世界的有力方式,在本章中,我将向您展示如何在您的研究中使用它们。在4.2节中,我将用维基百科上的一个实验例子来说明实验的基本逻辑。然后,在4.3节中,我将描述实验室实验和现场实验之间的差异以及模拟实验和数字实验之间的差异。此外,我认为数字现场实验可以提供模拟实验室实验(严格控制)和模拟现场实验(现实主义)的最佳功能,所有这些都是以前无法实现的。接下来,在4.4节中,我将描述三个概念 - 治疗效果的有效性,异质性和机制 - 这对于设计丰富的实验至关重要。在此背景下,我将描述进行数字实验的两个主要策略所涉及的权衡:自己动手或与强大的伙伴合作。最后,我将总结一些关于如何利用数字实验的真正力量(第4.6.1节)的设计建议,并描述该权力带来的一些责任(见第4.6.2节)。