4.5.1.1使用现有环境

您可以利用现有的环境中运行实验,往往没有任何编码或伙伴关系。

后勤,做数字实验最简单的方法是叠加在现有环境之上实验,使您能够运行一个数码领域的实验。这些实验可以在一个相当大的规模下运行,并且不需要与一个公司或广泛的软件开发的伙伴关系。

例如,珍妮弗·多利亚克和卢克·斯坦(2013)采取了一个在线市场的优势(如Craigslist网站)来运行测量种族歧视的实验。多利亚克和Stein标榜成千上万的iPod,并通过系统地改变卖方的特点,他们能够来研究经济交易比赛的效果。此外,多利亚克和Stein使用他们的实验规模时效果更大(的治疗效果异质性)来估算,并提供有关为何效果可能发生(机制)的一些想法。

此前多利亚克和斯坦因的研究中,曾出现过两种主要的方法来测量实验歧视。在函授学习研究人员创造出不同种族的人们虚构简历,并使用这些简历,例如,申请不同的工作。伯特兰和Mullainathan的(2004)与令人难忘的标题“是艾米莉和格雷格更多就业比Lakisha和贾马尔纸吗?对劳动力市场歧视“现场试验是函授学习的精彩例证。函授学习有每观察成本相对较低,这使得一个研究者收集数以千计的意见在一个典型的研究。但是,种族歧视的对应研究已经受到质疑,因为名称可能除了申请人的种族信号很多东西。也就是说,名称,如格雷格,刘慧卿,Lakisha和贾马尔可能除了种族信号的社会阶层。因此,对于格雷格和贾马尔的简历存在任何区别对待可能比申请的推定种族差异更是因为, 审计研究 ,在另一方面,涉及雇用不同种族的演员亲自申请工作。即使审计研究提供申请人种族的一个明确的信号,它们是每观测非常昂贵的,这意味着它们通常只有数百个观测。

在他们的数字田间试验,多利亚克和Stein能够创造一个有吸引力的混合体。他们能够以每相对较低的成本收集数据的观察,导致数以千计的意见(如在函授学习) - 以及他们能够使用的照片,导致比赛的一个明确信号uncounfounded信号种族(如审计研究)。因此,网络环境有时使研究人员能够创建具有难以否则构造特性的新的治疗方法。

多利亚克和Stein的iPod的广告一起三个主要方面变化。首先,它们改变卖方,其通过拍摄保持在iPod [白,黑,白纹身](图4.12)的手用信号的特性。其次,他们改变了要价[$ 90 $ 110 $ 130]。第三,他们改变广告文字[高质量和低质量(如大小写错误和spelin错误)的质量。因此,作者就有一个横跨300多个本地市场范围从城镇(如,科科莫,IN和北普拉特,NE),以特大城市(如纽约和洛杉矶)部署了一个3×3×2的设计。

图4.12:在多利亚克和Stein(2013)的实验中所用手中。 iPod播放器是由卖家销售的具有不同特性来衡量一个在线市场的歧视。

图4.12:在实验中所用双手Doleac and Stein (2013) 。 iPod播放器是由卖家销售的具有不同特性来衡量一个在线市场的歧视。

在所有条件下平均的结果是为白卖家比黑卖家更好,具有中间结果的纹身卖家。例如,白色的卖家获得了更多的优惠和有较高的最终销售价格。除了这些平均影响,多利亚克和Stein估计效果的异质性。例如,从早期的理论一个预测是,歧视会在更具竞争力的市场少。利用收到的市场竞争代理报价的数量,作者发现,黑色的卖家确实收到市场的恶化提供了低程度的竞争。此外,通过对高品质,低品质的文本广告进行比较的结果,多利亚克和Stein发现,广告的质量不影响所面临的黑色和纹身卖家的缺点。最后,以一个事实,即广告被放置在300多个市场的优势,笔者发现,黑卖家与高犯罪率和高居住隔离的城市更加不利的地位。这些结果都没有给我们的正是为什么黑人卖家有更糟糕的结果准确理解,但是,当与其他研究的结果相结合,就可以开始通知有关理论,在不同类型的经济交易的种族歧视的原因。

显示的研究人员对现有的系统进行数字化现场试验的能力,另一个例子是Arnout范·德Rijt研究和他的同事(2014)上成功的关键。在生活的许多方面,看似相似的人最终有非常不同的结果。这种模式的一个可能的解释是,小,基本上随机优点,可锁定和增长随着时间的推移,这个过程研究人员称之为累积优势 。为了确定小最初的成功是否锁定或消逝,范·德·Rijt和他的同事(2014)干预分为四个不同的系统赐予随机选择的参与者成功,然后这个测量任意成功的长期影响。

更具体地讲,范·德·Rijt和他的同事1)承诺的钱随机选择的项目kickstarter.com ,众筹网站; 2)积极评价在网站上随机抽取的评论epinions ; 3)给了随机选择的贡献者颁奖维基百科 ; 4)签订随机选择的请愿change.org 。研究人员发现非常相似的结果在所有四个系统:在每个情况下,随机给一些早期的成功人士继续有比他们否则完全没有区别的同行(图4.13),其后更成功。该相同的图案出现在许多系统中,这一事实增加了这些结果的外部有效性,因为它减少了这种模式是任何特定系统的人工制品的机会。

图4.13:四种不同的社会制度赋予随机成功的长期影响。 Arnout范·德·Rijt和他的同事(2014年)1)承诺的钱上随机挑选kickstarter.com,众筹网站的项目; 2)积极评价网站上的epinions随机选择审查; 3)给了随机选择的贡献者维基百科奖; 4)签订随机选择上change.org申请。

图4.13:四种不同的社会制度赋予随机成功的长期影响。 Arnout范·德·Rijt和他的同事(2014) 1)承诺的钱随机选择的项目kickstarter.com ,众筹网站; 2)积极评价在网站上随机抽取的评论epinions ; 3)给了随机选择的贡献者颁奖维基百科 ; 4)签订随机选择的请愿change.org

总之,这两个例子表明,研究人员可以进行数字现场实验,而不需要与公司或构建复杂的数字系统的需求的合作伙伴。另外,表4.2提供了甚至更多的例子,显示的什么是可能的,当研究人员使用现有的系统的基础设施,以提供治疗和/或测量结果的范围。这些实验是研究人员相对便宜,他们提供了一个高度现实主义。但是,这些实验提供研究者在参与者,治疗和预后待测量有限的控制。此外,实验发生在只有一个系统,研究人员需要关注,其影响可以通过特定系统的动态驱动(如该Kickstarter的行列项目或change.org居请愿的方式方法;有关详细信息,看到算法混杂在第2章的讨论)。最后,当研​​究人员在工作系统介入,棘手的伦理问题出现关于可能危害参与者,非参与者和系统。我们将详细在第6章考虑这些伦理问题,并且有他们的面包车去Rijt的附录中的精彩讨论(2014)来与在现有系统工作的权衡是不理想的每一个项目,因为这个原因,一些研究人员建立自己的实验系统,下一节的话题。

表4.2:在现有系统实验的例子。这些实验似乎分为三大类,而这种分类可以帮助你发现你自己的研究更多的机会。首先,有实验证明,涉及出售或购买的东西(例如, Doleac and Stein (2013)第二,有涉及递送治疗特定的参与者(例如,实验Restivo and Rijt (2012)最后,还有一些涉及递送治疗,以特定对象,如申请实验(例如, Vaillant et al. (2015)
话题 引文
barnstars对维基百科的贡献作用 Restivo and Rijt (2012) ; Restivo and Rijt (2014) ; Rijt et al. (2014)
种族主义鸣叫防骚扰消息的影响。 Munger (2016)
拍卖方式对销售价格的影响 Lucking-Reiley (1999)
信誉的价格在网上拍卖的影响 Resnick et al. (2006)
卖家的种族对在eBay上出售棒球卡的影响 Ayres, Banaji, and Jolls (2015)
卖家的种族对销售的iPod的影响 Doleac and Stein (2013)
Airbnb住宿租金客人的种族影响 Edelman, Luca, and Svirsky (2016)
捐款对项目Kickstarter上的成功效应 Rijt et al. (2014)
比赛的影响和种族上的房屋租金 Hogan and Berry (2011)
正面的评级在今后epinions评级影响 Rijt et al. (2014)
签名的请愿书上的成功影响 Vaillant et al. (2015) ; Rijt et al. (2014)