4.5.4与强大的合作伙伴

Partnering模式可以降低成本,扩大规模,但它可以改变各种参与者,治疗方法与结果,您可以使用。

自己做的另一种方法是与强大的组织合作,如公司,政府或非政府组织。与合作伙伴合作的好处是,它们可以让您运行您自己无法完成的实验。例如,我将在下面告诉你的一项实验涉及6100万参与者 - 没有个别研究人员可以达到这样的规模。在合作增加你可以做的事情的同时,它也会限制你。例如,大多数公司不允许您进行可能损害其业务或声誉的实验。与合作伙伴合作也意味着,在发布时,您可能会面临“重新构建”结果的压力,而某些合作伙伴甚至可能会试图阻止您的工作发布,如果它们看起来很糟糕。最后,合作还需要与开发和维护这些合作相关的成本。

为使这些伙伴关系取得成功而必须解决的核心挑战是找到一种平衡双方利益的方法,而考虑这种平衡的有用方法是巴斯德象限 (Stokes 1997) 。许多研究人员认为,如果他们正在研究一些可能对合作伙伴感兴趣的实际问题,那么他们就无法做真正的科学研究。这种心态将使创建成功的合作关系变得非常困难,而且恰好也是完全错误的。生物学家Louis Pasteur的开创性研究巧妙地说明了这种思维方式的问题。在开展将甜菜汁转化为酒精的商业发酵项目时,巴斯德发现了一类新的微生物,最终导致了疾病的细菌理论。这一发现解决了一个非常实际的问题 - 它有助于改善发酵过程 - 并且它带来了重大的科学进步。因此,不要将实际应用的研究视为与真正的科学研究相冲突,而是将这些视为两个独立的维度。研究可以通过使用(或不使用)来激发,研究可以寻求基本的理解(或不是)。至关重要的是,像巴斯德这样的研究可以通过使用和寻求基本理解来激励(图4.17)。对巴斯德象限研究的研究本质上推进了两个目标 - 是研究人员和合作伙伴之间合作的理想选择。鉴于这种背景,我将描述两个合作伙伴关系的实验研究:一个与公司合作,另一个与非政府组织合作。

图4.17:巴斯德象限(Stokes 1997)。不是将研究视为基础研究或应用研究,而是将其视为使用(或不使用)和寻求基本理解(或不支持)的动机。巴斯德将甜菜汁转化为酒精,导致疾病的细菌理论,其研究的一个例子就是使用动机和寻求基本理解。这种工作最适合与强大的伙伴关系。以使用为动机但不寻求基本理解的工作的例子来自托马斯·爱迪生,以及那些不是出于使用而是寻求理解的工作的例子来自尼尔斯·玻尔。有关此框架和每个案例的更全面讨论,请参阅Stokes(1997)。改编自Stokes(1997),图3.5。

图4.17:巴斯德象限(Stokes 1997) 。不要将研究视为“基本”或“应用”,而是将其视为使用(或不使用)和寻求基本理解(或不是)的动机。巴斯德将甜菜汁转化为酒精,导致疾病的细菌理论,其研究的一个例子就是使用动机和寻求基本理解。这种工作最适合与强大的伙伴关系。以使用为动机但不寻求基本理解的工作的例子来自托马斯·爱迪生,以及那些不是出于使用而是寻求理解的工作的例子来自尼尔斯·玻尔。有关此框架和每个案例的更全面讨论,请参阅Stokes (1997) 。改编自Stokes (1997) ,图3.5。

大公司,尤其是科技公司,已经开发出了非常复杂的基础设施来运行复杂的实验。在科技行业,这些实验通常被称为A / B测试,因为它们比较了两种处理的有效性:A和B.这类实验经常用于提高广告的点击率,但同样的实验基础设施也可以用于促进科学理解的研究。一个例子说明了这种研究的潜力,是由Facebook和加州大学圣地亚哥分校的研究人员合作进行的一项研究,研究不同信息对选民投票率的影响(Bond et al. 2012)

2010年11月2日 - 美国国会选举日 - 所有在美国生活,年满18周岁的Facebook用户共同参与了一项关于投票的实验。在访问Facebook时,用户被随机分配到三个组中的一个,这组确定了哪些横幅(如果有的话)被放置在他们的新闻Feed的顶部(图4.18):

  • 对照组
  • 关于使用可点击的“我投票”按钮和计数器进行投票的信息性消息(信息)
  • 关于投票的信息性消息,点击“我投票”按钮和计数器以及已经点击“我投票”(信息+社交)的朋友的姓名和图片

Bond及其同事研究了两个主要结果:报告投票行为和实际投票行为。首先,他们发现Info + Social组中的人比信息组中的人点击“I Voted”(约20%对18%)的可能性高出两个百分点。此外,在研究人员将他们的数据与大约600万人的公开投票记录合并后,他们发现Info + Social组的人实际投票的可能性比对照组和信息组中的人高0.39个百分点。投票的可能性与对照组的投票率相同(图4.18)。

图4.18:Facebook上的投票实验结果(Bond et al.2012)。信息组的参与者投票率与对照组的投票率相同,但Info + Social组的投票率略高。条形表示估计的95%置信区间。图表中的结果是与投票记录匹配的大约600万参与者。改编自Bond等人。 (2012年),图1。

图4.18:Facebook上的投票实验结果(Bond et al. 2012) 。信息组的参与者投票率与对照组的投票率相同,但Info + Social组的投票率略高。条形表示估计的95%置信区间。图表中的结果是与投票记录匹配的大约600万参与者。改编自Bond et al. (2012) ,图1。

该实验的结果表明,一些在线获得投票的消息比其他消息更有效,研究人员对有效性的估计可能取决于结果是报告投票还是实际投票。遗憾的是,这个实验没有提供关于社会信息的机制的任何线索 - 一些研究人员称之为“面子堆” - 增加了投票。可能是社交信息增加了某人注意到横幅的可能性,或者增加了注意到横幅实际投票的人或两者的概率。因此,该实验提供了其他研究人员可能探索的有趣发现(参见,例如, Bakshy, Eckles, et al. (2012) )。

除了推进研究人员的目标之外,该实验还推进了合作伙伴组织(Facebook)的目标。如果您将所研究的行为从投票变为购买肥皂,那么您可以看到该研究具有与测量在线广告效果的实验完全相同的结构(参见例如RA Lewis and Rao (2015) )。这些广告效果研究经常衡量在线广告的影响 - Bond et al. (2012)的治疗方法Bond et al. (2012)基本上是投票离线行为的广告。因此,这项研究可以提升Facebook研究在线广告效果的能力,并可以帮助Facebook让潜在广告商相信Facebook广告可以有效改变行为。

尽管研究人员和合作伙伴的利益在本研究中基本一致,但他们也处于紧张状态。特别是,三个群体 - 参与者,信息和信息+社交 - 的参与者分配极度不平衡:98%的样本被分配到Info + Social。这种不平衡的分配在统计上是低效的,并且为研究人员提供更好的分配将使每组中有三分之一的参与者。但不平衡的分配是因为Facebook希望每个人都接受信息+社交待遇。幸运的是,研究人员说服他们阻止1%的相关治疗,1%的参与者为对照组。没有对照组,基本上不可能测量信息+社会治疗的效果,因为它本来是一个“扰动和观察”实验而不是随机对照实验。此示例为与合作伙伴合作提供了宝贵的实践经验:有时您通过说服某人提供治疗来创建实验,有时您通过说服某人不提供治疗(即创建对照组)来创建实验。

伙伴关系并不总是需要科技公司和数百万参与者的A / B测试。例如,Alexander Coppock,Andrew Guess和John Ternovski (2016)与环境非政府组织 - 保护选民联盟 - 合作,开展实验,测试促进社会动员的不同策略。研究人员使用该非政府组织的Twitter帐户发送公共推文和私人直接消息,试图填补不同类型的身份。然后,他们测量了哪些信息对鼓励人们签署请愿书和转发有关请愿书的信息最为有效。

表4.3:涉及研究人员和组织之间伙伴关系的实验示例
话题 参考
Facebook新闻Feed对信息共享的影响 Bakshy, Rosenn, et al. (2012)
部分匿名对网络约会网站行为的影响 Bapna et al. (2016)
家庭能源报告对用电量的影响 Allcott (2011) ; Allcott and Rogers (2014) ; Allcott (2015) ; Costa and Kahn (2013) ; Ayres, Raseman, and Shih (2013)
应用程序设计对病毒传播的影响 Aral and Walker (2011)
扩散机制对扩散的影响 SJ Taylor, Bakshy, and Aral (2013)
社交信息在广告中的作用 Bakshy, Eckles, et al. (2012)
目录频率对目录和在线销售对不同类型客户的影响 Simester et al. (2009)
流行度信息对潜在工作申请的影响 Gee (2015)
初始评级对受欢迎程度的影响 Muchnik, Aral, and Taylor (2013)
信息内容对政治动员的影响 Coppock, Guess, and Ternovski (2016)

总的来说,与强大的合作伙伴关系使您能够以难以做到的规模运营,表4.3提供了研究人员和组织之间合作伙伴关系的其他示例。合作可能比构建自己的实验容易得多。但这些优点都有缺点:合作伙伴关系可以限制您可以学习的参与者,治疗和结果的类型。此外,这些伙伴关系可能导致道德挑战。发现合作机会的最佳方式是注意到在做有趣科学时可以解决的真正问题。如果你不习惯这种看待世界的方式,很难发现巴斯德象限中的问题,但是,通过练习,你会开始越来越多地注意到它们。