4.6忠告

无论您是自己做事还是与合作伙伴合作,我都想提供四条建议,我发现这些建议对我自己的工作特别有帮助。前两条建议适用于任何实验,而后两条则更适用于数字时代实验。

在您进行实验时,我的第一条建议是,您应该在收集任何数据之前尽可能多地考虑。对于习惯于运行实验的研究人员来说,这似乎是显而易见的,但对于那些习惯于使用大数据源的人来说这非常重要(见第2章)。有了这样的资源,大部分工作都是你获得数据之后完成的,但实验恰恰相反:大部分工作都应该你收集数据之前完成。在收集数据之前强迫自己仔细思考的最佳方法之一是为您的实验创建并注册预分析计划,其中您基本上描述了您将要进行的分析(Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011; Lin and Green 2016)

我的第二条一般建议是,没有一个实验是完美的,因此,你应该考虑设计一系列相互加强的实验。我听说这被描述为无敌战略 ;你应该建造许多具有互补优势的小型船只,而不是试图建造一艘庞大的战舰。这些多实验研究在心理学中是常规的,但在其他地方很少见。幸运的是,一些数字实验的低成本使得多实验研究更容易。

鉴于一般背景,我现在想提供两个更具体的设计数字时代实验的建议:创建零可变成本数据(第4.6.1节)并在您的设计中建立道德(第4.6.2节)。