4.5.1既存の環境を使用する

あなたは、多くの場合、任意のコーディングまたは提携することなく、既存の環境内部での実験を実行することができます。

論理的には、デジタル実験を行う最も簡単な方法は、既存の環境の上に実験を重ねることです。このような実験は合理的に大規模に実行することができ、企業とのパートナーシップや広範なソフトウェア開発を必要としません。

たとえば、Jennifer DoleacとLuke Stein (2013)は、人種差別を測定する実験を実行するために、Craigslistと同様のオンライン市場を利用しました。彼らは何千ものiPodを宣伝し、売り手の特性を体系的に変えることによって、競争が経済的な取引に及ぼす影響を研究することができました。さらに、彼らは、実験の規模を用いて、効果がより大きかった時（治療効果の異質性）を推定し、その効果が起こる理由についてのいくつかの考えを提供した（メカニズム）。

DoleacとSteinのiPod広告は、3つの主な次元に沿って変化しました。最初に、研究者は売り手の特性を変えました。これはiPod（白、黒、入れ墨のある白）を持って撮影された手で通知されました（図4.13）。第二に、彼らは尋ねる価格[$ 90、$ 110、$ 130]を変えました。第3に、広告テキストの質を変えました（高品質で低品質（例：cApitalizationエラーとSpelinエラー））。したがって、著者は、町（例えば、インディアナ州ココモ、ネブラスカ州ノースプラット）から300以上の地方市場に展開された3 \(\times\) 3 \(\times\)都市（例えば、ニューヨークとロサンゼルス）。

図4.13： Doleac and Stein (2013)実験で使用された手。 iPodは、さまざまな特性を持つ売り手によって販売され、オンライン市場での差別を測定しました。 Doleac and Stein (2013)許可を得て再現されましたDoleac and Stein (2013)図1）。

すべての条件にわたって平均した結果、黒の売り手よりも白い売り手のほうが良い結果を得ており、入れ墨された売り手は中間結果を得ていました。例えば、白い売り手はより多くのオファーを受け取り、最終販売価格を上回った。これらの平均的な効果以外にも、DoleacとSteinは影響の異質性を推定しました。例えば、以前の理論からの1つの予測は、購入者間の競争がさらに増えている市場で差別が少なくなるということです。その市場におけるオファー数をバイヤー競争の尺度としてみると、黒い売り手は競争の激しい市場で実際に悪いオファーを受けていた。さらに、広告の成果を高品質で低品質のテキストと比較することで、DoleacとSteinは、広告品質が黒と刺青の売り手が直面する不利な点に影響しないことを発見しました。最後に、300以上の市場に広告が掲載されているという事実を利用して、犯罪率が高く、住居分離が高い都市では、黒人売り手がより不利な立場にあることがわかりました。これらの結果は、黒人の売り手が悪い結果をもたらした理由を正確に理解することはできませんが、他の調査の結果と組み合わせると、様々な種類の経済取引における人種差別の原因について理論に取り掛かることができます。

既存のシステムでデジタルフィールド実験を行う研究者の能力を示すもう1つの例は、Arnout van de Rijtとその同僚(2014)成功の鍵となる研究です。人生の多くの側面において、一見類似した人々は非常に異なる結果に終わる。このパターンの1つの可能な説明は、時間の経過とともに小さくて本質的にランダムな利点がロックインして成長するということです。これは研究者が累積的な利点と呼ぶプロセスです。小規模の初期成功が停滞するかどうかを判断するために、van de Rijtとその同僚(2014) 、無作為に選ばれた参加者に成功をもたらす4つの異なるシステムに介入し、その後この任意の成功の影響を測定した。

具体的には、van de Rijtら（1）は、群集財団のウェブサイトであるKickstarterで無作為に選ばれたプロジェクトに資金を提供すると約束した。 （2）生産レビューウェブサイトであるEpinionsで無作為に選択されたレビューを積極的に評価した。 （3）ウィキペディアに無作為に選ばれた寄稿者に賞を与えた。 （4）change.orgで無作為に選ばれた申請書に署名した。彼らは、4つのシステムすべてで非常に似通った結果を得ました。いずれの場合も、初期の成功を無作為に与えられた参加者は、それ以外の点では完全に区別できない同輩よりも成功を収めました（図4.14）。多くのシステムで同じパターンが出現したという事実は、このパターンが特定のシステムのアーチファクトである可能性を減らすため、これらの結果の外部妥当性を高める。

図4.14：4つの異なる社会システムにおける無作為に与えられた成功の長期的影響。 Arnout van de Rijtら(2014) （1）は、群集財団のウェブサイトであるKickstarterで無作為に選ばれたプロジェクトに資金を提供した。 （2）生産レビューウェブサイトであるEpinionsで無作為に選択されたレビューを積極的に評価した。 （3）ウィキペディアに無作為に選ばれた寄稿者に賞を与えた。 （4）change.orgで無作為に選ばれた申請書に署名した。 Rijt et al. (2014) 、図2を参照のこと。

これらの2つの例は、研究者が企業とのパートナーシップや複雑なデジタルシステムの構築を必要とせずにデジタルフィールド実験を行うことができることを示しています。さらに、表4.2では、既存のシステムのインフラストラクチャを使用して治療やアウトカムを測定する際に可能な範囲を示すさらに多くの例が提供されています。これらの実験は研究者にとって比較的安価であり、高いレベルのリアリスティックを提供します。しかし、研究者は、参加者、治療、および測定される成果について、研究者に制限された制御を提供します。さらに、1つのシステムでのみ行われる実験では、システム固有のダイナミクス（例えば、Kickstarterがプロジェクトをランク付けする方法、change.orgが請願を行う方法など）によってその影響が引き起こされる可能性があることを懸念する必要があります。第2章のアルゴリズムの交絡についての議論を参照）。最後に、研究者が作業システムに介入するとき、参加者、非参加者、およびシステムに及ぼす可能性のある害について、厄介な倫理的な疑問が浮上する。これらの倫理的問題を第6章でより詳細に考察し、van de Rijt et al。の付録にそれらの優れた議論があります。 (2014) 。既存のシステムで作業する際のトレードオフはすべてのプロジェクトにとって理想的ではないため、次のように一部の研究者が独自の実験システムを構築します。