4.4簡単な実験を超えて移動します
簡単な実験を超えて動いてみましょう。豊富な実験には、妥当性、治療効果の異質性、メカニズムの3つの概念が有用である。
実験を初めて経験した研究者は、しばしば非常に具体的で狭い質問に焦点を当てています。この治療法は効果がありますか？たとえば、ボランティアからの電話が誰かに投票を促すのですか？ウェブサイトのボタンを青色から緑色に変更すると、クリックスルー率が向上しますか？残念なことに、狭義に焦点を当てた実験では、治療法が一般的な意味で機能するかどうかは実際には分かりません。むしろ、狭義に焦点を絞った実験は、はるかに具体的な質問に答えています。この特定の治療法がこの時点でこの参加者集団のためのこの特定の実施に及ぼす平均効果は何ですか？私はこの狭い問題の簡単な実験に焦点を当てた実験を呼びます。
シンプルな実験は貴重な情報を提供することができますが、治療の効果がより大きかったり小さかったりする人がいるかどうかなど、重要で興味深い多くの質問に答えることはできません。より効果的な別の治療法があるかどうか。この実験がより広範な社会理論に関係しているかどうか。
シンプルな実験を超えて動く価値を示すために、P. Wesley Schultzらの社会規範とエネルギー消費の関係に関するアナログ・フィールド実験を考えてみよう(Schultz et al. 2007) 。 Schultzらはカリフォルニア州サンマルコスの300世帯のドアハンガーを吊り下げていたが、これらのドアハンガーは省エネルギーを促進するように異なるメッセージを発信した。次にSchultzらは、これらのメッセージが1週間後と3週間後の両方で電力消費に及ぼす影響を測定しました。実験設計のより詳細な説明については、図4.3を参照のこと。
図4.3： Schultz et al. (2007)実験デザインの概略図Schultz et al. (2007) 。現場実験では、カリフォルニア州サンマルコスの約300世帯を8週間にわたって5回訪問した。訪問のたびに、研究者は手動で家のパワーメータから読書を取った。訪問のうちの2回で、彼らは各家に家庭のエネルギー使用量に関する情報を提供するドアハンガーを配置した。調査の質問は、これらのメッセージの内容がエネルギー使用にどのように影響するかということでした。
実験には2つの条件がありました。第1に、世帯は一般的な省エネのヒント（エアコンの代わりにファンを使用するなど）と、その地域の平均エネルギー使用量と比較したエネルギー使用量に関する情報を受け取りました。 Schultzらは、近所のエネルギー利用に関する情報が典型的な行動（すなわち、記述的な基準）に関する情報を提供したため、これを記述的な規範的条件と呼んだ。 Schultzらは、このグループのエネルギー使用量を調べると、短期または長期のいずれにおいても効果がないと思われた。言い換えれば、治療は「機能する」ようではなかった（図4.4）。
幸運なことに、Schultzらはこの単純な分析を解決しませんでした。実験が始まる前に、重い電気ユーザー（平均以上の人）が消費を減らす可能性があり、電気の軽いユーザー（平均以下の人）が実際に消費を増やす可能性があると推論しました。彼らがデータを見ると、それはまさに彼らが見つけたものです（図4.4）。したがって、効果のない治療法のように見えるものは、実際には2つの相殺効果を持つ治療法でした。軽いユーザーの間でのこの逆効果的な増加は、 ブーメラン効果の例であり、治療が意図されたものとは反対の効果を有することがある。
図4.4： Schultz et al. (2007)結果Schultz et al. (2007) 。パネル（a）は、記述的ノルム治療が推定平均ゼロ治療効果を有することを示す。しかし、パネル（b）は、この平均治療効果が実際には2つの相殺効果で構成されていることを示している。ヘビーユーザーの場合、治療の使用は減少しましたが、軽いユーザーの場合、治療の使用が増加しました。最後に、パネル（c）は、記述的かつ差止的な規範を用いた第2の治療は、重い利用者に対してほぼ同じ効果を示したが、軽い利用者に対するブーメラン効果を緩和したことを示している。 Schultz et al. (2007) 。
最初の状態と同時に、Schultzらも第2条件を実行した。 2番目の条件の世帯は、まったく同じ治療 - 一般的な省エネルギーのヒントと、近隣の平均と比較した家計のエネルギー使用量に関する情報を1つの小さな追加で受け取りました。平均以下の消費者の場合、平均的な消費を上回る人々のために、これらの顔文字は、研究者が差し止め規範と呼ぶものを引き起こすように設計されている 。一般的に行われていること(Reno, Cialdini, and Kallgren 1993) 。
この1つの小さな絵文字を追加することで、研究者はブーメラン効果を劇的に減少させました（図4.4）。したがって、抽象的な社会心理学の理論(Cialdini, Kallgren, and Reno 1991)によって動機づけられたこの1つの単純な変更を行うことで(Cialdini, Kallgren, and Reno 1991)研究者は働いていないように思われるプログラムを働かせることができました。それと同時に、社会規範が人間の行動にどのように影響するかについての一般的な理解に貢献することができました。
しかし、この時点では、この実験について何か違うことに気付くかもしれません。特に、Schultzらの実験では、無作為化された制御実験と同じように対照群が実際には存在しません。このデザインとRestivoとvan de Rijtのデザインを比較すると、2つの主要な実験デザインの違いがわかります。 Restivoとvan de Rijtのような被験者間のデザインでは、治療群と対照群がある。一方、 被験者内のデザインでは、参加者の行動を治療の前後で比較する(Greenwald 1976; Charness, Gneezy, and Kuhn 2012) 。被験者内実験では、各参加者が自分のコントロールグループとして行動するかのようになります。被験者間の設計の強さは、被験者内実験の強さが見積もりの精度が高まる一方、（前述のように）交信者に対する保護を提供することである。最後に、デジタル実験の設計に関する助言を提供するときに後に来るアイデアを説明するために、混合されたデザイン_は、被験者内デザインの改善された精度と、被験者間のデザインの混乱に対する保護を兼ね備えています（図4.5）。
図4.5：3つの実験デザイン。標準的なランダム化された制御実験は被験者間の設計を使用する。被験者間のデザインの一例は、Restivoとvan de Rijt (2012)バーンスタスターとWikipediaへの貢献に関する実験である。研究者はランダムに参加者を治療群と対照群に分け、治療群の参加者にバン・スターを与え、 2つのグループ。第2のタイプのデザインは、 被験者内のデザインである。 Schultzら(2007)社会規範とエネルギー使用に関する2つの実験では、被験者内の設計が示されている。研究者は、治療を受ける前と後に参加者の電力使用を比較した。被験者内のデザインは改善された統計的精度を提供するが、可能性のある混乱（例えば、治療前と治療期間の間の天候の変化）に開放されている(Greenwald 1976; Charness, Gneezy, and Kuhn 2012) 。被験者内のデザインは、繰り返し測定デザインと呼ばれることもあります。最後に、 混合されたデザインは、被験者内デザインの改善された精度と、被験者間のデザインの混乱に対する保護とを組み合わせる。混合デザインでは、研究者は治療群と対照群の人々の転帰の変化を比較する。多くのデジタル実験のように、研究者が治療前の情報をすでに持っている場合、推定の正確さが向上するため、一般的に、被験者間のデザインよりも混合デザインが好ましいです。
全体として、シュルツ(2007) Schultz (2007)ら(2007)の研究の設計と結果は、単純な実験を超えた価値を示しています。幸運にも、このような実験をデザインするには、創造的な天才である必要はありません。社会科学者は、（1）妥当性、（2）治療効果の異質性、（3）メカニズムの3つのコンセプトを開発しました。つまり、実験を設計しているときにこれら3つのアイデアを念頭に置くと、より面白くて便利な実験が自然に作成されます。これらの3つの概念を実際に説明するために、Schultzとその同僚の優雅なデザインとエキサイティングな結果(2007)を基にした一連の部分的なデジタルフィールド実験のフォローアップについて説明します。より慎重に設計、実装、分析、解釈することで、簡単な実験を超えることができます。
