4.4超越簡單的實驗

讓我們超越簡單的實驗。三個概念對於豐富的實驗是有用的：有效性，治療效果的異質性和機制。

不熟悉實驗的研究人員往往關註一個非常具體，狹隘的問題：這種治療方法“有效”嗎？例如，志願者的電話是否鼓勵某人投票？將網站按鈕從藍色更改為綠色會增加點擊率嗎？不幸的是，關於什麼“有效”的鬆散措辭掩蓋了這樣一個事實，即狹隘的實驗並沒有真正告訴你治療是否在一般意義上“起作用”。相反，狹隘的實驗回答了一個更具體的問題：此特定治療對這一特定實施的平均影響是什麼？我將實驗專注於這個狹隘的問題簡單的實驗 。

簡單的實驗可以提供有價值的信息，但是它們無法回答許多重要且有趣的問題，例如是否有一些人的治療效果更大或更小;是否有其他治療方法會更有效;以及這個實驗是否涉及更廣泛的社會理論。

為了展示超越簡單實驗的價值，讓我們考慮一下P. Wesley Schultz及其同事關於社會規範與能源消耗之間關係的模擬現場實驗(Schultz et al. 2007) 。 Schultz及其同事在加利福尼亞州聖馬科斯的300戶家庭中掛了門，而這些門廳提供了不同的信息，旨在鼓勵節約能源。然後，Schultz及其同事在一周後和三週後測量了這些信息對電力消耗的影響;有關實驗設計的更詳細說明，請參見圖4.3。

圖4.3： Schultz et al. (2007)的實驗設計示意圖Schultz et al. (2007) 。田間實驗涉及在八週內對加利福尼亞州聖馬科斯的約300戶家庭進行五次訪問。在每次訪問時，研究人員手動從房子的功率計讀取數據。在其中兩次訪問中，他們在每個房屋上放置了門鈴，提供了有關家庭能源使用情況的一些信息。研究問題是這些信息的內容將如何影響能源使用。

該實驗有兩個條件。首先，家庭獲得了一般的節能技巧（例如，使用風扇而不是空調）以及與其鄰近地區的平均能源使用量相比的能源使用情況。 Schultz及其同事將此稱為描述性規範條件，因為有關鄰域能源使用的信息提供了有關典型行為的信息（即描述性規範）。當Schultz及其同事研究了這一組中產生的能量使用情況時，無論是短期還是長期，治療似乎都沒有效果;換句話說，治療似乎沒有“奏效”（圖4.4）。

幸運的是，Schultz及其同事並不滿足於這種簡單的分析。在實驗開始之前，他們認為電力的大量用戶 - 高於平均水平的人 - 可能會減少他們的消費，而電力用戶 - 低於平均水平的用戶 - 實際上可能會增加他們的消費。當他們查看數據時，這正是他們發現的（圖4.4）。因此，看起來像沒有效果的治療實際上是一種具有兩種抵消效果的治療方法。輕度使用者中的這種適得其反的增加是回飛鏢效應的一個例子，其中治療可以產生與預期相反的效果。

圖4.4： Schultz et al. (2007)結果Schultz et al. (2007) 。圖（a）顯示描述性標準治療具有估計的零平均治療效果。然而，圖（b）顯示該平均治療效果實際上由兩種抵消效應組成。對於重度使用者，治療減少了使用，但對於輕度使用者，治療增加了使用。最後，小組（c）顯示，使用描述性和禁令性規範的第二種治療對重度使用者俱有大致相同的效果，但減輕了對輕度使用者的迴旋鏢效應。改編自Schultz et al. (2007) 。

在第一個條件的同時，Schultz及其同事也遇到了第二個條件。處於第二種情況的家庭獲得了完全相同的治療 - 一般節能技巧和有關其家庭能源使用情況的信息與其社區的平均值相比 - 只有一小部分：對於消費水平低於平均水平的人，研究人員補充說：並且對於消費高於平均水平的人，他們增加了:(。這些表情符號旨在觸發研究人員稱之為禁令規範 。禁令規範指的是對通常被批准（和不被批准）的看法，而描述性規範指的是對常見的事情(Reno, Cialdini, and Kallgren 1993) 。

通過添加這一個微小的表情符號，研究人員大大減少了飛旋鏢效應（圖4.4）。因此，通過使這一個簡單的改變 - 由抽象的社會心理學理論(Cialdini, Kallgren, and Reno 1991)推動的變化 - 研究人員能夠將一個似乎沒有工作的程序變成一個有效的程序，同時，他們能夠促進對社會規範如何影響人類行為的一般理解。

但是，在這一點上，你可能會注意到這個實驗有些不同。特別是，Schultz及其同事的實驗並沒有像隨機對照實驗那樣擁有對照組。這種設計與Restivo和van de Rijt的設計之間的比較說明了兩種主要實驗設計之間的差異。在諸如Restivo和van de Rijt 之間的受試者之間的設計中 ，有一個治療組和一個對照組。另一方面，在受試者內部設計中 ，在治療之前和之後比較參與者的行為(Greenwald 1976; Charness, Gneezy, and Kuhn 2012) 。在受試者內部實驗中，就好像每個參與者都充當自己的對照組。受試者之間設計的優勢在於它們提供了對混雜因素的保護（如前所述），而受試者內部實驗的強度則提高了估計的精確度。最後，為了預示將在我提供有關設計數字實驗的建議後出現的想法，一個混合設計 - 結合了主體內設計的改進精度和防止主體間設計的混淆（圖4.5）。

圖4.5：三個實驗設計。標準隨機對照實驗使用受試者之間的設計。一個主體間設計的一個例子是Restivo和van de Rijt (2012)關於巴恩斯坦的實驗和對維基百科的貢獻：研究人員將參與者隨機分為治療組和對照組，給治療組的參與者提供了一個barnstar，並比較了結果。兩組。第二種設計是主體內設計。 Schultz及其同事(2007)關於社會規範和能量使用的研究中的兩個實驗說明了一個受試者內部的設計：研究人員比較了接受治療前後參與者的用電情況。受試者內部設計提供了改進的統計精確度，但它們對可能的混雜因素（例如，治療前和治療期間的天氣變化） (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) 。受試者內部的設計有時也被稱為重複測量設計。最後， 混合設計結合了主體內設計的改進精度和防止主體間設計的混淆。在混合設計中，研究人員比較治療組和對照組患者的結果變化。當研究人員已經擁有預處理信息時，就像許多數字實驗中的情況一樣，混合設計通常優於受試者之間的設計，因為它們可以提高估計的精確度。

總體而言，Schultz及其同事(2007)的研究設計和結果顯示了超越簡單實驗的價值。幸運的是，你不需要成為一個創造性的天才來設計這樣的實驗。社會科學家已經開發出三個概念，指導您進行更豐富的實驗：（1）有效性，（2）治療效果的異質性，以及（3）機制。也就是說，如果您在設計實驗時牢記這三個想法，您自然會創建一個更有趣和有用的實驗。為了說明這三個概念的實際應用，我將描述一些後續的部分數字現場實驗，這些實驗建立在Schultz及其同事(2007)的優雅設計和令人興奮的結果之上。正如您將看到的，通過更仔細的設計，實施，分析和解釋，您也可以超越簡單的實驗。