4.6.1創建零可變成本數據

要運行大型實驗的關鍵是駕駛你的可變成本為零。要做到這一點,最好的方法是自動化和設計令人愉快的實驗。

數字實驗可以有顯著不同的成本結構,這使研究人員能夠運行,在過去是不可能的實驗。更具體地講,實驗通常有兩種主要類型的成本:固定成本和可變成本固定成本是取決於你有多少參與者都不會改變的成本。例如,在實驗室實驗中,固定成本可能是租用空間和買家具的費用。這取決於你有多少參與者有可變成本 ,而另一方面,改變。例如,在實驗室實驗中,可變成本可能來自支付工作人員和參與者。一般情況下,模擬實驗具有較低的固定成本和可變較高成本,以及數字實驗具有高固定成本,低可變成本(圖4.18)。有了適當的設計,你可以駕駛實驗的可變成本一路到零,這樣就可以創造令人興奮的研究機會。

圖4.18:模擬和數字實驗成本結構示意圖。一般情況下,模擬實驗具有較低的固定成本和可變高而成本數字的實驗具有高固定成本,低可變成本。的不同的成本結構意味著數字實驗可以在一個尺度是不可能的模擬實驗運行。

圖4.18:模擬和數字實驗成本結構示意圖。一般情況下,模擬實驗具有較低的固定成本和可變高而成本數字的實驗具有高固定成本,低可變成本。的不同的成本結構意味著數字實驗可以在一個尺度是不可能的模擬實驗運行。

有工作人員可變成本付款分為兩個主要部分,並支付給參與者和每個這些可以使用不同的策略驅動到零。付款從工作人員題幹研究助理做招募參加者,提供護理和測量結果。例如,舒爾茨和他的同事的模擬現場試驗(2007)的社會規範和用電需要研究助理前往每個家庭提供治療和讀取電錶(圖4.3)。所有這一切努力,通過研究助理,意味著增加一個新的家庭的研究將增加的成本。在另一方面,對於雷斯蒂沃和範·德Rijt數字田間試驗(2012)在維基百科的獎勵,研究人員可以在幾乎沒有成本增加更多的參與者。降低可變行政成本的一般策略是代替人的工作(這是昂貴的)用電腦工作(這是便宜)。粗略地說,你可以問問自己:可以在大家對我的研究團隊正在睡覺運行這個實驗?如果答案是肯定的,你做的自動化一項偉大的工作。

可變成本的第二個主要類型是參與者付款。一些研究人員已經使用亞馬遜的Mechanical Turk和其他在線的勞動力市場,以減少所需要參與者支付。來驅動可變成本為零一路,但是,需要不同的方法。長期以來,研究人員設計實驗證明是如此無聊,他們要付出的人參與。但是,如果你能創造什麼人想在實驗?這可能聽起來遙不可及,但我會在下面給你一個我自己的工作為例,有表4.4更多的例子。注意,這種方法來設計實驗享受一些呼應主題的第3章中關於設計更愉快的調查,並在第5章關於大規模協作的設計。因此,我認為,參與者的享受,還有什麼可能被稱為用戶體驗,將是研究設計的數字化時代的一個日益重要的組成部分。

表4.4:與零可變成本實驗證明,參與者補償了一個寶貴的服務或一個愉快的體驗的例子。
賠償金 引文
網站與健康信息 Centola (2010)
運動方案 Centola (2011)
免費音樂 Salganik, Dodds, and Watts (2006) ; Salganik and Watts (2008) ; Salganik and Watts (2009b)
好玩的遊戲 Kohli et al. (2012)
電影推薦 Harper and Konstan (2015)

如果你想創建零可變成本實驗,你會想,以確保一切是完全自動化的,並且參與者無需支付任何款項。為了說明這怎麼可能,我將介紹對文化產品的成功和失敗我的論文研究。這個例子也說明,零可變成本數據不只是做東西便宜。更確切地說,它是關於使實驗,將是不可能的,否則。

我的論文是由成功的文化產品的性質令人費解的動機。金曲,最暢銷的書籍和電影大片都多,比平均水平更加成功。正因為如此,這些產品的市場通常被稱為“贏家通吃”的市場。然而,與此同時,其特定的歌曲,書籍或電影將成為成功是令人難以置信的不可預知的。編劇威廉·戈德曼(1989)說,當涉及到預測的成功,優雅總結了大量的學術研究的“沒有人知道任何事情。”不可預測贏家通吃的市場,讓我不知道有多少成功的是一個結果質量和多少的只是運氣。或者,表達略有不同,我們是否可以創建平行的世界,並把它們都獨立發展,將在同樣的歌在每個世界變得受歡迎?並且,如果沒有,可能是什麼導致這些差異的機制?

為了回答這些問題,我們 - 彼得•多茲鄧肯瓦(我的畢業論文導師)和I-進行了一系列的網上現場試驗。特別是,我們建立了一個名為MusicLab網站,人們可以發現新的音樂,而我們用它進行了一系列的實驗。我們通過在青少年利益的網站上投放橫幅廣告(圖4.19),並通過提到媒體招募參與者。到達本網站提供的知情同意參加,完成了一個簡短的背景調查問卷,並隨機分配到兩個實驗條件獨立和社會影響力之一。在獨立的情況下,參與者只給出了樂隊和歌曲的名稱作出決定哪些歌曲來聽。一邊聽著一首歌,參與者被要求之後,他們有機會(但沒有義務),以下載歌曲給它。在社會影響力的情況下,參加過同樣的經歷,除非他們也可以看到多少次每首歌曲已經由以前的參與者下載。此外,參與者的社會影響力條件被隨機分配到八個平行世界每個獨立進化(圖4.20)之一。採用這種設計,我們跑了兩個相關的實驗。首先,我們提出了與會者的歌曲在未排序的網格,這為他們提供了流行的微弱信號。在第二個實驗中,我們提出在排名名單,其中提供普及更強的信號歌曲(圖4.21)。

圖4.19:我和我的同事來徵集參與者為MusicLab實驗(Salganik,多茲和Watts 2006)的橫幅廣告的一個例子。

圖4.19:我和我的同事來徵集參與者為MusicLab實驗橫幅廣告的例子(Salganik, Dodds, and Watts 2006)

圖4.20:為MusicLab實驗(Salganik,多茲和2006年瓦)的實驗設計。參與者被隨機分配到兩個條件之一:獨立和社會影響力。在獨立條件的參與者沒有什麼其他的人做了任何信息做出自己的選擇。在社會影響條件參與者被隨機分為八景之一的平行世界,在那裡他們可以看到的普及,如之前課程的學員,在他們的世界的每首歌曲的下載量衡量,但他們看不到任何信息,也沒有他們甚至知道的存在,任何其他的世界。

圖4.20:為MusicLab實驗實驗設計(Salganik, Dodds, and Watts 2006) 。參與者被隨機分配到兩個條件之一:獨立和社會影響力。在獨立條件的參與者沒有什麼其他的人做了任何信息做出自己的選擇。在社會影響條件參與者被隨機分為八景之一的平行世界,在那裡他們可以看到的普及,如之前課程的學員,在他們的世界的每首歌曲的下載量衡量,但他們看不到任何信息,也沒有他們甚至知道的存在,任何其他的世界。

我們發現,歌曲的受歡迎程度等世界表明運氣了重要的作用不同。例如,在一個世界的歌曲“鎖定”的52Metro是第1名,並在另一個世界裡排在第40出48首歌曲。這正是同一首歌對所有相同的歌曲競爭,但在一個世界裡,很幸運,並在其他事實並非如此。另外,通過比較在兩個實驗的結果,我們發現,社會影響導致更多不等的成功,這或許會創建預測的外觀。但是,看著對面的世界(不能這種平行世界的實驗之外進行),我們發現,社會影響力實際上增加了不可預測性。此外,令人驚訝地,它是具有最不可預測的結果(圖4.22)最高上訴的歌曲。

圖4.21:從MusicLab實驗(Salganik,多茲和Watts 2006)的社會影響力條件截圖。在實驗1中的社會影響條件下,歌曲,與先前下載的數量一起被提交給配置在16×3矩形柵格,其中的歌曲的位置被隨機分配為每個參與者的參與者。在實驗2中,參與者的社會影響力狀況進行顯示的歌,下載次數,按降序當前流行的順序一列介紹。

圖4.21:從MusicLab實驗社會影響力條件截圖(Salganik, Dodds, and Watts 2006)在實驗1中的社會影響條件下,歌曲,與先前下載的數量一起被提交給配置在16×3矩形柵格,其中的歌曲的位置被隨機分配為每個參與者的參與者。在實驗2中,參與者的社會影響力狀況進行顯示的歌,下載次數,按降序當前流行的順序一列介紹。

圖4.22:從MusicLab實驗顯示出吸引力和成功(Salganik,多茲和Watts 2006)之間的關係的結果。 x軸是獨立的世界的歌曲,作為歌曲的上訴措施的市場份額,而Y軸是在8社會影響力的世界同一首歌,供應的市場份額作為歌曲的成功的度量。我們發現,增加社會影響力的參與者經歷 - 特別是從實驗1佈局的改變實驗2(圖4.21)-caused成功變得更加不可預測,特別是對於最高上訴歌曲。

圖4.22:從MusicLab實驗顯示出吸引力和成功之間的關係,結果(Salganik, Dodds, and Watts 2006) x軸是獨立的世界的歌曲,作為歌曲的上訴措施的市場份額,而Y軸是在8社會影響力的世界同一首歌,供應的市場份額作為歌曲的成功的度量。我們發現,增加社會影響力的參與者經歷 - 特別是從實驗1佈局的改變實驗2(圖4.21)-caused成功變得更加不可預測,特別是對於最高上訴歌曲。

MusicLab能夠在基本運行,因為它被設計的方式零可變成本。首先,一切都被完全自動化,因此能夠在我熟睡的運行。二,補償是免費的音樂,所以沒有參加可變薪酬費用。使用音樂作為補償還示出了如何有有時固定成本和可變成本之間的折衷。因為我不得不花時間從帶固定許可,並準備有關參與者的反應,他們的音樂樂隊報表中使用的音樂增加了固定成本。但是,在這種情況下,為了降低變量成本增加固定成本是正確的事;這就是使我們能夠運行一個實驗,這是不是一個標準的實驗室實驗中大100倍左右。

另外,MusicLab實驗表明零可變成本不必須是在本身的端部;相反,它可以是運行新樣的實驗手段。請注意,我們沒有使用我們所有的參與者的運行標準的社會影響力的實驗室實驗的100倍。相反,我們做了一些不同的東西,你能想到的是從心理實驗切換到社會學的實驗(Hedström 2006)而不是專注於個人決策,我們將重點放在普及我們的實驗中,一個集體的成果。此開關到集體的結果意味著我們需要約700參與者生成一個單一數據點(有700人在每一個平行世界的)。該比例只是可能的,因為在實驗的成本結構。一般情況下,如果研究人員想要研究的結果如何從集體個人決策產生的,實驗組如MusicLab都非常精彩。在過去,他們已經後勤困難,但這些困難的,因為零可變成本數據的可能性褪色。

除了展示零可變成本數據的好處時,MusicLab實驗還表明這種方法的一個挑戰:高額的固定成本。就我而言,我是非常幸運能夠與名叫彼得Hausel約六個月來構建實驗一個有才華的Web開發人員的工作。因為我的導師,鄧肯瓦,已經收到了一些補助來支持這方面的研究,這是唯一可行的。自從我們在2004年建成MusicLab技術的提高,這將是容易得多,現在建立這樣一個實驗。但是,高固定成本的戰略,實際上只可能為研究人員誰可以以某種方式支付這些費用。

總之,數字化實驗可以有比模擬實驗顯著不同的成本結構。如果你想運行真正的大實驗,你應該盡量減少你的可變成本盡可能,最好一路0。您可以通過自動化實驗力學做到這一點(例如,用電腦的時間來換時間的人)和設計,人們希望在實驗中,誰可以使用這些功能設計實驗的研究人員將能夠運行的新種類的人不可能在過去的實驗。