4.6.1 Lumikha zero variable data ng gastos

Ang susi sa pagpapatakbo ng malaking mga eksperimento ay nagmamaneho ng iyong variable gastos sa zero. Ang pinakamahusay na paraan upang gawin ito ay automation at pagdidisenyo kasiya-siya eksperimento.

Digital mga eksperimento ay maaaring magkaroon ng dramatically iba't ibang mga istraktura ng gastos at ito ay nagbibigay-daan sa mga mananaliksik upang magpatakbo ng mga eksperimento na ay imposible sa nakaraan. Higit pang mga partikular, ang mga eksperimento sa pangkalahatan ay may dalawang pangunahing uri ng mga gastos:. Nakapirming mga gastos at variable na mga gastos Fixed gastos ay gastos na hindi nagbabago depende sa kung gaano karaming mga kalahok na mayroon ka. Halimbawa, sa isang eksperimento lab, nakapirming mga gastos ay maaaring ang gastos ng pag-upa ng space at pagbili ng mga kasangkapan sa bahay. Variable gastos, sa kabilang banda, ang pagbabago depende sa kung gaano karaming mga kalahok na mayroon ka. Halimbawa, sa isang eksperimento lab, variable na mga gastos ay maaaring manggaling mula sa pagbabayad ng mga kawani at mga kalahok. Sa pangkalahatan, analog eksperimento ay may mababang mga nakapirming mga gastos at mataas na variable na mga gastos, at mga digital na mga eksperimento ay may mataas na mga nakapirming mga gastos at mababa ang variable na mga gastos (Figure 4.18). Gamit ang naaangkop na disenyo, maaari mong himukin ang mga variable na gastos ng iyong eksperimento ang lahat ng paraan sa zero, at ito ay maaaring lumikha ng nakapupukaw na pagkakataon sa pananaliksik.

Figure 4.18: Eskematiko ng cost istruktura sa analog at digital na mga eksperimento. Sa pangkalahatan, analog eksperimento ay may mababang mga nakapirming mga gastos at mataas na variable na mga gastos samantalang digital eksperimento ay may mataas na mga nakapirming mga gastos at mababa ang variable na mga gastos. Ang iba't ibang mga gastos istraktura nangangahulugan na digital na mga eksperimento ay maaaring tumakbo sa isang scale na ay hindi posible sa analog mga eksperimento.

Mayroong dalawang pangunahing mga elemento ng variable cost-pagbabayad sa mga kawani at mga pagbabayad sa mga kalahok-at bawat isa sa mga ito ay maaaring mabubo sa zero paggamit ng iba't ibang mga diskarte. Pagbabayad sa mga kawani stem mula sa mga gawain na ang pananaliksik assistants ay recruiting kalahok, sa paghahatid ng paggamot, at pagsukat ng kinalabasan. Halimbawa, ang analog field eksperimento ng Schultz at kasamahan (2007) sa mga social norms at paggamit ng koryente na kinakailangan pananaliksik assistants sa paglalakbay sa bawat tahanan upang maihatid ang paggamot at basahin ang mga electric meter (Figure 4.3). Ang lahat ng pagsisikap na ito sa pamamagitan ng pananaliksik assistants sinadya na nagdadagdag ng isang bagong bahay sa pag-aaral sana ay idinagdag sa gastos. Sa kabilang dako, para sa mga digital na eksperimento larangan ng Restivo at van de Rijt (2012) sa mga gantimpala sa Wikipedia, ang mga mananaliksik ay maaaring magdagdag ng higit pang mga kalahok sa halos walang gastos. Isang pangkalahatang diskarte para sa pagbabawas ng variable gastos sa pangangasiwa ay upang palitan trabaho ng tao (na kung saan ay mahal) na may computer sa trabaho (na kung saan ay mura). Sa pahapyaw, maaari mong tanungin ang inyong sarili: mangyayari kayang ito eksperimento tumakbo habang lahat ng tao sa aking koponan ng pananaliksik ay natutulog? Kung ang sagot ay oo, nagawa mo ang isang mahusay na trabaho ng automation.

Ang ikalawang pangunahing uri ng variable na gastos ay pagbabayad sa mga kalahok. Ang ilang mga mananaliksik ay may ginagamit Amazon Mechanical Turk at iba pang mga online labor market upang bawasan ang mga pagbabayad na ay kinakailangan para sa mga kalahok. Upang humimok variable na mga gastos lahat ng mga paraan sa zero, gayunpaman, ang isang iba't ibang mga diskarte ay kinakailangan. Para sa isang mahabang panahon, mga mananaliksik ay may dinisenyo eksperimento na kaya boring mayroon sila upang bayaran ang mga tao na lumahok. Ngunit, kung ano ang maaari kang lumikha ng isang eksperimento na ang mga tao na nais na maging in? Ito ay maaring tunog malayo ang nakuha, ngunit kukunin ko na bigyan ka ng isang halimbawa sa ibaba mula sa aking sariling mga trabaho, at may mga higit pang mga halimbawa sa Table 4.4. Tandaan na ito diskarte sa pagdidisenyo kasiya-siya eksperimento Echoes ilan sa mga tema sa Kabanata 3 tungkol sa pagdisenyo ng mas kasiya-siya mga survey at sa Kabanata 5 tungkol sa disenyo ng mass pakikipagtulungan. Kaya, sa tingin ko na kalahok kasiyahan-ano ang maaaring ding tinatawag user karanasan-ay isang unting mahalagang bahagi ng disenyo ng pananaliksik sa digital age.

Kung nais mong lumikha ng zero variable na mga gastos eksperimento makikita mo nais upang matiyak na ang lahat ng bagay ay ganap na awtomatiko at na ang mga kalahok ay hindi nangangailangan ng anumang mga pagbabayad. Upang ipakita kung paano ito ay posible, kukunin ko na ilarawan ang aking disertasyon pananaliksik sa mga tagumpay at kabiguan ng mga kultural na mga produkto. Halimbawa na ito ay nagpapakita rin na zero variable cost data ay hindi lamang tungkol sa paggawa ng mga bagay na mas mura. Sa halip, ito ay tungkol sa pag-enable eksperimento na hindi magiging posible kung hindi man.

Aking disertasyon ay motivated sa pamamagitan ng puzzling kalikasan ng tagumpay para sa mga kultural na mga produkto. Hit kanta, pinakamahusay na nagbebenta ng mga libro, at blockbuster movies ay marami, marami mas matagumpay kaysa sa average. Dahil dito, ang mga merkado para sa mga produktong ito ay madalas na tinatawag na "winner-take-all" na mga merkado. Gayon pa man, sa parehong oras, na kung saan partikular na kanta, libro, o pelikula ay magiging matagumpay ay hindi kapani-paniwalang unpredictable. Ang senaryo William Goldman (1989) elegantly summed up ng maraming mga pang-akademikong pananaliksik sa pamamagitan ng nagsasabi na, pagdating sa predicting tagumpay, "walang sinuman ang nakaaalam sa anumang bagay." Ang unpredictability ng winner-take-all markets ginawa ako magtaka kung magkano ng tagumpay ay isang resulta ng kalidad at kung magkano ay lamang luck. O kaya naman, ipinahayag bahagyang naiiba, kung maaari naming lumikha ng parallel na mundo at ang mga ito ang lahat ay magbabago nang nakapag-iisa, Gusto ang parehong kanta naging popular sa bawat mundo? At, kung hindi, ano ang maaaring maging isang mekanismo na nagiging sanhi ng mga pagkakaiba?

Upang sagutin ang mga tanong, kami-Peter Dodds, Duncan Watts (ang aking disertasyon taga-payo), at I-nagpatakbo ng isang serye ng mga online na mga eksperimento field. Sa partikular, kami bumuo ng isang website na tinatawag na MusicLab kung saan mga tao ay maaaring matuklasan ang mga bagong musika, at ginamit namin ito para sa isang serye ng mga eksperimento. hinikayat namin kalahok sa pamamagitan ng pagpapatakbo banner ad sa isang teen-interes website (Figure 4.19) at sa pamamagitan mentions sa media. Kalahok pagdating sa aming website na ibinigay kaalamang pahintulot, nakumpleto ng isang maikling background questionnaire, at ay randomang itinakda na ang isa sa dalawang-eksperimentong mga kondisyon-independent at panlipunan impluwensiya. Sa mga independiyenteng kalagayan, ang mga kalahok na ginawa ng mga desisyon tungkol sa kung aling mga kanta upang makinig sa, na ibinigay lamang ng mga pangalan ng banda at mga kanta. Habang nakikinig sa isang kanta, ang mga kalahok hiningi sa inyo na i-rate ito pagkatapos kung saan sila ay nagkaroon ng pagkakataon (ngunit hindi ang obligasyon) upang i-download ang kanta. Sa panlipunan impluwensiya kondisyon, ang mga kalahok ay nagkaroon ng parehong karanasan, maliban na maaari nilang ring makita kung gaano karaming beses bawat kanta ay nai-download sa pamamagitan ng naunang mga kalahok. Higit pa rito, ang mga kalahok sa mga social impluwensiya kondisyon ay randomang itinakda na isa sa walong parallel na mundo ang bawat isa ay nagbago nang nakapag-iisa (Figure 4.20). Gamit ang disenyo, tumakbo kami ng dalawang mga kaugnay na mga eksperimento. Sa una, ipinakita namin kalahok ang mga kanta sa isang unsorted grid, na ibinigay sa kanila ng isang mahina signal ng katanyagan. Sa ikalawang eksperimento, ipinakita namin ang kanta sa isang ranggo listahan, na ibinigay ng isang mas malakas signal ng katanyagan (Figure 4.21).

Figure 4.19: Ang isang halimbawa ng banner ad na ang aking mga kasamahan at ako na ginamit upang kumalap mga kalahok para sa mga eksperimento MusicLab (Salganik, Dodds, and Watts 2006) .

Figure 4.20: Experimental disenyo para sa mga eksperimento MusicLab (Salganik, Dodds, and Watts 2006) . Ang mga kalahok ay sapalaran itinalaga sa isa sa dalawang kondisyon: malaya at panlipunan impluwensiya. Kalahok sa mga independiyenteng kalagayan na ginawa ng kanilang mga pagpipilian nang walang anumang impormasyon tungkol sa kung ano ang ginawa ng ibang tao. Kalahok sa mga social impluwensiya kondisyon ay randomang itinakda sa isa sa walong parallel na mundo, kung saan maaari nilang makita ang katanyagan-bilang sinusukat sa pamamagitan pag-download ng dating mga kalahok-ng bawat kanta sa kanilang mundo, ngunit hindi nila maaaring makita ang anumang impormasyon, o gumagalang man sa mga ito kahit na malaman ang tungkol sa pagkakaroon ng, alinman sa iba pang mga mundo.

Nalaman namin na ang pagiging popular ng mga songs differed sa buong mundo na nagmumungkahi ng isang mahalagang papel na ginagampanan ng swerte. Halimbawa, sa isang mundo ang kanta "Lockdown" sa pamamagitan 52Metro dumating sa ika-1, at sa isa pang mundo ito ay dumating sa ika-40 out of 48 songs. Ito ay eksakto ang parehong kanta sa pakikipagkumpitensya laban sa lahat ng mga parehong mga kanta, ngunit sa isang mundo ito nakuha masuwerteng at sa iba ito ay hindi. Dagdag dito, sa pamamagitan ng paghahambing ng mga resulta sa kabuuan ng dalawang mga eksperimento natagpuan namin na panlipunan impluwensiya hahantong sa mas maraming hindi pantay na tagumpay, na marahil ay lumilikha ang hitsura ng predictability. Ngunit, naghahanap sa buong mundo (na hindi maaaring gawin sa labas ng ganitong uri ng parallel na mundo eksperimento), aming natagpuan na panlipunan impluwensiya talagang nadagdagan ang unpredictability. Dagdag dito, kahanga-hanga, ito ay ang mga awit ng pinakamataas na apila na mayroon ang pinaka-unpredictable kinalabasan (Figure 4.22).

Figure 4.21: Screenshots mula sa mga social kondisyon impluwensiya sa mga eksperimento MusicLab (Salganik, Dodds, and Watts 2006) . Sa panlipunan impluwensiya kalagayan eksperimento 1, ang mga kanta, kasama ang bilang ng mga nakaraang pag-download, ay iniharap sa mga kalahok na nakaayos sa isang 16 X 3 hugis-parihaba grid, kung saan ang mga posisyon ng mga kanta ay randomang itinakda para sa bawat kalahok. Sa eksperimentong 2, ang mga kalahok sa mga social impluwensiya kalagayan ay ipinapakita ang mga kanta, sa pag-download bilang, iniharap sa isang hanay sa pababang pagkakasunud-sunod ng kasalukuyang katanyagan.

Figure 4.22: Mga resulta mula sa MusicLab eksperimento na nagpapakita ng relasyon sa pagitan ng pag-apila at tagumpay (Salganik, Dodds, and Watts 2006) . Ang x-axis ay ang market share ng kanta sa mga independiyenteng mundo, na nagsisilbing bilang isang sukatan ng pag-apela ng kanta, at ang y-axis ay ang market share ng parehong kanta sa 8 mga social impluwensiya mundo, na naghahain bilang isang sukatan ng tagumpay ng kanta. Nalaman namin na ang pagtaas ng panlipunang impluwensiya na ang mga kalahok ay nakaranas-partikular, ang mga pagbabago sa layout mula sa eksperimento 1 mag-eksperimento 2 (Figure 4.21) -caused tagumpay upang maging mas unpredictable, lalo na para sa pinakamataas na apila songs.

MusicLab ay able sa tumakbo sa mahalagang zero variable cost dahil sa mga paraan na ito ay dinisenyo. Una, lahat ng bagay ay ganap na automated na sa gayon ito ay magagawang patakbuhin habang ako ay natutulog. Pangalawa, ang kabayaran ay libre music kaya walang variable kalahok compensation gastos. Ang paggamit ng musika bilang kompensasyon rin ay naglalarawan kung paano doon ay minsan isang trade-off sa pagitan ng nakapirming mga gastos at variable na mga gastos. Paggamit ng music nadagdagan ang mga nakapirming mga gastos dahil ako ay na gumastos ng oras sa pag-secure ng pahintulot mula sa banda at paghahanda ng mga ulat para sa mga bands tungkol kalahok 'reaksyon sa kanilang musika. Ngunit, sa kasong ito, ang pagtaas nakapirming mga gastos upang bawasan variable gastos ay ang tamang bagay na gawin; na kung ano enable sa amin upang magpatakbo ng isang eksperimento na ay tungkol sa 100 beses na mas malaki kaysa sa isang standard na eksperimento lab.

Dagdag dito, ang MusicLab eksperimento ay nagpapakita na zero variable cost ay hindi kailangang maging isang dulo sa kanyang sarili; sa halip, maaari itong maging isang paraan sa pagpapatakbo ng isang bagong uri ng eksperimento. Pansinin na hindi namin ginamit ang lahat ng aming mga kalahok upang magpatakbo ng isang karaniwang panlipunan impluwensiya lab eksperimento 100 beses. Sa halip, ginawa namin ang isang bagay ibang, na kung saan maaari mong isipin ng paglipat mula sa isang sikolohikal na eksperimento sa isang sociological eksperimento (Hedström 2006) . Sa halip na tumututok sa mga indibidwal na paggawa ng desisyon, na nakatutok namin ang aming mga eksperimento sa pagiging popular, isang kolektibong kinalabasan. Paglilipat na ito sa isang kolektibong kinalabasan sinadya na namin kinakailangan tungkol sa 700 mga kalahok upang makabuo ng isang solong point data (doon ay 700 mga tao sa bawat isa sa mga parallel na mundo). scale Iyon ay posible lamang dahil sa ang gastos istraktura ng eksperimento. Sa pangkalahatan, kung ang mga mananaliksik gustong mag-aral kung paano sama kinalabasan lumabas dahil sa mga indibidwal na mga desisyon, grupo eksperimento tulad ng MusicLab ay napaka kapana-panabik. Sa nakaraan, sila ay logistically mahirap, ngunit ang mga paghihirap ay pagkupas dahil sa ang posibilidad ng zero variable data ng gastos.

Bilang karagdagan sa naglalarawan ng mga benepisyo ng zero variable data ng gastos, ang MusicLab eksperimento ring ipakita ang isang hamon sa ito ay lumapit: mataas nakapirming gastos. Sa aking kaso, ako ay lubhang mapalad sa maaari able sa trabaho sa isang may talino web developer na may pangalang Peter Hausel para sa mga tungkol sa anim na buwan upang bumuo ng mga eksperimento. Ito ay posible lamang dahil ang aking taga-payo, Duncan Watts, ay nakatanggap ng isang bilang ng mga pamigay upang suportahan ang ganitong uri ng pananaliksik. Teknolohiya ay pinabuting since binuo namin MusicLab noong 2004, at ito ay magiging lubhang mas madaling upang bumuo ng isang eksperimento na tulad nito ngayon. Ngunit, mataas nakapirming gastos estratehiya ay talagang lamang na posible para sa mga mananaliksik na maaaring sa paanuman masakop ang mga gastos.

Sa wakas, mga digital na mga eksperimento ay maaaring magkaroon ng dramatically ibang cost structures kaysa sa analog mga eksperimento. Kung gusto mong patakbuhin ang talagang malaking mga eksperimento, dapat mong subukan upang bawasan ang iyong variable gastos ng mas maraming hangga't maaari at sa isip ang lahat ng paraan sa 0. Maaari mong gawin ito sa pamamagitan ng automating ang mechanics ng iyong eksperimento (hal, ang pagpalit ng tao oras sa computer na oras) at pagdidisenyo eksperimento na ang mga tao na nais na maging in. Mananaliksik kung sino ang maaaring mag-disenyo mga eksperimento na may mga tampok na ito ay maaaring makapag-tumakbo mga bagong uri ng mga eksperimento na hindi posible sa nakaraan.