4.6.1 Paghimo zero baryable sa data gasto

Ang yawe sa nagaagay nga dako nga eksperimento mao ang nagmaneho sa sa imong baryable gasto ngadto sa zero. Ang labing maayo nga paagi sa pagbuhat niini mao ang automation ug nagamugna makalingaw eksperimento.

Digital eksperimento makabaton mahinuklugong lain-laing mga istruktura gasto ug kini makahimo sa mga tigdukiduki sa pagdagan eksperimento nga imposible sa nangagi. Mas espesipiko, eksperimento sa kinatibuk adunay duha ka nag-unang matang sa mga gasto. Natudlong gasto ug baryable gasto Natudlong gasto mao ang mga gasto nga dili mag-usab sa depende sa kon sa unsang paagi sa daghan nga mga partisipante kamo. Kay sa panig-ingnan, sa usa ka eksperimento lab, natudlong gasto aron ang gasto sa abang sa luna ug sa pagpalit sa mga galamiton. Baryable gasto, sa laing bahin, ang kausaban depende sa kon sa unsang paagi sa daghan nga mga partisipante kamo. Kay sa panig-ingnan, sa usa ka eksperimento lab, baryable gasto unta moabut gikan sa pagbayad sa staff ug mga partisipante. Sa kinatibuk-an, Analog eksperimento adunay ubos natudlong gasto ug hatag-as nga baryable gasto, ug digital nga eksperimento adunay taas nga natudlong gasto ug ubos nga baryable gasto (Figure 4.18). Uban sa tukma nga design, nga imong mahimo sa pagpapahawa sa mga baryable gasto sa imong eksperimento sa tanan nga mga dalan ngadto sa zero, ug kini mahimo sa paghimo sa kulbahinam nga mga oportunidad research.

Figure 4.18: kombensiyonal nga sa gasto istruktura sa Analog ug digital eksperimento. Sa kinatibuk-an, Analog eksperimento adunay ubos natudlong gasto ug hatag-as nga baryable gasto samtang digital eksperimento adunay taas nga natudlong gasto ug ubos nga baryable gasto. Ang lain-laing mga gasto istruktura nagpasabot nga digital eksperimento mahimo modagan sa usa ka timbangan nga dili mahimo sa Analog mga eksperimento.

Figure 4.18: kombensiyonal nga sa gasto istruktura sa Analog ug digital eksperimento. Sa kinatibuk-an, Analog eksperimento adunay ubos natudlong gasto ug hatag-as nga baryable gasto samtang digital eksperimento adunay taas nga natudlong gasto ug ubos nga baryable gasto. Ang lain-laing mga gasto istruktura nagpasabot nga digital eksperimento mahimo modagan sa usa ka timbangan nga dili mahimo sa Analog mga eksperimento.

Adunay duha ka mga nag-unang mga elemento sa baryable cost-pagbayad sa sungkod sa ug sa pagbayad ngadto sa mga partisipante-ug ang matag usa niini nga mga mahimo nga gimaneho ngadto sa zero sa paggamit sa lain-laing mga pamaagi. Pagbayad sa sungkod sa tukog gikan sa buhat nga research assistant ba pagrekrut mga partisipante, sa pagluwas paagi sa pagtambal, ug sa pagsukod resulta. Kay sa panig-ingnan, ang Analog uma eksperimento sa Schultz ug kaubanan (2007) sa social lagda ug paggamit sa kuryente nga gikinahanglan sa research assistant sa pagbiyahe ngadto sa matag balay aron sa pagluwas sa mga pagtambal ug sa pagbasa sa mga electric meter (Figure 4.3). Ang tanan niini nga paningkamot pinaagi sa research assistant nagpasabot nga sa pagdugang sa usa ka bag-o nga panimalay nga sa pagtuon unta gidugang ngadto sa gasto. Sa laing bahin, alang sa digital eksperimento kapatagan sa Restivo ug van de Rijt (2012) sa mga ganti sa Wikipedia, ang mga tigdukiduki nga makadugang sa dugang nga mga partisipante sa halos walay gasto. Usa ka kinatibuk-ang estratehiya alang sa pagkunhod sa baryable administratibo gasto mao ang mopuli nga buhat sa tawo (nga mao ang mahal nga) uban sa computer nga buhat (nga mao ang barato). Sa mapintas gayud, nga kamo mahimo nga mangutana sa imong kaugalingon: mahimo nga kini nga eksperimento modagan samtang ang tanan sa akong team research natulog? Kon ang tubag mao ang oo, ikaw nahimo nga usa ka dako nga trabaho sa automation.

Ang ikaduha nga nag-unang matang sa baryable gasto mao ang pagbayad sa mga partisipante. Ang ubang mga tigdukiduki nga gigamit Amazon Mechanical Turk ug uban pang mga online nga labor merkado sa pagkunhod sa mga pagbayad nga gikinahanglan alang sa mga partisipante. Aron sa pagpapahawa baryable gasto sa tanan nga mga dalan ngadto sa zero, Apan, sa usa ka lain-laing mga pamaagi gikinahanglan. Kay sa usa ka hataas nga panahon, ang mga tigdukiduki gidisenyo eksperimento nga sa ingon boring sila sa pagbayad sa mga tawo sa pag-apil. Apan, unsa kon kamo makahimo og usa ka eksperimento nga ang mga tawo nga gusto nga mahimong sa? Kini paminawon halayo, apan ihatag ko kaninyo ang usa ka panig-ingnan sa ubos gikan sa akong kaugalingon nga buhat, ug may mga dugang nga mga ehemplo sa Table 4.4. Timan-i nga kini nga pamaagi sa pagdesinyo makalingaw eksperimento gipalanog sa pipila sa mga tema sa Kapitulo 3 bahin sa pagdesinyo mas makalingaw survey ug sa Kapitulo 5 bahin sa disenyo sa masa kolaborasyon. Mao kini ang, sa akong hunahuna nga ang sumasalmot kalipay-kon unsay usab nga gitawag nga user nga kasinatian-mahimong usa ka mas importante nga bahin sa research disenyo sa digital edad.

Table 4.4: Ehemplo sa eksperimento uban sa zero baryable gasto nga mabayran partisipante sa usa ka bililhon nga pag-alagad o sa usa ka makalingaw nga kasinatian.
compensation citation
Websayt sa panglawas nga impormasyon Centola (2010)
ehersisyo nga programa Centola (2011)
free music Salganik, Dodds, and Watts (2006) ; Salganik and Watts (2008) ; Salganik and Watts (2009b)
makalingaw nga duwa Kohli et al. (2012)
rekomendasyon movie Harper and Konstan (2015)

Kon gusto sa paghimo sa zero baryable gasto eksperimento inyong gusto aron sa pagsiguro nga ang tanan nga mga butang mao ang bug-os nga automated ug nga ang mga partisipante wala magkinahanglan sa bisan unsa nga pagbayad. Aron sa pagpakita sa unsa nga paagi nga kini mao ang posible nga, ako paghulagway sa akong dissertation research sa kalamposan ug kapakyasan sa kultural nga mga produkto. nga panig-ingnan nagpakita usab nga zero baryable gasto datus dili lang mahitungod sa pagbuhat sa mga butang nga mas barato. Hinunoa, kini mao ang mahitungod sa makaabag nga mga eksperimento nga dili mahimo kon dili.

Ang akong dissertation gitukmod sa makapalibog nga kinaiya sa kalampusan alang sa kultural nga mga produkto. Hit songs, labing maayo sa pagbaligya sa mga libro, ug blockbuster pelikula daghan, daghan nga mas malampuson kay sa average. Tungod niini, ang mga merkado alang sa mga produkto sa kanunay gitawag nga "winner-kuhaon-ang tanan" merkado. Apan, sa samang panahon, nga partikular nga awit, basahon, o movie mahimong malampuson ang incredibly unpredictable. Ang eskrip nga si William Goldman (1989) labihan nalangkob daghang mga academic research pinaagi sa pag-ingon nga, sa diha nga kini moabut ngadto sa pagtagna sa kalampusan, "walay nahibalo sa bisan unsa." Ang unpredictability sa mananaog-sa pagkuha sa-tanan nga mga merkado, nakapangutana ko kon sa unsang paagi sa daghan nga sa kalampusan mao ang usa ka resulta sa kalidad ug sa unsa nga paagi nga sa daghan nga mao ang lang luck. O, nagpahayag gamay sa lahi nga paagi, kon kita sa paghimo sa susama nga mga kalibutan ug sila sa tanan nga evolve nga independente, nga ang mao usab nga mga awit nga mahimong popular sa matag kalibutan? Ug, kon wala, unsa ang mahimo nga ang usa ka mekanismo nga maoy hinungdan niini nga mga kalainan?

Aron sa pagtubag niini nga mga pangutana, kita-Pedro Dodds, Duncan Watts (akong desertasyon advisor), ug ako-midalagan nga usa ka serye sa mga online nga eksperimento kapatagan. Sa partikular, kita nagtukod sa usa ka website nga gitawag MusicLab diin ang mga tawo nga makakaplag sa bag-o nga musika, ug gigamit namo kini alang sa usa ka serye sa mga eksperimento. recruit kami partisipante pinaagi sa nagaagay nga bandila ads sa usa ka tin-edyer-interes website (Figure 4.19) ug pinaagi naghisgot diha sa mga media. Ang mga partisipante sa pag-abot sa atong website nga gihatag kasayorang pag-uyon, nahuman sa usa ka mubo nga background pangutana, ug sinalagma-assign sa usa sa duha ka mga eksperimento nga mga kahimtang-independente ug sosyal nga impluwensya. Sa independente nga kahimtang, ang mga partisipante nga gihimo desisyon nga mga awit sa pagpaminaw sa, nga gihatag lamang sa mga ngalan sa mga talikala ug sa mga awit. Samtang sa pagpaminaw sa usa ka awit, ang mga partisipante gihangyo sa paggrado niini human nga sila adunay oportunidad (apan dili sa mga obligasyon) sa pag-download sa mga awit. Sa sosyal nga impluwensya nga kahimtang, ang mga partisipante may samang kasinatian, gawas nga sila usab makakita sa unsa nga paagi sa daghang mga higayon sa matag awit nga download sa miaging mga partisipante. Dugang pa, ang mga partisipante sa sa social impluwensya kahimtang sa sinalagma-assign sa usa sa walo ka mga susama nga mga kalibutan sa matag usa sa nga milambo nga independente (Figure 4.20). Pinaagi sa paggamit niini nga disenyo, midagan kami sa duha ka may kalabutan nga mga eksperimento. Sa una, gipresentar kita partisipante sa mga awit sa usa ka unsorted grid, nga gihatag kanila sa usa ka mahuyang nga signal sa pagkapopular. Sa ikaduhang eksperimento, gipresentar kita sa mga awit sa usa ka pwesto nga listahan, nga naghatag sa usa ka daghan nga mas lig-on nga signal sa pagkapopular (Figure 4.21).

Figure 4.19: Usa ka ehemplo sa bandila ad nga ang akong mga kauban ug ako gigamit sa pag-recruit sa mga partisipante alang sa mga eksperimento MusicLab (Salganik, Dodds, ug Watts 2006).

Figure 4.19: Usa ka ehemplo sa bandila ad nga ang akong mga kauban ug ako gigamit sa pag-recruit sa mga partisipante alang sa mga eksperimento MusicLab (Salganik, Dodds, and Watts 2006) .

Figure 4.20: Experimental disenyo alang sa mga eksperimento MusicLab (Salganik, Dodds, ug Watts 2006). Partisipante ang sinalagma-assign ngadto sa usa sa duha ka mga kondisyon: independente ug sosyal nga impluwensya. Mga partisipante sa independente nga kahimtang nga gihimo sa ilang mga pagpili nga walay bisan unsa nga impormasyon mahitungod sa kon unsa ang gibuhat sa ubang mga tawo. Mga partisipante sa sosyal nga impluwensya kahimtang nga sinalagma-assign ngadto sa usa sa walo ka mga susama nga mga kalibutan, diin sila makakita sa pagkapopular-ingon nga gisukod pinaagi sa download miaging partisipante-sa matag awit diha sa ilang kalibutan, apan sila wala makakita sa bisan unsa nga impormasyon, ni sila mahibalo bahin sa paglungtad sa, sa bisan unsa sa mga uban nga mga kalibutan.

Figure 4.20: Experimental disenyo alang sa mga eksperimento MusicLab (Salganik, Dodds, and Watts 2006) . Partisipante ang sinalagma-assign ngadto sa usa sa duha ka mga kondisyon: independente ug sosyal nga impluwensya. Mga partisipante sa independente nga kahimtang nga gihimo sa ilang mga pagpili nga walay bisan unsa nga impormasyon mahitungod sa kon unsa ang gibuhat sa ubang mga tawo. Mga partisipante sa sosyal nga impluwensya kahimtang nga sinalagma-assign ngadto sa usa sa walo ka mga susama nga mga kalibutan, diin sila makakita sa pagkapopular-ingon nga gisukod pinaagi sa download miaging partisipante-sa matag awit diha sa ilang kalibutan, apan sila wala makakita sa bisan unsa nga impormasyon, ni sila mahibalo bahin sa paglungtad sa, sa bisan unsa sa mga uban nga mga kalibutan.

Atong nakita nga ang pagkapopular sa mga awit lahi tabok sa kalibutan gisugyot sa usa ka importante nga papel sa luck. Kay sa panig-ingnan, sa usa ka kalibutan sa awit "Lockdown" pinaagi sa 52Metro miabut sa 1st, ug sa laing kalibutan nga nahitabo sa ika-40 nga gikan sa 48 mga awit. Kini mao gayud sa sama nga awit indig batok sa tanan nga sa mao usab nga mga awit, apan sa usa ka kalibutan nga kini na lucky ug sa uban kini wala. Dugang pa, pinaagi sa pagtandi sa mga resulta sa tibuok duha ka mga eksperimento nga among nakaplagan nga ang sosyal nga impluwensya modala ngadto sa labaw nga dili patas nga kalampusan, nga tingali nagmugna sa dagway sa prediktabilidad. Apan, sa pagtan-aw sa tibuok sa mga kalibutan (nga dili mahimo sa gawas sa niini nga matang sa susama nga mga kalibutan eksperimento), among nakaplagan nga sosyal nga impluwensya sa pagkatinuod misaka sa unpredictability. Dugang pa, kahibulongan, kini mao ang mga awit sa labing taas nga apelar nga ang labing unpredictable resulta (Figure 4.22).

Figure 4.21: screenshots gikan sa sosyal nga mga kahimtang nga impluwensya diha sa mga eksperimento MusicLab (Salganik, Dodds, ug Watts 2006). Sa sosyal nga impluwensya kahimtang sa eksperimento 1, ang mga awit, uban sa gidaghanon sa mga miaging downloads, gipresentar ngadto sa mga partisipante gihan-ay sa usa ka 16 X 3 rektanggulo grid, diin ang mga posisyon sa mga awit nga sinalagma-assign alang sa matag partisipante. Sa eksperimento 2, partisipante sa sosyal nga impluwensya kahimtang gipakita sa mga awit, uban ang download importante, gipresentar sa usa ka kolum diha sa nga mikunsad aron sa kasamtangan nga pagkapopular.

Figure 4.21: screenshots gikan sa sosyal nga mga kahimtang nga impluwensya diha sa mga eksperimento MusicLab (Salganik, Dodds, and Watts 2006) . Sa sosyal nga impluwensya kahimtang sa eksperimento 1, ang mga awit, uban sa gidaghanon sa mga miaging downloads, gipresentar ngadto sa mga partisipante gihan-ay sa usa ka 16 X 3 rektanggulo grid, diin ang mga posisyon sa mga awit nga sinalagma-assign alang sa matag partisipante. Sa eksperimento 2, partisipante sa sosyal nga impluwensya kahimtang gipakita sa mga awit, uban ang download importante, gipresentar sa usa ka kolum diha sa nga mikunsad aron sa kasamtangan nga pagkapopular.

Figure 4.22: Results gikan sa MusicLab eksperimento nga nagpakita sa relasyon tali sa hangyo ug kalampusan (Salganik, Dodds, ug Watts 2006). Ang x-axis mao ang merkado nga bahin sa awit sa independente nga kalibutan, nga nag-alagad ingon nga usa ka sukod sa apelar sa kanta, ug ang y-axis mao ang merkado nga bahin sa mao nga awit sa 8 mga social impluwensya kalibutan, nga nag-alagad ingon sa usa ka sukod sa kalampusan sa mga awit. Among nakita nga ang pagdugang sa sosyal nga impluwensya nga ang mga partisipante nasinati-ilabi, ang kausaban sa Layout gikan sa eksperimento 1 sa pag-eksperimento sa 2 (Figure 4.21) -caused kalampusan nga mahimong labaw nga unpredictable, ilabi na alang sa mga labing taas nga apelar songs.

Figure 4.22: Results gikan sa MusicLab eksperimento nga nagpakita sa relasyon tali sa hangyo ug kalampusan (Salganik, Dodds, and Watts 2006) . Ang x-axis mao ang merkado nga bahin sa awit sa independente nga kalibutan, nga nag-alagad ingon nga usa ka sukod sa apelar sa kanta, ug ang y-axis mao ang merkado nga bahin sa mao nga awit sa 8 mga social impluwensya kalibutan, nga nag-alagad ingon sa usa ka sukod sa kalampusan sa mga awit. Among nakita nga ang pagdugang sa sosyal nga impluwensya nga ang mga partisipante nasinati-ilabi, ang kausaban sa Layout gikan sa eksperimento 1 sa pag-eksperimento sa 2 (Figure 4.21) -caused kalampusan nga mahimong labaw nga unpredictable, ilabi na alang sa mga labing taas nga apelar songs.

MusicLab nakahimo sa pagdagan sa esensya zero baryable gasto tungod sa dalan nga kini gidisenyo. Una, ang tanan sa bug-os automated mao nga kini makahimo sa pagdagan samtang ako natulog. Ikaduha, ang bayad mao ang free music mao walay baryable partisipante bayad gasto. Ang paggamit sa musika sama sa bayad usab sa ilustrar kon sa unsang paagi nga adunay usahay usa ka trade-off tali sa natudlong gasto ug baryable gasto. Pinaagi sa paggamit sa musika misaka sa natudlong gasto tungod kay ako nga mogahin og panahon sa pagsiguro sa pagtugot gikan sa mga higot ug sa pag-andam sa mga taho alang sa mga panon sa sa kasundalohan bahin sa mga partisipante 'reaksyon sa ilang musika. Apan, sa niini nga kaso, sa pagdugang sa natudlong gasto aron sa pagkunhod sa baryable gasto mao ang matarung nga butang sa pagbuhat sa; nga kon unsa ang nakahimo kanato sa pagdagan sa usa ka eksperimento nga mga 100 ka mga panahon nga mas dako pa kay sa usa ka sumbanan nga eksperimento lab.

Dugang pa, ang MusicLab eksperimento sa pagpakita nga ang zero baryable gasto dili mahimo nga usa ka katapusan sa iyang kaugalingon; hinoon, kini mahimong usa ka paagi sa nagdagan sa usa ka bag-o nga matang sa eksperimento. Matikdi nga wala kami mogamit sa tanan sa atong mga partisipante sa pagdagan sa usa ka sumbanan nga sosyal nga impluwensya lab eksperimento 100 nga mga panahon. Hinunoa, atong gibuhat sa usa ka butang sa lain-laing, nga kamo maghunahuna sa ingon nga pagbalhin gikan sa usa ka psychological eksperimento sa usa ka katilingban nga eksperimento (Hedström 2006) . Imbes focus sa indibidwal nga desisyon-making, focus nato ang atong eksperimento sa pagkapopular, usa ka kolektibong resulta. Kini nga switch sa usa ka collective nga resulta nagpasabot nga kita gikinahanglan 700 partisipante sa pagmugna sa usa ka punto nga data (may 700 ka mga tawo sa matag usa sa susama sa mga kalibutan). scale nga posible lamang tungod sa gasto gambalay sa eksperimento. Sa kinatibuk-an, kon ang mga tigdukiduki nga gusto sa pagtuon kon sa unsang paagi sa kolektibo nga resulta bumangon ka gikan sa indibidwal nga mga desisyon, grupo eksperimento sama MusicLab kaayo kulbahinam. Sa nangagi, sila eksaktong pagtimbang-timbang lisud, apan ang mga suliran nagakalawos nga tungod sa posibilidad sa zero baryable nga data gasto.

Dugang pa sa ilustrar sa mga benepisyo sa zero baryable data sa gasto, ang MusicLab eksperimento nagpakita usab sa usa ka hagit sa niini nga paagi: hatag-as nga natudlong gasto. Sa akong kahimtang, ako hilabihan swerte nga makahimo sa pagtrabaho uban sa usa ka talento nga web developer nga si Pedro Hausel alang sa mga unom ka bulan sa pagtukod sa eksperimento. Kini mao ang posible nga lamang tungod kay ang akong advisor, Duncan Watts, nakadawat sa usa ka gidaghanon sa mga grants sa pagsuporta sa niini nga matang sa research. Technology miuswag sukad gitukod kita MusicLab sa 2004, ug kini nga mas sayon ​​sa pagtukod sa usa ka eksperimento nga sama niini karon. Apan, nga hatag-as natudlong gasto nga mga pamaagi mao ang tinuod nga lamang sa mahimo alang sa mga tigdukiduki nga mahimo daw pagtabon sa mga gasto.

Sa konklusyon, digital eksperimento makabaton mahinuklugong lain-laing mga gasto istruktura kay sa Analog mga eksperimento. Kon kamo gusto nga modagan tinuod nga dako nga eksperimento, kamo kinahanglan mosulay sa pagkunhod sa imong baryable gasto ingon sa daghan nga kutob sa mahimo ug sa minithi sa tanan nga mga paagi sa 0. Mahimo mo kini pinaagi sa automating sa mga mekaniko sa imong eksperimento (pananglitan, ilis sa tawo panahon uban sa computer sa panahon) ug pagdesinyo eksperimento nga ang mga tawo nga gusto nga mahimong sa. mga tigdukiduki nga mahimo sa pagdisenyo eksperimento uban sa niini nga mga bahin makahimo sa pagdagan sa bag-ong matang sa mga eksperimento nga dili mahimo sa nangagi.