4.6.1 Sukurti nulis kintamosios sąnaudos duomenis

Didelių eksperimentų vykdymo raktas - nukreipti kintamąsias išlaidas nuliui. Geriausi būdai tai padaryti yra automatizavimas ir malonių eksperimentų kūrimas.

Skaitmeniniai eksperimentai gali turėti žymiai skirtingų sąnaudų struktūrų, o tai leidžia mokslininkams atlikti praeityje neįmanomus eksperimentus. Vienas iš būdų galvoti apie šį skirtumą yra atkreipti dėmesį į tai, kad eksperimentams paprastai būdingos dviejų rūšių išlaidos: fiksuotos išlaidos ir kintamos išlaidos. Fiksuotos išlaidos yra išlaidos, kurios lieka nepakitę, nepriklausomai nuo dalyvių skaičiaus. Pavyzdžiui, laboratorijos eksperimente pastovios išlaidos gali būti vietos nuomos ir baldų pirkimo išlaidos. Kita vertus, kintamosios išlaidos keičiasi priklausomai nuo dalyvių skaičiaus. Pavyzdžiui, laboratorijos eksperimente kintamosios sąnaudos gali būti mokamos darbuotojams ir dalyviams. Apskritai analoginiai eksperimentai turi mažas fiksuotas išlaidas ir didelės kintamos sąnaudos, o skaitmeniniuose eksperimentuose yra didelės fiksuotos išlaidos ir mažos kintamos sąnaudos (4.19 pav.). Nors skaitmeniniai eksperimentai turi mažas kintamas išlaidas, jūs galite sukurti daugybę įdomių galimybių, kai kintamasis kinta iki nulio.

4.19 pav. Sumos sąnaudų struktūros analizei ir skaitmeniniams eksperimentams. Apskritai analoginiai eksperimentai turi mažas fiksuotąsias sąnaudas ir dideles kintamas sąnaudas, o skaitmeniniai eksperimentai turi didelių fiksuotų sąnaudų ir mažų kintamų sąnaudų. Skirtingos sąnaudų struktūros reiškia, kad skaitmeniniai eksperimentai gali vykti tokiu mastu, kurio negalima atlikti naudojant analoginius eksperimentus.

4.19 pav. Sumos sąnaudų struktūros analizei ir skaitmeniniams eksperimentams. Apskritai analoginiai eksperimentai turi mažas fiksuotąsias sąnaudas ir dideles kintamas sąnaudas, o skaitmeniniai eksperimentai turi didelių fiksuotų sąnaudų ir mažų kintamų sąnaudų. Skirtingos sąnaudų struktūros reiškia, kad skaitmeniniai eksperimentai gali vykti tokiu mastu, kurio negalima atlikti naudojant analoginius eksperimentus.

Yra du pagrindiniai kintamųjų sąnaudų mokėjimų darbuotojams ir mokėjimų dalyviams aspektai, ir kiekviena iš jų gali būti nukreipta į nulį naudojant skirtingas strategijas. Mokėjimai darbuotojams atsiranda dėl to, kad moksliniai padėjėjai verbia dalyvius, teikia gydymo būdus ir įvertina rezultatus. Pavyzdžiui, "Schultz" ir jo kolegų (2007) Analogiško lauko eksperimentas dėl elektros energijos naudojimo reikalavo, kad asistentai keliauja į kiekvieną namą, kad galėtų atlikti gydymą ir skaityti elektrinį skaitiklį (4.3 pav.). Visos šios mokslinių tyrimų asistentų pastangos reikštų, kad pridėjus naują namų ūkį į tyrimą būtų padidintos išlaidos. Kita vertus, žurnalo "Restivo" ir "van de Rijt" (2012) Skaitmeninio lauko eksperimentas dėl apdovanojimų poveikio Wikipedia redaktoriams, mokslininkai galėtų beveik be papildomų išlaidų pridėti daugiau dalyvių. Bendra kintamųjų administracinių išlaidų mažinimo strategija yra žmonių darbas (kuris yra brangus), kuris pakeičia kompiuterio darbą (kuris yra pigus). Apytiksliai galite paklausti savęs: ar šis eksperimentas gali būti vykdomas, o visi mano tyrinėtojų komanda miega? Jei atsakymas yra "taip", jūs padarėte puikų automatizavimo darbą.

Antroji pagrindinė kintamųjų sąnaudų rūšis yra mokėjimai dalyviams. Kai kurie mokslininkai naudojo "Amazon Mechanical Turk" ir kitas internetines darbo rinkas, norėdami sumažinti dalyviams reikalingus mokėjimus. Kad būtų galima valdyti kintamas išlaidas iki nulio, tačiau reikia kitokio požiūrio. Ilgus metus mokslininkai sukūrė tokius nuobodus eksperimentus, kuriuos jie turi mokėti žmonėms dalyvauti. Bet kas būtų, jei galėtumėte sukurti eksperimentą, kurį žmonės norėtų būti? Tai gali atrodyti labai nuodugniai, tačiau aš parodysiu pavyzdį iš savo paties darbo, o 4.4 lentelėje yra daugiau pavyzdžių. Atkreipkite dėmesį, kad ši idėja parengti malonius eksperimentus atspindi kai kurias 3 skyriuje pateiktas temas, susijusias su malonesnių apklausų rengimu, o 5 skyriuje - apie masinio bendradarbiavimo projektą. Taigi, manau, kad dalyvio malonumas (tai, kas taip pat gali būti vadinama "naudotojo patirtimi"), bus vis svarbesnė mokslinių tyrimų dizaino dalis skaitmeniniame amžiuje.

4.4 lentelė. Eksperimentų, kuriuose yra nulinės kintamos kainos, pavyzdžiai, kuriems kompensuojami dalyviai, turintys vertingą paslaugą ar malonų patyrimą.
Kompensacija Nuorodos
Svetainė su informacija apie sveikatą Centola (2010)
Pratimai programa Centola (2011)
Nemokama muzika Salganik, Dodds, and Watts (2006) ; Salganik and Watts (2008) ; Salganik and Watts (2009b)
Linksmas žaidimas Kohli et al. (2012)
Filmo rekomendacijos Harper and Konstan (2015)

Jei norite sukurti eksperimentus su nuliniais kintamųjų sąnaudų duomenimis, turėsite užtikrinti, kad viskas būtų visiškai automatizuota ir kad dalyviams nereikia jokių mokėjimų. Norint parodyti, kaip tai įmanoma, apibūdinsiu savo disertacijos tyrimą apie kultūros produktų sėkmę ir nesėkmę.

Mano disertaciją sukėlė siaučiantis kultūrinių produktų sėkmės pobūdis. Hit dainos, populiariausi knygos ir "Blockbuster" filmai yra daug gerokai sėkmingesni nei vidutiniškai. Dėl šios priežasties šių produktų rinkos dažnai vadinamos "nugalėtoju-viskas" visame rinkose. Tačiau tuo pat metu, kokia konkreti daina, knyga ar filmas taps sėkminga, yra nepaprastai nenuspėjama. Scenaristas Viljamas Goldmanas (1989) Elegantiškai apibendrino daugybę akademinių tyrimų, sakydamas, kad, kai kalbama apie sėkmės prognozavimą, "niekas nieko nežino". Visų rinkų nugalėtojas netikėtai prognozavo man, kiek sėkmės rezultatas kokybės ir kiek tik laimės. Arba, išreikšdami šiek tiek kitaip, jei galėtume sukurti lygiagrečius pasaulius ir visi jie vystytųsi savarankiškai, ar tos pačios dainos taptų populiarios kiekviename pasaulyje? O jei ne, koks gali būti mechanizmas, kuris sukelia šiuos skirtumus?

Norint atsakyti į šiuos klausimus, mes - Peter Dodds, Duncan Watts (mano disertacijos patarėjas) ir aš surengiau eilę internetinių lauko eksperimentų. Visų pirma sukūrėme svetainę, pavadintą "MusicLab", kur žmonės galėjo atrasti naują muziką, ir mes ją panaudojome daugybei eksperimentų. Mes įdarbinome dalyvius, rodydami reklaminius skelbimus paauglių interesų tinklalapyje (4.20 pav.) Ir paminėję žiniasklaidoje. Dalyviai, atvykę į mūsų svetainę, pateikė informuotą sutikimą, parengė trumpą fono anketą ir atsitiktinai priskirti vienai iš dviejų eksperimentinių sąlygų - nepriklausomos ir socialinės įtakos. Nepriklausomai nuo to, dalyviai priėmė sprendimus, apie kurias dainas galima klausytis, nurodant tik grupių ir dainų pavadinimus. Klausydamiesi dainos, dalyviai buvo paprašyti įvertinti, po kurio jie turėjo galimybę (bet ne pareiga) atsisiųsti dainą. Socialinės įtakos sąlygomis dalyviai turėjo tą patį patyrimą, išskyrus tuos atvejus, kai jie taip pat matė, kiek kartų kiekviena daina buvo atsisiųsta ankstesnių dalyvių. Be to, socialinės įtakos sąlygos dalyviai buvo atsitiktinai priskiriami vienam iš aštuonių lygiagrečių pasaulių, kurių kiekvienas išsivystė savarankiškai (4.21 pav.). Naudodamiesi šia konstrukcija, atlikome du susijusius eksperimentus. Pirma, mes pristatėme dainas dalyviams nerūšiuotuose tinkleliuose, kurie jiems suteikė silpną populiarumo signalą. Antrojo eksperimento metu mes pristatėme dainas reitinguojamame sąraše, kuris suteikė daug geresnio populiarumo signalo (4.22 pav.).

4.20 pav. Reklaminio skelbimo pavyzdys, kurio metu kolegos ir aš dalyvavome "MusicLab" eksperimentuose (Salganik, Dodds, Watts 2006). Atspausdinta iš "Salganik" leidimo (2007 m.), 2.12 pav.

4.20 pav. Reklaminio skelbimo pavyzdys, kurio metu kolegos ir aš dalyvavome " (Salganik, Dodds, and Watts 2006) eksperimentuose (Salganik, Dodds, and Watts 2006) . Salganik (2007) iš " Salganik (2007) " leidimo Salganik (2007) , 2.12 pav.

4.21 pav. Eksperimentinis "MusicLab" eksperimento dizainas (Salganik, Dodds, Watts 2006). Dalyviai buvo atsitiktinai paskirstyti į vieną iš dviejų sąlygų: nepriklausomą ir socialinę įtaką. Nepriklausomos sąlygos dalyviai pasirinko be informacijos apie tai, ką darė kiti žmonės. Socialinės įtakos sąlygos dalyviai buvo atsitiktinai priskirti vienam iš aštuonių lygiagrečių pasaulių, kur jie galėjo matyti populiarumą (pagal ankstesnių dalyvių parsisiuntimus) kiekvienoje savo pasaulio dainoje, bet jie nematė jokios informacijos apie tai, ar jie net žinoti apie bet kurio kito pasaulio egzistavimą. Pritaikytas iš Salganik, Doddso ir Wattso (2006), pav. S1.

4.21 pav. Eksperimentinis " (Salganik, Dodds, and Watts 2006) eksperimento dizainas (Salganik, Dodds, and Watts 2006) . Dalyviai buvo atsitiktinai paskirstyti į vieną iš dviejų sąlygų: nepriklausomą ir socialinę įtaką. Nepriklausomos sąlygos dalyviai pasirinko be informacijos apie tai, ką darė kiti žmonės. Socialinės įtakos sąlygos dalyviai buvo atsitiktinai priskirti vienam iš aštuonių lygiagrečių pasaulių, kur jie galėjo matyti populiarumą (pagal ankstesnių dalyvių parsisiuntimus) kiekvienoje savo pasaulio dainoje, bet jie nematė jokios informacijos apie tai, ar jie net žinoti apie bet kurio kito pasaulio egzistavimą. Pritaikytas iš Salganik, Dodds, and Watts (2006) , pav. Salganik, Dodds, and Watts (2006) .

Pastebėjome, kad dainų populiarumas visame pasaulyje skiriasi, todėl sėkmė vaidina svarbų vaidmenį. Pavyzdžiui, viename pasaulyje 52Metro dainos "Lockdown" pasirodė 1-oje iš 48 dainų, o kitame pasaulyje ji buvo 40-oje. Tai buvo ta pati daina, kuri konkuruoja su visomis kitomis dainomis, tačiau viename pasaulyje ji pasisekė, o kitose - ne. Be to, palyginus dviejų eksperimentų rezultatus, mes nustatėme, kad socialinė įtaka padidina šių rinkų pranašumą nugalėtojui, o tai galbūt rodo įgūdžių svarbą. Tačiau, žvelgdami į pasaulius (kurių negalime padaryti ne tokio lygiagrečio pasaulio eksperimento metu), mes nustatėme, kad socialinė įtaka iš tiesų padidino sėkmės svarbą. Be to, stebėtinai tai buvo didžiausio skundo dainos, kuriose labiausiai sekėsi sėkmė (4.23 pav.).

4.22 paveikslas. Ekrano nuotraukos iš socialinės įtakos sąlygų "MusicLab" eksperimentuose (Salganik, Dodds ir Watts 2006). Esant 1-ojo eksperimento socialinės įtakos sąlygoms, dainos kartu su ankstesnių parsiųstymų skaičiumi buvo pristatytos dalyviams, išdėstytiems 16 × 3 stačiakampio formos tinklelyje, kur dainų pozicijos buvo atsitiktinai priskirtos kiekvienam dalyviui. 2 eksperimento metu socialinės įtakos sąlygos dalyviams buvo parodytos dainos, kurių parsisiuntimo skaičius buvo pateiktas viename stulpelyje mažėjančia populiarumo tvarka.

4.22 paveikslas. Ekrano nuotraukos iš socialinės įtakos sąlygų " (Salganik, Dodds, and Watts 2006) eksperimentuose (Salganik, Dodds, and Watts 2006) . Esant socialinei įtaka 1 eksperimento metu dainos kartu su ankstesnių parsiųčių skaičiumi buvo pristatytos dalyviams, išdėstytiems 16 \(\times\) 3 stačiakampio tinklelyje, kur dainų pozicijos buvo atsitiktinai priskirtos kiekvienai dalyvis. 2 eksperimento metu socialinės įtakos sąlygos dalyviams buvo parodytos dainos, kurių parsisiuntimo skaičius buvo pateiktas viename stulpelyje mažėjančia populiarumo tvarka.

4.23 pav. "MusicLab" eksperimentų rezultatai, parodantys ryšį tarp apeliacijos ir sėkmės (Salganik, Dodds ir Watts 2006). "X" ašis yra dainos rinkos dalis nepriklausomame pasaulyje, kuri naudojama kaip dainos patrauklumo priemonė, o y ašis yra tos pačios dainos rinkos dalis aštuoniose socialinės įtakos pasauliuose, kuri tarnauja kaip dainų sėkmės priemonė. Mes nustatėme, kad didėjanti socialinė įtaka, kurią patyrė dalyviai, būtent, išdėstymo pokytis nuo eksperimento 1 iki eksperimento 2 (4.22 pav.) - sukėlė sėkmę tapti labiau nenuspėjama, ypač dainoms su aukščiausiu apeliuotumu. Pritaikytas iš Salganik, Doddso ir Wattso (2006), 3 pav.

4.23 pav. "MusicLab" eksperimentų rezultatai, parodantys ryšį tarp apeliacijos ir sėkmės (Salganik, Dodds, and Watts 2006) . \(x\) -akis yra dainos rinkos dalis nepriklausomame pasaulyje, kuri naudojama kaip dainos patrauklumo priemonė, o \(y\) -akis yra tos pačios dainos rinkos dalis aštuonios socialinės įtakos pasauliai, kurie padeda vertinti dainų sėkmę. Mes nustatėme, kad didėjanti socialinė įtaka, kurią patyrė dalyviai, būtent, išdėstymo pokytis nuo eksperimento 1 iki eksperimento 2 (4.22 pav.) - sukėlė sėkmę tapti labiau nenuspėjama, ypač dainoms su aukščiausiu apeliuotumu. Pritaikytas iš Salganik, Dodds, and Watts (2006) , 3 pav.

"MusicLab" galėjo veikti pagal iš esmės nulines kintamas išlaidas, nes jis buvo sukurtas. Pirma, viskas buvo visiškai automatizuota, kad galėčiau veikti, kol mačiau miegą. Antra, kompensacija buvo nemokama muzika, taigi nebuvo jokių kintamųjų dalyvių kompensavimo išlaidų. Muzikos naudojimas kaip kompensacija taip pat parodo, kaip kartais kyla kompromisas tarp fiksuotų ir kintamų sąnaudų. Naudojant muziką padidėjo fiksuotos išlaidos, nes man teko praleisti laiką, kad gautų leidimą iš grupės ir parengtų jiems ataskaitas apie dalyvių reakciją į jų muziką. Tačiau šiuo atveju teisingas dalykas buvo didėjančios fiksuotos išlaidos, siekiant sumažinti kintamųjų išlaidas; tai leido mums atlikti eksperimentą, kuris buvo apie 100 kartų didesnis nei standartinis laboratorinis eksperimentas.

Be to, "MusicLab" eksperimentai rodo, kad nulinė kintama kaina neturi būti savaime pabaiga; o tai gali būti būdas atlikti naujo tipo eksperimentą. Atkreipkite dėmesį, kad mes nenaudojome visų mūsų dalyvių, norėdami 100 kartų atlikti standartinį socialinės įtakos laboratorijos eksperimentą. Vietoj to mes padarėme kažką kitokio, kurį galėtumėte galvoti kaip perėjimą nuo psichologinio eksperimento į sociologinę (Hedström 2006) . Užuot sutelkę dėmesį į individualų sprendimų priėmimą, mes sutelkėme savo eksperimentą į populiarumą, bendrą rezultatą. Šis perėjimas prie kolektyvinio rezultato reiškia, kad mums reikėjo apie 700 dalyvių, norėdami sukurti vieną duomenų tašką (kiekviename lygiagrečiame pasaulyje buvo 700 žmonių). Šis skalė buvo įmanoma tik dėl eksperimento sąnaudų struktūros. Apskritai, jei mokslininkai nori mokytis, kaip kolektyviniai rezultatai atsiranda dėl atskirų sprendimų, grupės eksperimentai, tokie kaip "MusicLab", yra labai įdomūs. Anksčiau jie buvo logistikos sunkumai, tačiau šie sunkumai išnyksta dėl galimybės gauti nulinius kintamųjų sąnaudų duomenis.

Be to, kad iliustruotų nulinių kintamųjų sąnaudų duomenų naudą, "MusicLab" eksperimentai taip pat rodo iššūkį taikant šį metodą: didelės fiksuotos išlaidos. Mano atveju man buvo labai pasisekė, kad galėčiau dirbti su talentingu interneto kūrėju, vardu Peter Hausel, apie šešis mėnesius eksperimento organizavimui. Tai buvo įmanoma tik todėl, kad mano patarėjas Duncanas Wattsas gavo daugybę dotacijų šiam tyrimui remti. Nuo to laiko, kai 2004 m. "MusicLab" sukūrėme technologiją, pagerėjo technologija, todėl dabar būtų daug lengviau sukurti tokį eksperimentą. Tačiau didelės fiksuotų sąnaudų strategijos yra tikrai galimos tik mokslininkams, kurie gali kažkaip padengti šias išlaidas.

Apibendrinant, skaitmeniniai eksperimentai gali turėti žymiai skirtingas sąnaudų struktūras nei analoginiai eksperimentai. Jei norite paleisti tikrai didelius eksperimentus, turėtumėte pabandyti kuo labiau sumažinti savo kintamąsias sąnaudas ir idealiu atveju iki nulio. Tai galite padaryti automatizuodami savo eksperimento mechanizmus (pvz., Pakeisdami žmogaus laiką kompiuteriu) ir kurdami eksperimentus, kuriuos žmonės nori būti. Tyrėjai, kurie gali kurti eksperimentus su šiomis funkcijomis, galės atlikti naujus eksperimentus, kurie buvo atlikti anksčiau neįmanoma. Tačiau gebėjimas kurti nulinius kintamųjų sąnaudų eksperimentus gali kelti naujus etikos klausimus, kuriuos aš dabar aptarsiu.