4.4 Paglilipat lampas sa simpleng mga eksperimento
Lumipat tayo sa mga simpleng eksperimento. Ang tatlong konsepto ay kapaki-pakinabang para sa mga rich experiments: validity, heterogeneity ng effects treatment, at mga mekanismo.
Ang mga mananaliksik na bago sa mga eksperimento ay madalas na nakatuon sa isang napaka tiyak at makitid na tanong: Ang "paggamot" ba ng paggamot na ito? Halimbawa, ang isang tawag sa telepono mula sa isang boluntaryo ay hinihikayat ang isang tao na bumoto? Ang pagpapalit ba ng isang website na pindutan mula sa asul hanggang sa berde ay nagpapataas ng click-through rate? Sa kasamaang palad, ang maluwag na pagbigkas tungkol sa kung ano ang "gumagana" ay nakakubli sa katotohanan na ang mga nakikitang mga eksperimento na nakatuon ay hindi talaga nagsasabi sa iyo kung ang isang paggamot ay "gumagana" sa isang pangkalahatang kahulugan. Sa halip, ang mga makitid na nakatuon na mga eksperimento ay sumasagot ng isang mas partikular na tanong: Ano ang average na epekto ng partikular na paggamot na ito sa partikular na pagpapatupad para sa populasyon ng mga kalahok na ito sa oras na ito? Tatawag ako ng mga eksperimento na nakatuon sa makitid na tanong na simpleng mga eksperimento .
Ang simpleng mga eksperimento ay maaaring magbigay ng mahalagang impormasyon, ngunit hindi nila sagutin ang maraming mga katanungan na kapwa mahalaga at kawili-wili, tulad ng kung mayroong ilang mga tao kung saan ang paggamot ay may mas malaki o mas maliit na epekto; kung mayroong isa pang paggamot na magiging mas epektibo; at kung ang eksperimentong ito ay may kaugnayan sa mas malawak na mga teorya ng panlipunan.
Upang ipakita ang halaga ng paglipat na lampas sa mga simpleng eksperimento, isaalang-alang natin ang isang eksperimentong analog na patlang ni P. Wesley Schultz at mga kasamahan sa ugnayan sa pagitan ng mga panlipunan na pamantayan at paggamit ng enerhiya (Schultz et al. 2007) . Si Schultz at mga kasamahan ay nagsuot ng mga pinto sa 300 kabahayan sa San Marcos, California, at ang mga pintuan ay naghahatid ng iba't ibang mga mensahe na dinisenyo upang hikayatin ang konserbasyon ng enerhiya. Pagkatapos, sinukat ng Schultz at kasamahan ang epekto ng mga mensaheng ito sa paggamit ng kuryente, kapwa pagkatapos ng isang linggo at pagkatapos ng tatlong linggo; tingnan ang tayahin 4.3 para sa mas detalyadong paglalarawan ng eksperimentong disenyo.
Figure 4.3: Schematic ng experimental na disenyo mula sa Schultz et al. (2007) . Ang eksperimento sa larangan ay may kinalaman sa pagbisita sa mga 300 na sambahayan sa San Marcos, California limang beses sa loob ng walong linggong panahon. Sa bawat pagdalaw, ang mga mananaliksik ay manu-manong kumuha ng pagbabasa mula sa metro ng kapangyarihan ng bahay. Sa dalawa sa mga pagbisita, inilagay nila ang mga doorhanger sa bawat bahay na nagbibigay ng ilang impormasyon tungkol sa paggamit ng enerhiya ng sambahayan. Ang pananaliksik na tanong ay kung paano ang nilalaman ng mga mensaheng ito ay makakaapekto sa paggamit ng enerhiya.
Ang eksperimento ay may dalawang kondisyon. Sa una, ang mga sambahayan ay nakatanggap ng pangkalahatang mga tip sa pag-save ng enerhiya (halimbawa, gumamit ng mga tagahanga sa halip na mga air conditioner) at impormasyon tungkol sa paggamit ng kanilang enerhiya kumpara sa average na paggamit ng enerhiya sa kanilang kapitbahayan. Tinawag ito ng Schultz at mga kasamahan na ang mapaglarawang kalagayan ng normatibo dahil ang impormasyon tungkol sa paggamit ng enerhiya sa kapitbahayan ay nagbigay ng impormasyon tungkol sa tipikal na pag-uugali (ibig sabihin, isang mapaglarawang pamantayan). Nang makita ng Schultz at mga kasamahan ang nagresultang paggamit ng enerhiya sa grupong ito, lumilitaw ang paggamot na walang epekto, sa alinman sa maikli o pangmatagalan; sa ibang salita, ang paggamot ay hindi mukhang "gumana" (larawan 4.4).
Sa kabutihang palad, ang Schultz at mga kasamahan ay hindi tumira para sa simplistic na pagtatasa. Bago magsimula ang eksperimento, nangangatuwiran nila na ang mabigat na gumagamit ng koryente-ang mga tao sa itaas ng ibig sabihin nito-ay maaaring mabawasan ang kanilang pagkonsumo, at ang mga gumagamit ng kuryente na iyon sa liwanag-ang mga tao sa ibaba ng ibig sabihin-ay maaaring tumaas ang kanilang pagkonsumo. Kapag tiningnan nila ang data, iyon mismo ang natagpuan nila (tayahin 4.4). Kaya, kung ano ang mukhang isang paggamot na walang epekto ay talagang isang paggamot na may dalawang epekto sa pagbawas. Ang counterproductive na pagtaas sa mga gumagamit ng liwanag ay isang halimbawa ng isang epekto ng bumerang , kung saan ang paggamot ay maaaring magkaroon ng kabaligtaran na epekto mula sa kung ano ang nilayon.
Figure 4.4: Mga resulta mula sa Schultz et al. (2007) . Ipinapakita ng panel (a) na ang tinutukoy na paggamot sa pamantayan ay may tinatayang zero average na paggamot na epekto. Gayunpaman, ang panel (b) ay nagpapakita na ang average na epekto ng paggamot ay aktwal na binubuo ng dalawang mga epekto sa pag-offset. Para sa mga mabibigat na gumagamit, ang paggamot ay bumaba sa paggamit ngunit para sa mga gumagamit ng liwanag, ang paggamot ay nadagdagan ang paggamit. Sa wakas, ang panel (c) ay nagpapakita na ang pangalawang paggamot, na ginamit na mga mapaglarawan at maayos na mga pamantayan, ay may halos parehong epekto sa mabigat na gumagamit ngunit pinahina ang epekto ng bumero sa mga gumagamit ng liwanag. Inangkop mula sa Schultz et al. (2007) .
Kasabay ng unang kondisyon, tumakbo din ang ikalawang kalagayan ng Schultz at mga kasamahan. Ang mga sambahayan sa ikalawang kondisyon ay nakatanggap ng eksaktong parehong paggamot-pangkalahatang mga tip sa pag-iilaw ng enerhiya at impormasyon tungkol sa paggamit ng enerhiya ng kanilang bahay kumpara sa average para sa kanilang kapitbahayan-na may isang maliit na karagdagan: para sa mga taong may average na pagkonsumo sa ibaba, ang mga mananaliksik ay nagdagdag ng isang: ) at para sa mga taong may higit sa average na pagkonsumo ay idinagdag nila ang: (Ang mga emoticon ay idinisenyo upang mag-trigger kung ano ang tinatawag ng mga mananaliksik na mga injunctive na pamantayan . Ang mga pamantayan ng injunctive ay tumutukoy sa mga pananaw ng kung ano ang karaniwang naaprubahan (at hindi naaprubahan), samantalang ang mga pamamaraang sumasagisag ay tumutukoy sa mga pananaw ng kung ano ang karaniwang ginagawa (Reno, Cialdini, and Kallgren 1993) .
Sa pamamagitan ng pagdaragdag ng isang maliit na emoticon na ito, ang mga mananaliksik ay lubhang nagbawas ng epekto ng bumerang (tayahin 4.4). Kaya, sa pamamagitan ng paggawa ng isang simpleng pagbabago-isang pagbabago na naudyukan ng isang abstract panlipunan sikolohikal na teorya (Cialdini, Kallgren, and Reno 1991) -ang mga mananaliksik ay nakapag-turn ng isang programa na tila hindi gumagana sa isa na nagtrabaho, at, nang sabay-sabay, nakapag-ambag sila sa pangkalahatang pagkaunawa kung paano naaapektuhan ng mga kaugalian sa lipunan ang pag-uugali ng tao.
Gayunpaman, sa puntong ito, maaari mong mapansin na ang isang bagay ay medyo iba tungkol sa eksperimentong ito. Sa partikular, ang eksperimento ng Schultz at mga kasamahan ay hindi talaga magkaroon ng isang grupo ng kontrol sa parehong paraan na ang mga randomized na kinokontrol na eksperimento ay ginagawa. Ang paghahambing sa pagitan ng disenyo at ng Restivo at van de Rijt ay naglalarawan ng mga pagkakaiba sa pagitan ng dalawang pangunahing mga pang-eksperimentong disenyo. Sa pagitan ng mga disenyo ng paksa , tulad ng Restivo at van de Rijt, mayroong isang grupo ng paggamot at isang grupo ng kontrol. Sa mga disenyo ng (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) paksa , sa kabilang banda, ang pag-uugali ng mga kalahok ay inihambing bago at pagkatapos ng paggamot (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Sa isang eksperimentong nasa loob ng paksa ay tulad ng kung ang bawat kalahok ay gumaganap bilang kanyang sariling grupo ng kontrol. Ang lakas ng mga disenyo sa pagitan ng mga paksa ay nagbibigay ng proteksyon laban sa mga confounders (tulad ng inilarawan ko nang mas maaga), habang ang lakas ng mga eksperimento sa loob ng paksa ay nadagdagan ang katumpakan ng mga pagtatantya. Panghuli, upang isaalang-alang ang isang ideya na darating sa ibang pagkakataon kapag nag-aalok ako ng payo tungkol sa pagdidisenyo ng mga digital na eksperimento, ang isang disenyo ay nagsasama ng pinahusay na katumpakan ng mga disenyo ng panloob na paksa at ang proteksyon laban sa pagkakalantad ng mga disenyo sa pagitan ng mga paksa (tayahin 4.5).
Figure 4.5: Tatlong pang-eksperimentong disenyo. Ang karaniwang mga random na kinokontrol na mga eksperimento ay gumagamit ng mga disenyo sa pagitan ng paksa . Ang isang halimbawa ng isang disenyo sa pagitan ng paksa ay ang eksperimento ng Restivo at van de Rijt (2012) sa mga barnstar at kontribusyon sa Wikipedia: ang mga mananaliksik ay random na hinati ang mga kalahok sa mga grupo ng paggamot at kontrol, nagbigay ng mga kalahok sa grupo ng paggamot isang barnstar, at inihambing ang mga resulta para sa dalawang grupo. Ang ikalawang uri ng disenyo ay isang disenyo sa loob-paksa . Ang dalawang eksperimento sa Schultz at mga kasamahan ' (2007) pag-aaral sa mga kaugalian sa panlipunan at paggamit ng enerhiya ay naglalarawan ng isang disenyo sa loob ng paksa: ang mga mananaliksik kumpara sa paggamit ng kuryente ng mga kalahok bago at pagkatapos matanggap ang paggamot. Ang mga disenyo ng loob-paksa ay nag-aalok ng pinahusay na katumpakan ng istatistika, ngunit bukas ang mga ito sa mga posibleng confounders (halimbawa, mga pagbabago sa panahon sa pagitan ng mga panahon ng pre-paggamot at paggamot) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Ang mga disenyo ng loob-paksa ay paminsan-minsan ay tinatawag ding mga paulit-ulit na mga disenyo ng panukala. Sa wakas, ang mga pinagsamang disenyo ay pinagsama ang pinabuting katumpakan ng mga disenyo ng panloob na paksa at ang proteksyon laban sa pagtatambol ng mga disenyo sa pagitan ng mga paksa. Sa isang magkahalong disenyo, itinuturing ng isang mananaliksik ang pagbabago sa mga resulta para sa mga tao sa mga grupo ng paggamot at kontrol. Kapag ang mga mananaliksik ay mayroon nang pre-treatment na impormasyon, tulad ng kaso sa maraming mga digital na eksperimento, ang mga halo-halong disenyo ay karaniwang mas mainam sa mga disenyo ng pagitan ng paksa dahil nagreresulta ito sa pinabuting katumpakan ng mga pagtatantya.
Sa pangkalahatan, ang disenyo at mga resulta ng pag-aaral ni Schultz at mga kasamahan (2007) nagpapakita ng halaga ng paglipat na lampas sa mga simpleng eksperimento. Sa kabutihang palad, hindi mo kailangang maging isang creative na likas na kakayahan upang magdisenyo ng mga eksperimentong tulad nito. Ang mga sosyal na siyentipiko ay bumuo ng tatlong konsepto na gagabay sa iyo patungo sa mas mahusay na mga eksperimento: (1) bisa, (2) heterogeneity ng mga epekto sa paggamot, at (3) mekanismo. Iyon ay, kung itinatago mo ang tatlong ideya na ito habang ikaw ay nagdidisenyo ng iyong eksperimento, ikaw ay likas na lumikha ng isang mas kawili-wili at kapaki-pakinabang na eksperimento. Upang ilarawan ang tatlong konsepto na ito sa pagkilos, ilalarawan ko ang isang bilang ng mga follow-up na bahagyang digital na mga eksperimento sa field na binuo sa eleganteng disenyo at kapana-panabik na mga resulta ng Schultz at mga kasamahan (2007) . Tulad ng makikita mo, sa pamamagitan ng mas maingat na disenyo, pagpapatupad, pag-aaral, at interpretasyon, maaari ka ring lumipat sa mga simpleng eksperimento.
