4.4 Paglilipat lampas sa simpleng mga eksperimento

Sabihin ilipat na lampas sa simpleng mga eksperimento Hayaan. Tatlong konsepto ay kapaki-pakinabang para sa mga rich mga eksperimento: bisa, heterogeneity ng mga epekto ng paggamot, at mekanismo.

Mananaliksik na bago sa mga eksperimento ay madalas na tumutok sa isang tiyak na takdang, makitid na katanungan: Ginagawa ito sa treatment "trabaho"? Halimbawa, ang isang tawag sa telepono mula sa isang volunteer hikayatin ang isang tao na bumoto? Ba pagbabago ng isang website button mula sa asul sa berde pagtaas click-through rate? Sa kasamaang palad, hindi kabit-kabit pagbigkas tungkol sa kung ano "gumagana" obscures ang katotohanan na makitid na nakatutok mga eksperimento ay hindi tunay na sabihin sa iyo kung ang isang paggamot "gumagana" sa isang pangkalahatang kamalayan. Sa halip, mahigpit na nakatutok eksperimento sagutin ang isang mas tiyak na tanong: ano ang average na epekto ng mga ito tiyak na paggamot na may ganitong mga tiyak na pagpapatupad para sa populasyong ito ng mga kalahok sa panahong ito? Tatawag ako eksperimento na tumutok sa mga ito makitid tanong simpleng mga eksperimento.

Simple eksperimento ay maaaring magbigay ng mahalagang impormasyon, ngunit mabibigo sila upang sagutin ang maraming mga katanungan na ay parehong mahalaga at kagiliw-giliw na tulad ng: ay may ilang mga tao para kung kanino ang paggamot ay nagkaroon ng isang mas malaki o mas maliit na epekto ?; ay may isa pang paggamot na ay magiging mas epektibo ?; at paano ang eksperimentong ito may kaugnayan sa mas malawak na sosyal theories?

Upang maipakita ang halaga ng paglipat ng lampas sa simpleng mga eksperimento, sabihin isaalang-alang ang isa sa aking mga paboritong analog eksperimento field, isang pag-aaral sa pamamagitan ng P. Wesley Schultz at kasamahan sa ugnayan sa pagitan social norms at enerhiya consumption (Schultz et al. 2007) . Schultz at kasamahan ay nag-hang doorhangers sa 300 kabahayan sa San Marcos, California, at ang mga ito doorhangers inihatid iba't ibang mga mensahe na dinisenyo upang hikayatin ang konserbasyon ng enerhiya. Pagkatapos, Schultz at kasamahan sinusukat ang epekto ng mga mensaheng ito sa koryente consumption, parehong pagkatapos ng isang linggo at tatlong linggo; tingnan ang Larawan 4.3 para sa isang mas detalyadong paglalarawan ng mga pang-eksperimentong disenyo.

Figure 4.3: Eskematiko ng disenyo mula sa Schultz et al. (2007) . Ang patlang eksperimento kasangkot pagbisita 300 kabahayan sa San Marcos, California limang beses sa loob ng isang panahon ng walong linggo. Sa bawat bisitahin ang mga mananaliksik nang manu-mano kinuha ng isang pagbabasa mula sa kapangyarihan meter ng bahay. Sa dalawang ng mga pagbisita ang mga mananaliksik na inilagay doorhangers sa bahay pagbibigay ng ilang impormasyon tungkol sa kanilang paggamit ng enerhiya. Ang pananaliksik tanong ay kung paano ang mga nilalaman ng mga mensaheng ito ay epekto enerhiya gamitin.

Ang eksperimento ay may dalawang kundisyon. Sa unang kalagayan, kabahayan nakatanggap pangkalahatang enerhiya nagse-save tips (eg, gamitin tagahanga sa halip ng air conditioners) at impormasyon tungkol sa paggamit ng enerhiya ang kanilang sambahayan kumpara sa average ng paggamit ng enerhiya sa kanilang mga kapitbahayan. Schultz at kasamahan na tinatawag na ito ang naglalarawan normatibo kondisyon dahil ang impormasyon tungkol sa paggamit ng enerhiya sa kanilang mga kapitbahayan ibinigay na impormasyon tungkol sa mga tipikal na pag-uugali (ie, isang naglalarawang pamantayan). Kapag Schultz at kasamahan ay tumingin sa ang mga nagresultang paggamit ng enerhiya sa grupong ito, ang paggamot ay lumitaw na magkaroon ng walang epekto, alinman sa short-term o ang pang-matagalang; sa ibang salita, ang paggamot ay hindi tila sa "trabaho" (Figure 4.4).

Ngunit, sa kabutihang-palad, Schultz et al. (2007) ay hindi tumira para sa ito simplistic analysis. Bago ang eksperimento, nangagpasimula sila reasoned na mabigat na mga gumagamit ng koryente-tao sa itaas ang ibig sabihin-maaaring mabawasan ang kanilang consumption, at ang liwanag ng mga gumagamit ng koryente-tao sa ibaba ang ibig sabihin-ay maaaring aktwal na madagdagan ang kanilang consumption. Kapag sila ay tumingin sa ang data, na eksakto kung ano sila ay natagpuan (Figure 4.4). Kaya, kung ano ang mukhang isang paggamot na ay nagkakaroon ng walang epekto ay tunay na isang paggamot na may dalawang offsetting effect. Ang mga mananaliksik na tinatawag na ito kontra-produktibong pagtaas sa gitna ng mga ilaw mga gumagamit ng isang boomerang effect.

Figure 4.4: Mga resulta mula sa Schultz et al. (2007) . Ang unang panel ay nagpapakita na ang mapaglarawang norm paggamot ay may isang tinatayang zero average epekto paggamot. Gayunman, ang ikalawang panel ay nagpapakita na ito average paggamot epekto ay aktwal na binubuo ng dalawang offsetting effect. Para sa mabigat na mga gumagamit, ang paggamot nabawasan paggamit ngunit para sa liwanag mga gumagamit, ang paggamot mas mataas na paggamit. Sa wakas, ang ikatlong panel ay nagpapakita na ang ikalawang paggamot, kung saan ginagamit mapaglarawan at injunctive kaugalian, nagkaroon halos ang parehong epekto sa mabigat na mga gumagamit ngunit mitigated ang boomerang effect sa liwanag mga gumagamit.

Dagdag dito, Schultz at kasamahan anticipated ang posibilidad na ito, at sa ikalawang kondisyon nila deployed isang bahagyang iba't ibang mga paggamot, isa explicitly dinisenyo upang puksain ang boomerang effect. Ang kabahayan sa ikalawang kondisyon natanggap ang eksaktong parehong paggamot-general enerhiya nagse-save ng mga tip at impormasyon tungkol sa paggamit ng enerhiya ang kanilang sambahayan kung ihahambing sa mga kanilang mga kapitbahayan-na may isang maliit na maliit karagdagan: sa mga taong may ibaba-average consumption, ang mga mananaliksik ay nagdagdag ng :) at para mga tao na may sa itaas-average consumption sila nagdagdag ng isang :(. ang mga emoticon ay dinisenyo upang ma-trigger kung ano ang mga mananaliksik na tinatawag na mapag-utos na kaugalian. uutos norms sumangguni sa perceptions ng kung ano ay karaniwang naaprubahan (at hindi naaprubahan) samantalang mapaglarawang norms sumangguni sa perceptions ng kung ano ang karaniwang ginagawa (Reno, Cialdini, and Kallgren 1993) .

Sa pamamagitan ng pagdaragdag ng isang ito maliit na maliit emoticon, ang mga mananaliksik dramatically nabawasan ang boomerang effect (Figure 4.4). Kaya, sa pamamagitan ng paggawa ng isang ito simpleng pagbabago-isang pagbabago na ay motivated sa pamamagitan ng isang mahirap unawain panlipunan sikolohikal na teorya (Cialdini, Kallgren, and Reno 1991) -ang mananaliksik ay able sa buksan ang isang programa mula sa isa na hindi tila sa trabaho sa isa na nagtrabaho, at, sabay-sabay, sila ay able sa magbigay ng kontribusyon sa pangkalahatang-unawa ng kung paano social norms makakaapekto uugali ng tao.

Sa puntong ito, gayunpaman, maaaring napansin mo na ang isang bagay ay isang bit iba't ibang tungkol sa eksperimentong ito. Sa partikular, ang eksperimento ng Schultz at kasamahan ay hindi talagang magkaroon ng isang control group sa parehong paraan na randomized kinokontrol eksperimento gawin. Ang paghahambing sa pagitan ng disenyo na ito at ang disenyo ng Restivo at van de Rijt naglalarawan ng pagkakaiba sa pagitan ng dalawang pangunahing mga disenyo na ginagamit ng mga mananaliksik. Sa pagitan ng-mga paksa disenyo, tulad ng Restivo at van de Rijt, mayroong isang paggamot group at isang control group, at sa loob-paksa disenyo ang pag-uugali ng mga kalahok ay inihambing bago at pagkatapos ng paggamot (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Sa isang loob-paksa eksperimento ito ay bilang kung ang bawat kalahok ay gumaganap bilang kanyang sariling control group. Ang lakas ng pagitan-paksa disenyo ay na ito ay nagbibigay ng proteksyon laban sa confounders (bilang ko na inilarawan mas maaga), at ang lakas ng loob-paksa eksperimento ay nadagdagan katumpakan sa mga pagtatantya. Kapag ang bawat kalahok ay gumaganap bilang kanilang sariling control, sa pagitan ng-kalahok variation ay eliminated (tingnan Technical Appendix). Upang magbabala isang na ay darating sa ibang pagkakataon kapag ako ay nag-aalok ng payo tungkol sa pagdisenyo ng mga digital na mga eksperimento, mayroong isang pangwakas na disenyo, na tinatawag na mixed disenyo, na pinagsasama ang pinabuting katumpakan ng loob-paksa disenyo at ang proteksyon laban sa confounding ng sa pagitan ng-mga paksa disenyo.

Figure 4.5: Three experimental disenyo. Standard randomized kinokontrol eksperimento gamitin sa pagitan ng-paksa disenyo. Isang halimbawa ng isang pagitan-paksa disenyo ay Restivo at van de Rijt ni (2012) eksperimento sa barnstars at mga kontribusyon sa Wikipedia: mananaliksik sapalarang nahahati kalahok sa paggamot at kontrol grupo, ibinigay kalahok sa grupong paggamot ng barnstar, at kung ikukumpara kinalabasan para sa dalawang groups. Ang ikalawang uri ng disenyo ay isang loob-paksa disenyo. Ang dalawang mga eksperimento sa Schultz at kasamahan ni (2007) pag-aaral sa mga social norms at enerhiya gamitin ilarawan ang isang loob-paksa disenyo: mga mananaliksik kung ihahambing ang paggamit ng koryente ng mga kalahok bago at pagkatapos na matanggap ang paggamot. Sa loob-paksa disenyo ay nag-aalok ng pinabuting statistical precision sa pamamagitan ng pagtatanggal sa pagitan ng paksa-iiba (tingnan Technical Appendix), ngunit ang mga ito ay bukas para sa mga posibleng confounders (eg, mga pagbabago sa panahon sa pagitan ng pre-paggamot at paggamot panahon) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Sa loob-paksa disenyo ay din minsan na tinatawag na paulit-ulit na mga panukala disenyo. Sa wakas, mixed disenyo ng pagsamahin ang pinabuting katumpakan ng loob-paksa disenyo at ang proteksyon laban sa confounding ng sa pagitan ng-mga paksa disenyo. Sa isang mixed disenyo, ang isang researcher pinagkukumpara ang pagbabago sa kinalabasan para sa mga tao sa paggamot at kontrol group. Kapag ang mga mananaliksik ay mayroon ng impormasyon pre-paggamot, tulad ng kaso sa maraming mga digital na mga eksperimento, mixed disenyo ay higit na mabuti sa pagitan ng-mga paksa disenyo dahil sa nadagdag sa precision (tingnan Technical Appendix).

Sa pangkalahatan, ang disenyo at mga resulta ng Schultz et al. (2007) ipakita ang halaga ng paglipat ng lampas sa simpleng mga eksperimento. Sa kabutihang palad, hindi mo na kailangan na maging isang likas na kakayahan upang lumikha ng mga eksperimento tulad nito. Social siyentipiko na binuo ng tatlong konsepto na ay gagabay sa iyo patungo richer at mas creative eksperimento: 1) validity, 2) heterogeneity ng mga epekto ng paggamot, at 3) mekanismo. Iyon ay, kung ikaw panatilihin ang mga ito ng tatlong mga ideya sa isip habang ikaw ay pagdisenyo ng iyong eksperimento, ikaw ay natural lumikha ng kawili-wili at kapaki-pakinabang na mga eksperimento. Upang ilarawan ang tatlong concepts sa aksyon, kukunin ko na ilarawan ang isang bilang ng mga follow-up bahagyang digital field eksperimento na binuo sa eleganteng disenyo at kapana-panabik na mga resulta sa Schultz et al. (2007) . Tulad nang nakikita mo, sa pamamagitan ng mas maingat na disenyo, pagpapatupad, pagsusuri, at interpretasyon, masyado kang maaaring ilipat na lampas sa simpleng mga eksperimento.