4.4 Kretanje izvan jednostavnih eksperimenata
Idemo dalje jednostavno eksperimente. Tri koncepta su korisni za bogate eksperimente: validnost, heterogenost efekata tretmana, i mehanizam.
Istraživači koji su novi u eksperimenti često se fokusiraju na vrlo specifične, uske pitanje: da li ovaj tretman "posao"? Na primjer, da li je telefonski poziv od volontera ohrabriti nekoga da glasa? Da li mijenja na dugme web stranica od plave do zelene klik-kroz stopa rasta? Nažalost, labave fraza o onome što "radi" zamagljuje činjenicu da je usko usmjerena eksperimenti ne da vam kažem da li je tretman "radi" u opštem smislu. Umjesto toga, usko fokusiran eksperimenti odgovoriti na mnogo konkretnije pitanje: šta je u prosjeku na snagu ovog specifičnog tretmana sa ovom specifičnom implementaciju za ovu populaciju učesnika u ovom trenutku? Ja ću nazvati eksperimente koje se fokusiraju na ovom uskom pitanje jednostavno eksperimente.
Jednostavni eksperimenti mogu pružiti vrijedne informacije, ali oni ne odgovore na mnoga pitanja koja su oba važna i zanimljiva, kao što su: da li postoje neki ljudi za koje je tretman imala veći ili manji učinak ?; postoji još jedan tretman koji bi bio efikasniji ?; i kako se ovom eksperimentu se odnose na šire društvene teorije?
Kako bi se pokazati vrijednost kreće izvan jednostavnih eksperimenata, razmotrimo jedan od mojih omiljenih eksperimenata analogni terenu, u studiji P. Wesley Schultz i kolege na odnos između društvenih normi i potrošnja energije (Schultz et al. 2007) . Schultz i kolege visio doorhangers na 300 domaćinstava u San Marcos, California, i ove doorhangers isporučuje različite poruke dizajnirane da podstakne očuvanje energije. Zatim, Schultz i kolege mjeriti učinak tih poruka o potrošnji električne energije, i nakon tjedan dana i tri tjedna; vidi sliku 4.3 za detaljniji opis eksperimentalnog dizajna.
Slika 4.3: Shematski dizajna od Schultz et al. (2007) . Polje ogledu je bilo u posjeti oko 300 domaćinstava u San Marcos, California pet puta više od osam tjedan period. Na svakoj posjeti istraživači ručno je čitanje iz mjerača napajanja u ovoj kući. Na dva posjeta istraživača postavljen doorhangers na kući pružaju neke informacije o njihovoj upotrebi energije. Istraživanje pitanje je kako je sadržaj tih poruka će utjecati na potrošnju energije.
Eksperiment je imao dva uslova. U prvom stanju, domaćinstva dobila savjeti za uštedu opšte energije (npr navijači korištenje umjesto klima uređaja) i informacije o korištenju energije njihove porodice u odnosu na prosjek potrošnje energije u njihovom susjedstvu. Schultz i kolege ovo se zove opisni normativno stanje jer su informacije o korištenju energije u njihovom susjedstvu pružio informacije o tipičnom ponašanju (tj, opisni norma). Kada Schultz i kolege pogledao rezultat potrošnje energije u ovoj grupi, tretman se čini da nemaju efekta, bilo u kratkom roku ili dugoročno; drugim riječima, tretman nije izgledalo da "rade" (slika 4.4).
Ali, srećom, Schultz et al. (2007) nije zadovoljiti ove pojednostavljene analize. Prije nego što je počeo eksperiment su obrazložene da česti korisnici električne energije-ljudi iznad srednje-može smanjiti svoju potrošnju, i to svetlo korisnici električne energije-ljudi ispod srednje-može zapravo povećati njihovu potrošnju. Kada su pogledali podatke, to je upravo ono što su pronašli (Slika 4.4). Dakle, ono što je izgledalo kao tretman koji je imao nikakvog efekta zapravo tretman koji je imao dva prebijanje efekte. Istraživači nazvao kontra-produktivno povećanje među svjetlo korisnicima bumerang efekt.
Slika 4.4: Rezultati od Schultz et al. (2007) . Prvi panel pokazuje da je liječenje opisni norma ima oko nula prosjeku efekt tretmana. Međutim, drugi panel pokazuje da je ovaj prosjek efekt tretmana je zapravo sastoji od dva prebijanje efekata. Za teška korisnike, tretman smanjio upotrebu, ali za lake korisnike, liječenje povećane upotrebe. Konačno, treći panel pokazuje da je drugi tretman, koji koristi opisna i izricanje privremene norme, imala približno isti efekat na teškim korisnicima, ali ublažen je bumerang efekat na svjetlo korisnika.
Nadalje, Schultz i kolege očekivani tu mogućnost, a u drugom stanju su raspoređeni na malo drugačiji tretman, jedan eksplicitno dizajniran da eliminiše bumerang efekt. Domaćinstva u drugom stanju dobila isti savjeti za uštedu energije tretman generalnog i informacije o korištenju energije njihove porodice u odnosu na njihovu susjedstvu-sa jednim sitnim dodatak: za osobe sa ispod prosječne potrošnje, istraživači dodao :) i za ljudi sa iznad prosjeka potrošnje oni dodao :(. Ove emotikona su dizajnirane da pokrene ono što istraživači nazivaju izricanje privremene norme. Izricanje privremene norme odnose na percepciju onoga što se obično odobren (i ne odobrava), dok opisne norme odnose na percepciju onoga što se obično vrši (Reno, Cialdini, and Kallgren 1993) .
Dodavanjem ovaj maleni emotikon, istraživači su dramatično smanjila bumerang efekt (Slika 4.4). Tako, čineći ovaj jednostavan promjena-promjena koje je motivisano apstraktne društvene psihološke teorije (Cialdini, Kallgren, and Reno 1991) u daljem tekstu: istraživači su bili u mogućnosti da biste program iz jednog koji izgleda da ne rade u koji radili, i, istovremeno, oni su bili u mogućnosti da doprinesu opšte razumijevanje kako društvene norme utjecati na ljudsko ponašanje.
U ovom trenutku, međutim, možete primijetiti da je nešto malo drugačije o ovom eksperimentu. Konkretno, eksperiment Schultz i kolega zapravo ne imati kontrolne grupe na isti način na koji randomizirane kontrolne eksperimente učiniti. Poređenje između ovaj dizajn i dizajn Restivo i van de Rijt ilustrira razlike između dva glavna dizajna koriste istraživači. Između-subjekata dizajna, kao što su Restivo i van de Rijt, postoji grupa tretman i kontrolne grupe, au okviru-predmeta dizajnira ponašanje učesnika u odnosu prije i poslije tretmana (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . U okviru-subjekt eksperiment je kao da svaki učesnik djeluje kao svoje kontrolne grupe. Snaga između-područje dizajna je u tome što pruža zaštitu od confounders (kao što sam već opisao), i snagu u-subjekata eksperimenata je povećana preciznost u procjenama. Kada svaki učesnik djeluje kao, varijacija između-učesnik je ispao vlastite kontrole (vidi tehničke Dodatak). Da proricati je da će doći kasnije, kada sam ponuditi savjete o dizajniranju digitalnih eksperimente, tu je konačni dizajn, zove mješoviti dizajn, koji kombinira poboljšana preciznost unutar-subjekata dizajna i zaštite od zbunjujućih između-subjekata dizajna.
Slika 4.5: Tri eksperimentalni dizajn. Standard randomizirane kontrolirane eksperimente koristiti između-područje dizajna. Primjer dizajna između-subjekata je Restivo i van de Rijt a (2012) eksperiment na barnstars i doprinosa na Wikipediji: istraživači nasumično podijeljeni učesnika u tretman i kontrolne grupe, dao učesnika u grupi tretmana barnstar, au odnosu ishoda za dva grupe. Drugi tip dizajna je dizajn u-predmeta. U dva eksperimenta u Schultz i kolege (2007) studije o društvenim normama i korištenje energije ilustruju dizajn unutar-predmeta: istraživači u odnosu na korištenje električne energije sudionika prije i nakon primanja terapije. U okviru-subjekti dizajn nude poboljšanu statističke preciznost eliminacijom između subjekta varijance (vidi tehničke Dodatak), ali su otvoreni za moguće confounders (npr, promjene u vremenskim između periodu predtretman i tretman) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . U okviru-subjekti dizajn su također ponekad zove ponovio mjere dizajna. Konačno, mješoviti dizajn kombiniraju poboljšanu preciznost unutar-područje dizajna i zaštite od zbunjujućih između-subjekata dizajna. U mješoviti dizajn, istraživač uspoređuje promjene rezultata za ljude u grupama tretman i kontrolu. Kada su istraživači već imaju informacije predtretman, kao što je to slučaj u mnogim digitalnim eksperimentima, mješoviti dizajni su poželjnije između-subjekata dizajna zbog dobitaka u preciznosti (vidi tehničke Dodatak).
Sve u svemu, dizajn i rezultati Schultz et al. (2007) pokazuju vrijednost kreće izvan jednostavnih eksperimenata. Srećom, ne morate biti genije da se stvori eksperimente ovako. Sociolozi su razvili tri koncepta koji će vas voditi ka bogatiji i više kreativnih eksperimenata: 1) valjanost, 2) heterogenost efekata tretmana, i 3) mehanizama. To je, ako i dalje ove tri ideje na umu dok ste u dizajniranju svoj eksperiment, vi ćete prirodno stvoriti više zanimljivo i korisno eksperimente. Radi ilustracije ova tri koncepta u akciji, ja ću opisati niz follow-up polje eksperimenata dijelom digitalne koja je izgradila na elegantan dizajn i uzbudljive rezultate u Schultz et al. (2007) . Kao što ćete vidjeti, kroz više pažljiv dizajn, implementacija, analiza i interpretacija, i vi možete kretati izvan jednostavne eksperimente.
