4.4 Trecerea dincolo de experimente simple

Să depășim experimentele simple. Trei concepte sunt utile pentru experimentele bogate: validitatea, eterogenitatea efectelor tratamentului și mecanismele.

Cercetătorii care sunt noi în experimente se concentrează adesea pe o întrebare foarte specifică și îngustă: Tratamentul "funcționează"? De exemplu, un apel telefonic de la un voluntar încurajează pe cineva să voteze? Schimbarea unui buton al site-ului web de la albastru la verde mărește rata de clic? Din nefericire, formularea liberă despre ceea ce "funcționează" ascunde faptul că experimentele concentrate nu vă spun cu adevărat dacă un tratament "funcționează" într-un sens general. Mai degrabă, experimentele concentrate cu atenție răspund la o întrebare mult mai specifică: Care este efectul mediu al acestui tratament specific cu această implementare specifică pentru această populație de participanți în acest moment? Voi numi experimente care se concentrează asupra acestei simple întrebări simple .

Experimentele simple pot oferi informații valoroase, dar nu răspund la multe întrebări importante și interesante, cum ar fi dacă există unii oameni pentru care tratamentul a avut un efect mai mare sau mai mic; dacă există un alt tratament care ar fi mai eficient; și dacă acest experiment se referă la teorii sociale mai largi.

Pentru a arăta valoarea depășirii experimentelor simple, să luăm în considerare un experiment de câmp analogic al lui P. Wesley Schultz și al colegilor despre relația dintre normele sociale și consumul de energie (Schultz et al. 2007) . Schultz și colegii săi au spânzurat pe 300 de gospodării din San Marcos, California, iar acești ucigași au trimis mesaje diferite destinate să încurajeze conservarea energiei. Apoi, Schultz și colegii au măsurat efectul acestor mesaje asupra consumului de energie electrică, atât după o săptămână, cât și după trei săptămâni; a se vedea figura 4.3 pentru o descriere mai detaliată a proiectului experimental.

Figura 4.3: Schema de proiectare experimentală de la Schultz et al. (2007) . Experimentul în teren implica vizitarea a aproximativ 300 de gospodării în San Marcos, California de cinci ori pe o perioadă de opt săptămâni. La fiecare vizită, cercetătorii au luat manual o citire din contorul de putere al casei. În cadrul a două vizite, aceștia au plasat ucigași pe fiecare casă, furnizând informații despre consumul de energie al gospodăriei. Problema de cercetare a fost modul în care conținutul acestor mesaje ar avea un impact asupra consumului de energie.

Experimentul a avut două condiții. În primul rând, gospodăriile au primit sfaturi generale de economisire a energiei (de exemplu, utilizați ventilatoare în loc de aparate de aer condiționat) și informații despre consumul de energie în comparație cu consumul mediu de energie din vecinătatea lor. Schultz și colegii i-au numit această condiție normativă descriptivă , deoarece informațiile despre utilizarea energiei în vecinătate au furnizat informații despre comportamentul tipic (adică, o normă descriptivă). Când Schultz și colegii s-au uitat la utilizarea energetică rezultată în acest grup, tratamentul pare să nu aibă nici un efect, fie pe termen scurt, fie pe termen lung; cu alte cuvinte, tratamentul nu pare să "funcționeze" (figura 4.4).

Din fericire, Schultz și colegii nu s-au mulțumit pentru această analiză simplistă. Înainte de începerea experimentului, aceștia au motivat că utilizatorii grei de energie electrică - oameni peste medie - ar putea să își reducă consumul și că utilizatorii ușori de electricitate - oameni sub media - ar putea să-și mărească efectiv consumul. Când au analizat datele, exact așa au găsit (figura 4.4). Astfel, ceea ce părea un tratament care nu avea efect a fost, de fapt, un tratament care avea două efecte compensatorii. Această creștere contraproductivă în rândul utilizatorilor de lumină reprezintă un exemplu de efect bumerang , în care un tratament poate avea efectul opus celui dorit.

Figura 4.4: Rezultatele de la Schultz et al. (2007) . Panoul (a) arată că tratamentul normativ descriptiv are un efect de tratament mediu zero estimat. Cu toate acestea, panoul (b) arată că acest efect de tratament mediu este în fapt compus din două efecte de compensare. Pentru utilizatorii grei, tratamentul a redus utilizarea, dar pentru utilizatorii ușori, tratamentul a crescut de utilizare. În cele din urmă, panoul (c) arată că al doilea tratament, care folosea norme descriptive și injunctive, a avut aproximativ același efect asupra utilizatorilor grei, dar a atenuat efectul bumerang asupra utilizatorilor de lumină. Adaptat de la Schultz et al. (2007) .

Concomitent cu prima condiție, Schultz și colegii au condus de asemenea oa doua condiție. Gospodăriile din cea de-a doua condiție au primit exact același tratament - sfaturi generale privind economisirea energiei și informații despre consumul de energie al gospodăriei lor, comparativ cu media pentru vecinătatea lor - cu un mic plus: pentru persoanele cu consum sub media, cercetătorii au adăugat: ), iar pentru persoanele care au consumat mai mult decât media, au adăugat un (:) Aceste emoticoane au fost concepute pentru a declanșa ceea ce cercetătorii au numit norme injuncabile Normele conjunctive se referă la percepțiile a ceea ce este aprobat (și respins), în timp ce normele descriptive se referă la percepțiile ceea ce se face în mod obișnuit (Reno, Cialdini, and Kallgren 1993) .

Prin adăugarea acestui mictim emoticon, cercetătorii au redus dramatic efectul bumerang (figura 4.4). Astfel, făcând aceasta o simplă schimbare - o schimbare care a fost motivată de o teorie psihologică socială abstractă (Cialdini, Kallgren, and Reno 1991) - cercetătorii au reușit să transforme un program care nu pare să funcționeze într-unul care a funcționat, și, în același timp, au reușit să contribuie la înțelegerea generală a modului în care normele sociale afectează comportamentul uman.

În acest moment, totuși, ați putea observa că ceva este diferit în legătură cu acest experiment. În special, experimentul lui Schultz și al colegilor nu are într-adevăr un grup de control în același mod în care fac experimente controlate prin randomizare. O comparație între acest design și cea a lui Restivo și van de Rijt ilustrează diferențele dintre două proiecte experimentale majore. În modelele între subiecți , cum ar fi cele ale lui Restivo și van de Rijt, există un grup de tratament și un grup de control. În cadrul modelelor pe subiecți , pe de altă parte, comportamentul participanților este comparat înainte și după tratament (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Într-un experiment în interiorul subiectului este ca și cum fiecare participant acționează ca grup propriu de control. Rezistența proiectelor între subiecți este aceea că acestea oferă protecție împotriva confunderilor (așa cum am descris mai devreme), în timp ce puterea experimentelor în cadrul subiecților este o precizie crescută a estimărilor. În cele din urmă, pentru a preciza o idee care va veni mai târziu când vă ofer sfaturi despre proiectarea experimentelor digitale, un design_combinat mixtă îmbunătățește precizia modelelor în interiorul subiecților și protejează împotriva confundării modelelor între subiecți (figura 4.5).

Figura 4.5: Trei modele experimentale. Experimentele standard controlate randomizate utilizează modele între subiecți . Un exemplu de proiectare între subiecți este experimentul lui Restivo și van de Rijt (2012) privind barnstarele și contribuțiile la Wikipedia: cercetătorii au divizat întâmplător participanții în grupuri de tratament și de control, au dat participanților la grupul de tratament un barnstar și au comparat rezultatele pentru două grupuri. Cel de-al doilea tip de design este un design în interiorul subiecților . Cele două experimente din studiul Schultz și al colegilor (2007) privind normele sociale și utilizarea energiei ilustrează un design în interiorul subiecților: cercetătorii au comparat utilizarea energiei electrice a participanților înainte și după primirea tratamentului. Scenariile între subiecți oferă o precizie statistică îmbunătățită, dar sunt deschise eventualelor confunderi (de exemplu, schimbări ale vremii între perioadele de pre-tratament și tratament) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Desenele în interiorul subiectelor sunt uneori numite desene repetate. În sfârșit, modelele mixte combină precizia îmbunătățită a modelelor în interiorul subiecților și protecția împotriva confundării modelelor între subiecți. Într-un design mixt, un cercetător compară schimbarea rezultatelor pentru persoanele din grupurile de tratament și de control. Atunci când cercetătorii au deja informații de pre-tratament, așa cum este cazul în multe experimente digitale, desenele mixte sunt, în general, preferabile modelelor între subiecți, deoarece acestea duc la o precizie îmbunătățită a estimărilor.

În ansamblu, designul și rezultatele studiului realizat de Schultz și colegii (2007) arată valoarea depășirii experimentelor simple. Din fericire, nu trebuie să fii un geniu creativ pentru a proiecta astfel de experimente. Oamenii de știință socială au dezvoltat trei concepte care vă vor îndruma spre experimente mai bogate: (1) validitatea, (2) eterogenitatea efectelor tratamentului și (3) mecanismele. Asta este, dacă țineți minte aceste trei idei în timp ce proiectați experimentul, veți crea în mod firesc un experiment mai interesant și mai util. Pentru a ilustra aceste trei concepte în acțiune, voi descrie o serie de experimente de câmp digital parțial, care s-au bazat pe designul elegant și rezultatele interesante ale lui Schultz și colegilor (2007) . După cum veți vedea, prin proiectarea, implementarea, analiza și interpretarea mai atentă, puteți trece și dincolo de experiențele simple.