4.4 Més enllà d'experiments senzills
Anem més enllà dels simples experiments. Tres conceptes són útils per a experiments rics: validesa, heterogeneïtat dels efectes del tractament i mecanismes.
Els investigadors que són nous en experiments solen centrar-se en una pregunta molt específica i estreta: aquest "treball" funciona? Per exemple, una trucada telefònica d'un voluntari anima a algú a votar? El canvi del botó d'un lloc web de blau a verd augmenta el percentatge de clics? Malauradament, una frase solta sobre el que "funciona" obvia el fet que els experiments centrats estretament no us diran realment si un tractament "funciona" en sentit general. Per contra, els experiments centrats estretament responen a una pregunta molt més específica: Quin és l'efecte mitjà d'aquest tractament específic amb aquesta implementació específica per a aquesta població de participants en aquest moment? Vaig a trucar a experiments que se centren en aquesta estreta pregunta de simples experiments .
Els experiments simples poden proporcionar informació valuosa, però no responen a moltes preguntes que són importants i interessants, com ara si hi ha persones que tenen un efecte més gran o menor; si hi ha un altre tractament que seria més eficaç; i si aquesta experiència es relaciona amb teories socials més àmplies.
Per mostrar el valor de superar els experiments simples, considerem un experiment de camp analògic de P. Wesley Schultz i col·legues sobre la relació entre normes socials i consum d'energia (Schultz et al. 2007) . Schultz i col · legues van penjar les portes de 300 llars a San Marcos, Califòrnia, i aquests portaveus van lliurar diferents missatges destinats a fomentar la conservació de l'energia. A continuació, Schultz i col·legues van mesurar l'efecte d'aquests missatges sobre el consum d'electricitat, tant després d'una setmana com després de tres setmanes; vegeu la figura 4.3 per obtenir una descripció més detallada del disseny experimental.
Figura 4.3: Esquema del disseny experimental de Schultz et al. (2007) . L'experiment de camp va consistir a visitar unes 300 llars a San Marcos, Califòrnia cinc vegades durant un període de vuit setmanes. A cada visita, els investigadors van fer una lectura manual del mesurador de la casa. En dues de les visites, van col · locar els detinguts de les portes de cada casa proporcionant informació sobre l'ús energètic de la llar. La pregunta de la investigació va ser com el contingut d'aquests missatges impactaria l'ús d'energia.
L'experiment va tenir dues condicions. A la primera, les famílies reben consells generals d'estalvi d'energia (p. Ex., Utilitzen ventiladors en lloc d'aparells d'aire condicionat) i informació sobre el seu ús energètic en comparació amb l'ús mitjà d'energia del seu barri. Schultz i els seus col·legues van cridar això a la condició normativa descriptiva perquè la informació sobre l'ús d'energia al barri proporcionava informació sobre el comportament típic (és a dir, una norma descriptiva). Quan Schultz i els seus col·legues van analitzar l'ús d'energia resultant en aquest grup, el tractament no va tenir cap efecte, ja sigui a curt o llarg termini; en altres paraules, el tractament no semblava "funcionar" (figura 4.4).
Afortunadament, Schultz i els seus companys no es van conformar amb aquesta anàlisi simplista. Abans de començar l'experiment, van raonar que els grans usuaris de l'electricitat -persones per sobre de la mitjana- podrien reduir el seu consum, i que els consumidors lleugers d'electricitat -persones inferiors a la mitjana- podrien augmentar el seu consum. Quan van mirar les dades, això és exactament el que van trobar (figura 4.4). Per tant, el que semblava un tractament que no tenia cap efecte era en realitat un tractament que tenia dos efectes de compensació. Aquest augment contraproduent entre els usuaris lleugers és un exemple d' efecte bumerang , on un tractament pot tenir l'efecte contrari del que es pretenia.
Figura 4.4: Resultats de Schultz et al. (2007) . El panell (a) mostra que el tractament de norma descriptiva té un efecte de tractament zero zero estimat. Tanmateix, el quadre (b) mostra que aquest efecte de tractament mitjà està compost de dos efectes de compensació. Per als usuaris pesats, el tractament va disminuir l'ús, però per als usuaris lleugers, el tractament va augmentar l'ús. Finalment, el quadre (c) mostra que el segon tractament, que utilitzava normes descriptives i cautelars, tenia aproximadament el mateix efecte en els usuaris pesants, però va mitigar l'efecte bumerang sobre els usuaris lleugers. Adaptat de Schultz et al. (2007) .
Simultàniament a la primera condició, Schultz i col·legues també van tenir una segona condició. Les famílies en la segona condició van rebre el mateix tractament, consells generals d'estalvi energètic i informació sobre l'ús energètic de la seva llar en comparació amb la mitjana del seu veïnat, amb una petita addició: per a persones amb un consum inferior a la mitjana, els investigadors van afegir: ) i per a persones amb un consum superior a la mitjana, van afegir :( Aquests emoticones van ser dissenyats per activar el que els investigadors van anomenar normes cautelars . Les normes d'injecció es refereixen a les percepcions del que s'acostuma a aprovar (i rebutjat), mentre que les normes descriptives fan referència a les percepcions de el que es fa habitualment (Reno, Cialdini, and Kallgren 1993) .
En afegir aquest petit emoticone, els investigadors van reduir dràsticament l'efecte boomerang (figura 4.4). D'aquesta manera, fent d'aquest un simple canvi -un canvi motivat per una teoria social-psicològica abstracta (Cialdini, Kallgren, and Reno 1991) , els investigadors van poder convertir un programa que no semblava funcionar en un que funcionava, i, alhora, van poder contribuir a la comprensió general de com les normes socials afecten el comportament humà.
Tanmateix, en aquest moment, podeu observar que alguna cosa és una mica diferent d'aquest experiment. En particular, l'experiment de Schultz i col·legues no té un grup de control de la mateixa manera que els experiments controlats aleatoris. Una comparació entre aquest disseny i la de Restivo i van de Rijt il·lustra les diferències entre dos grans dissenys experimentals. En dissenys entre subjectes , com el de Restivo i van de Rijt, hi ha un grup de tractament i un grup de control. En els dissenys de subjectes interns , d'altra banda, es compara el comportament dels participants abans i després del tractament (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . En un experiment dins de l'assignatura és com si cada participant actués com el seu propi grup de control. La força dels dissenys entre subjectes és que proporcionen protecció contra confusors (com he descrit anteriorment), mentre que la força dels experiments dins dels subjectes augmenta la precisió de les estimacions. Finalment, per preveure una idea que vindrà més endavant quan ofereixi consells sobre el disseny d'experiments digitals, un disseny _mixed combina la precisió millorada dels dissenys dins dels subjectes i la protecció contra la confusió dels dissenys entre subjectes (figura 4.5).
Figura 4.5: Tres dissenys experimentals. Els experiments controlats aleatoris estàndard utilitzen dissenys entre subjectes . Un exemple d'un disseny entre subjectes és l'experiment de Restivo i van de Rijt (2012) sobre les línies internes i les contribucions a Wikipedia: els investigadors van dividir els participants de forma aleatòria en grups de tractament i control, van donar als participants en el grup de tractament un barnstar i van comparar els resultats per al dos grups. El segon tipus de disseny és un disseny dins de les assignatures . Els dos experiments en l'estudi de Schultz i els col·legues (2007) sobre normes socials i ús energètic il·lustren un disseny dins dels temes: els investigadors van comparar l'ús d'electricitat dels participants abans i després de rebre el tractament. Els dissenys dins dels temes ofereixen una millor precisió estadística, però estan oberts a possibles confusors (per exemple, canvis en el clima entre els períodes de pretractament i tractament) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Els dissenys dins dels temes també es denominen sovint dissenys de mesures repetides. Finalment, els dissenys mixtos combinen la precisió millorada dels dissenys dins de la matèria i la protecció contra la confusió dels dissenys entre subjectes. En un disseny mixt, un investigador compara el canvi en els resultats de les persones en els grups de tractament i control. Quan els investigadors ja tenen informació de pretractament, com és el cas en molts experiments digitals, els dissenys mixts generalment són preferibles als dissenys entre subjectes perquè donen lloc a una millor precisió de les estimacions.
En general, el disseny i els resultats de l'estudi de Schultz i col·legues (2007) mostren el valor de superar simples experiments. Afortunadament, no cal ser un geni creatiu per dissenyar experiments com aquest. Els científics socials han desenvolupat tres conceptes que us guiaran cap a experiments més rics: (1) validesa, (2) heterogeneïtat dels efectes del tractament i (3) mecanismes. És a dir, si teniu en compte aquestes tres idees mentre dissenyeu l'experiment, naturalment crearà una prova més interessant i útil. Per tal d'il·lustrar aquests tres conceptes en acció, vaig a descriure una sèrie de seguiments de camp parcialment digital que es van basar en el disseny elegant i els resultats emocionants de Schultz i col·legues (2007) . Com veuràs, a través d'un disseny més acurat, implementació, anàlisi i interpretació, també podràs superar simples experiments.
