4.4 Indo alén experimentos simples
Pasemos máis alá de simples experimentos. Tres conceptos son útiles para experimentos ricos: validez, heteroxeneidade dos efectos do tratamento e mecanismos.
Os investigadores que son novos en experimentos adoitan centrarse nunha pregunta moi específica e estreita: ¿funciona este tratamento? Por exemplo, unha chamada dun voluntario anima a alguén a votar? Cambia o botón dun sitio web de azul a verde para aumentar a taxa de clics? Desafortunadamente, unha formulación fluída sobre o que "funciona" oculte o feito de que os experimentos enfocados en profundidade non realmente din si un tratamento "funciona" en sentido xeral. Polo contrario, os experimentos centrados de xeito estrito responden a unha pregunta moito máis específica: Cal é o efecto medio deste tratamento específico con esta implementación específica para esta poboación de participantes neste momento? Chamaré a experimentos que se centran nesta estreita consulta de simples experimentos .
Os experimentos sinxelos poden proporcionar información valiosa, pero non responden moitas preguntas que son importantes e interesantes, como se hai algunhas persoas para quen o tratamento tivo un efecto maior ou menor; se hai outro tratamento que sería máis efectivo; e se este experimento refírese a teorías sociais máis amplas.
Para mostrar o valor de superar os experimentos sinxelos, consideremos un experimento de campo análogo por parte de P. Wesley Schultz e colegas sobre a relación entre as normas sociais eo consumo de enerxía (Schultz et al. 2007) . Schultz e colegas colgaban doorhangers en 300 fogares en San Marcos, California, e estes doorhangers entregaron mensaxes diferentes para fomentar a conservación de enerxía. A continuación, Schultz e compañeiros mediron o efecto destas mensaxes no consumo de electricidade, tanto despois dunha semana como despois de tres semanas; Vexa a figura 4.3 para unha descrición máis detallada do deseño experimental.
Figura 4.3: Esquema do deseño experimental de Schultz et al. (2007) . O experimento de campo implicou a visita a preto de 300 fogares en San Marcos, California cinco veces durante un período de oito semanas. En cada visita, os investigadores tomaron manualmente unha lectura do medidor de potencia da casa. En dúas visitas, colocaron os portapensas en cada casa e proporcionaron información sobre o consumo de enerxía do fogar. A pregunta de investigación foi como o contido destas mensaxes impactaría o consumo de enerxía.
O experimento tivo dúas condicións. Na primeira, os fogares recibiron consellos de aforro de enerxía (por exemplo, usar fanáticos en lugar de acondicionadores de aire) e información sobre o seu consumo de enerxía en comparación co uso medio de enerxía do seu barrio. Schultz e os seus compañeiros chamaron esta condición normativa descriptiva porque a información sobre o uso da enerxía no barrio proporcionaba información sobre o comportamento típico (é dicir, unha norma descriptiva). Cando Schultz e compañeiros examinaron o consumo de enerxía resultante neste grupo, o tratamento non parece ter ningún efecto, xa sexa a curto ou a longo prazo; noutras palabras, o tratamento non parecía "funcionar" (figura 4.4).
Afortunadamente, Schultz e compañeiros non se conformaron con esta análise simplista. Antes de que o experimento comezase, argumentaron que os usuarios pesados da electricidade -personas por riba da media- poderían reducir o seu consumo e que os usuarios lixeiros da electricidade -perses por debaixo da media- puidesen aumentar o seu consumo. Cando miran os datos, é exactamente o que atoparon (figura 4.4). Así, o que parecía un tratamento que non tiña ningún efecto foi un tratamento que tivo dous efectos compensadores. Este aumento contraproducente entre os usuarios da luz é un exemplo dun efecto boomerang , onde un tratamento pode ter o efecto contrario ao que se pretendeu.
Figura 4.4: Resultados de Schultz et al. (2007) . O panel (a) mostra que o tratamento normativo descritivo ten un efecto estimado de tratamento cero. Non obstante, o panel (b) mostra que este efecto medio de tratamento componse de dous efectos de compensación. Para os usuarios pesados, o tratamento diminuíu o uso pero para os usuarios lixeiros, o tratamento aumentou o seu uso. Finalmente, o panel (c) mostra que o segundo tratamento, que usaba normas descritivas e cautelares, tiña aproximadamente o mesmo efecto sobre usuarios pesados pero mitigou o efecto boomerang sobre os usuarios lixeiros. Adaptado de Schultz et al. (2007) .
Simultáneamente á primeira condición, Schultz e compañeiros tamén realizaron unha segunda condición. Os fogares na segunda condición recibiron exactamente o mesmo tratamento: consellos de aforro enerxético e información xeral sobre o consumo de enerxía do seu fogar en comparación coa media do seu barrio, cunha pequena adición: para persoas con consumo inferior ao medio, os investigadores engadiron un: ) e para persoas con consumo por encima da media engadiron :(. Eses emoticonos foron deseñados para provocar o que os investigadores chamaron as normas cautelares. As normas nonivas refírense ás percepcións do que se adoita aprobar (e desaprobado), mentres que as normas descritivas refírense a percepcións de o que se adoita facer (Reno, Cialdini, and Kallgren 1993) .
Engadindo este pequeno emoticono, os investigadores reduciron drasticamente o efecto boomerang (figura 4.4). Deste xeito, facendo deste cambio simple: un cambio motivado por unha teoría psicolóxica social abstracta (Cialdini, Kallgren, and Reno 1991) , os investigadores puideron converter un programa que non parecía funcionar no que funcionaba, e, á vez, puideron contribuír á comprensión xeral de como as normas sociais afectan o comportamento humano.
Neste punto, con todo, pode observar que algo é un pouco diferente deste experimento. En particular, o experimento de Schultz e compañeiros non ten realmente un grupo de control do mesmo xeito que os experimentos controlados aleatorios. A comparación entre este deseño eo de Restivo e van de Rijt ilustra as diferenzas entre dous grandes deseños experimentais. En deseños entre as materias , como a de Restivo e van de Rijt, hai un grupo de tratamento e un grupo de control. En deseños dentro dos temas , por outra banda, o comportamento dos participantes compárase antes e despois do tratamento (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Nun experimento dentro da materia é coma se cada participante actúe como o seu propio grupo de control. A forza dos deseños entre asuntos é que proporcionan protección contra os confundidores (como describín anteriormente), mentres que a forza dos experimentos dentro dos suxeitos aumenta a precisión das estimacións. Finalmente, para presumir unha idea que virá máis tarde cando ofrezo consellos sobre o deseño de experimentos dixitais, un deseño _mixed compaxina a precisión mellorada dos deseños internos e a protección contra a confusión dos deseños entre as materias (figura 4.5).
Figura 4.5: Tres deseños experimentais. Os experimentos controlados aleatorios estándar utilizan deseños entre asuntos . Un exemplo de deseño entre as materias é o experimento de Restivo e van de Rijt (2012) sobre as estruturas internas e as contribucións a Wikipedia: os investigadores repartiron ao azar participantes en grupos de tratamento e control, proporcionaron aos participantes no grupo de tratamento un barnstar e compararon os resultados para o dous grupos. O segundo tipo de deseño é un deseño dentro dos temas . Os dous experimentos realizados no estudo de Schultz e colegas (2007) sobre normas sociais e uso enerxético ilustran un deseño dentro dos temas: os investigadores compararon o uso eléctrico dos participantes antes e despois do tratamento. Os deseños dentro dos temas ofrecen unha mellor precisión estatística, pero están abertos a posibles confusores (por exemplo, cambios no tempo entre os períodos de pre-tratamento e tratamento) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Os debuxos dentro dos temas tamén son ás veces chamados deseños de medidas repetidas. Finalmente, os deseños mixtos combinan a precisión mellorada dos deseños dentro dos temas e a protección contra a confusión dos deseños entre as materias. Nun proxecto mixto, un investigador compara o cambio nos resultados para as persoas nos grupos de tratamento e control. Cando os investigadores xa teñen información previa ao tratamento, como é o caso en moitos experimentos dixitais, os deseños mixtos son xeralmente preferibles aos deseños entre as materias porque dan como resultado unha precisión mellorada das estimacións.
En xeral, o deseño e resultados do estudo de Schultz e colegas (2007) mostran o valor de superar os experimentos sinxelos. Afortunadamente, non necesita ser un xenio creativo para deseñar experimentos como este. Os científicos sociais desenvolveron tres conceptos que o guiarán cara a experimentos máis ricos: (1) validez, (2) heteroxeneidade dos efectos do tratamento e (3) mecanismos. É dicir, se ten estas tres ideas en mente mentres está a deseñar a súa experiencia, naturalmente creará un experimento máis interesante e útil. Para ilustrar estes tres conceptos en acción, vou describir unha serie de seguimentos de campo parcialmente dixitais que se basearon no deseño elegante e resultados emocionantes de Schultz e compañeiros (2007) . Como poderás ver, a través dun deseño máis cuidadoso, implementación, análise e interpretación, tamén podes superar simples experimentos.
