4.4 Au - delà des expériences simples

Passons au - delà des expériences simples. Trois concepts sont utiles pour des expériences riches: la validité, l' hétérogénéité des effets du traitement, et le mécanisme.

Les chercheurs qui sont nouveaux à des expériences mettent souvent l'accent sur une question très précise et restrictive: ce traitement ne «travail»? Par exemple, fait un appel téléphonique d'un bénévole encourage quelqu'un à voter? Est-ce que la modification d'un bouton de site du bleu pour augmenter le taux de click-through vert? Malheureusement, le phrasé lâche sur ce qui «fonctionne» occulte le fait que des expériences très ciblés ne sont pas vraiment vous dire si un traitement «fonctionne» dans un sens général. Au contraire, étroitement ciblées expériences répondre à une question beaucoup plus spécifique: quel est l'effet moyen de ce traitement spécifique avec cette mise en œuvre spécifique pour cette population de participants à cette époque? Je vais appeler des expériences qui mettent l' accent sur ​​cette question étroite des expériences simples.

Des expériences simples peuvent fournir des informations précieuses, mais ils ne parviennent pas à répondre à de nombreuses questions qui sont à la fois importantes et intéressantes telles que: y at-il des gens pour qui le traitement a eu un effet plus ou moins grande ?; est-il un autre traitement qui serait plus efficace ?; et comment cette expérience se rapportent à des théories sociales plus larges?

Afin de montrer la valeur de dépasser des expériences simples, nous allons examiner un de mes expériences préférées de terrain analogiques, une étude réalisée par P. Wesley Schultz et ses collègues sur la relation entre les normes sociales et la consommation d'énergie (Schultz et al. 2007) , (Schultz et al. 2007) . Schultz et ses collègues suspendus doorhangers sur 300 ménages à San Marcos, en Californie, et ces doorhangers livrés différents messages visant à encourager la conservation de l'énergie. Puis, Schultz et ses collègues ont mesuré l'effet de ces messages sur la consommation d'électricité, à la fois après une semaine et trois semaines; voir la figure 4.3 pour une description plus détaillée de la conception expérimentale.

Figure 4.3: Schéma de la conception de Schultz et al. (2007) . L'expérience sur le terrain consistait à visiter environ 300 ménages à San Marcos, en Californie cinq fois sur une période de huit semaines. A chaque visite, les chercheurs ont pris manuellement une lecture à partir du compteur d'électricité de la maison. Sur deux des visites les chercheurs ont placé doorhangers sur la maison fournissant des informations sur leur consommation d'énergie. La question de recherche était de savoir comment le contenu de ces messages aurait une incidence sur la consommation d'énergie.

L'expérience avait deux conditions. Dans la première condition, les ménages ont reçu des conseils d'économie d'énergie en général (par exemple, utiliser des ventilateurs au lieu de climatiseurs) et des informations sur la consommation d'énergie de leur foyer par rapport à la moyenne de la consommation d'énergie dans leur quartier. Schultz et ses collègues ont appelé cette condition normative descriptive parce que l'information sur l'utilisation de l' énergie dans leur quartier a fourni des informations sur le comportement typique (ie, une norme descriptive). Lorsque Schultz et ses collègues ont étudié l'utilisation de l'énergie résultant de ce groupe, le traitement semble avoir aucun effet, que ce soit à court terme ou à long terme; en d'autres termes, le traitement ne semble pas «travail» (Figure 4.4).

Mais, heureusement, Schultz et al. (2007) n'a pas réglé pour cette analyse simpliste. Avant le début de l'expérience , ils raisonnaient que les utilisateurs lourds de l' électricité-personnes au- dessus de la moyenne-pourraient réduire leur consommation, et que les utilisateurs légers de l' électricité-personnes en dessous de la moyenne-pourraient en fait augmenter leur consommation. Quand ils ont regardé les données, qui est exactement ce qu'ils ont trouvé (Figure 4.4). Ainsi, ce qui ressemblait à un traitement qui a été sans effet était en fait un traitement qui a eu deux effets compensatoires. Les chercheurs ont appelé cette augmentation de contre-productif parmi les utilisateurs de lumière un effet boomerang.

Figure 4.4: Les résultats de Schultz et al. (2007) . Le premier panneau montre que le traitement de la norme descriptive a un estimé effet de traitement moyen zéro. Cependant, le deuxième panneau montre que cet effet moyen de traitement est en fait composé de deux effets compensatoires. Pour les gros utilisateurs, le traitement a diminué l'utilisation mais pour les utilisateurs légers, le traitement a augmenté l'utilisation. Enfin, le troisième panneau indique que le deuxième traitement, qui a utilisé les normes descriptives et d'injonction, avait à peu près le même effet sur les gros utilisateurs, mais a atténué l'effet boomerang sur les utilisateurs légers.

En outre, Schultz et ses collègues devraient cette possibilité, et dans le second état ils ont déployé un traitement légèrement différent, explicitement conçu pour éliminer l'effet boomerang. Les ménages dans la deuxième condition ont reçu les mêmes conseils d'économie d'énergie exacte traitement général et des informations sur la consommation d'énergie de leur foyer par rapport à la leur quartier-avec un petit plus: pour les personnes ayant une consommation inférieure à la moyenne, les chercheurs ont ajouté un :) et les personnes ayant une consommation supérieure à la moyenne , ils ont ajouté un :(. Ces émoticônes ont été conçus pour déclencher ce que les chercheurs appellent les normes d' injonction. normes injonctive se réfèrent à la perception de ce qui est communément approuvé (et désapprouvé) , alors que les normes descriptives se réfèrent à la perception de ce qui est communément fait (Reno, Cialdini, and Kallgren 1993) .

En ajoutant ce petit un émoticône, les chercheurs ont réduit considérablement l'effet boomerang (Figure 4.4). Ainsi, en faisant l'un simple changement-un changement qui a été motivée par une théorie abstraite sociale psychologique (Cialdini, Kallgren, and Reno 1991) -les chercheurs ont pu tourner un programme d'un qui ne semble pas fonctionner en un seul qui travaillé, et, en même temps, ils ont pu contribuer à la compréhension générale de la manière dont les normes sociales influent sur le comportement humain.

À ce stade, cependant, vous remarquerez peut-être que quelque chose est un peu différent au sujet de cette expérience. En particulier, l'expérience de Schultz et ses collègues n'a pas vraiment un groupe témoin de la même manière que les expériences randomisés font. La comparaison entre cette conception et de la conception de Restivo et van de Rijt illustre les différences entre deux conceptions principales utilisées par les chercheurs. En entre-sujets dessins, tels que Restivo et van de Rijt, il y a un groupe de traitement et un groupe témoin, et intra-sujets conçoit le comportement des participants est comparé avant et après le traitement (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Dans une expérience intra-sujet, il est comme si chaque participant agit comme son propre groupe de contrôle. La force inter-sujets des dessins est qu'il offre une protection contre les facteurs confondants (comme je l'ai décrit plus haut), et la force des expériences intra-sujets augmente la précision des estimations. Lorsque chaque participant agit comme leur propre contrôle, variation entre-participant est éliminé (voir annexe technique). Pour préfigurer un qui viendra plus tard , quand je vous offre des conseils sur la conception des expériences numériques, il y a une conception finale, appelée une conception mixte, qui combine l'amélioration de la précision des conceptions intra-sujets et la protection contre la confusion des entre-sujets designs.

Figure 4.5: Trois modèles expérimentaux. Standard randomisés expériences contrôlées utilisent entre-sujets designs. Un exemple d'une conception entre-sujets est Restivo et de van de Rijt (2012) expérience sur EtoileDeGrange et contributions à Wikipedia: chercheurs répartis au hasard les participants en groupes de traitement et de contrôle, ont permis aux participants dans le groupe de traitement d' un EtoileDeGrange, et ont comparé les résultats pour les deux groupes. Un deuxième type de conception est une conception intra-sujets. Les deux expériences de Schultz et collègue (2007) étude sur les normes sociales et la consommation d'énergie illustrent une conception intra-sujets: les chercheurs ont comparé la consommation d'électricité des participants avant et après avoir reçu le traitement. Dans-sujets dessins offrent une meilleure précision statistique en éliminant entre le sujet variance (voir l' annexe technique), mais ils sont ouverts à des facteurs de confusion possibles (par exemple, les changements de temps entre la période de pré-traitement et de traitement) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Dans-sujets conceptions sont également des mesures parfois appelées répétées dessins. Enfin, les dessins mixtes combinent l'amélioration de la précision des sujets au sein-conceptions et la protection contre la confusion des entre-sujets designs. Dans une conception mixte, un chercheur compare le changement dans les résultats pour les personnes dans les groupes de traitement et de contrôle. Lorsque les chercheurs ont déjà des informations de pré-traitement, comme cela est le cas dans de nombreuses expériences numériques, des dessins mixtes sont préférables à entre-sujets conceptions en raison des gains de précision (voir l'annexe technique).

Dans l' ensemble, la conception et les résultats de Schultz et al. (2007) montrent la valeur de dépasser des expériences simples. Heureusement, on n'a pas besoin d'être un génie pour créer des expériences de ce genre. Les sociologues ont développé trois concepts qui vous guideront vers des expériences créatives les plus riches et plus: 1) la validité, 2) l'hétérogénéité des effets du traitement, et 3) les mécanismes. Autrement dit, si vous gardez ces trois idées à l'esprit pendant que vous concevez votre expérience, vous allez naturellement créer des expériences plus intéressantes et utiles. Afin d'illustrer ces trois concepts dans l' action, je vais vous décrire un certain nombre de suivi des expériences de terrain partiellement numériques qui ont construit sur ​​le design élégant et des résultats passionnants Schultz et al. (2007) . Comme vous le verrez, grâce à une conception plus soignée, la mise en œuvre, l'analyse et l'interprétation, vous pouvez aussi aller au-delà des expériences simples.