4.4 Au - delà des expériences simples
Passons au-delà des expériences simples. Trois concepts sont utiles pour les expériences riches: la validité, l'hétérogénéité des effets du traitement et les mécanismes.
Les chercheurs qui sont novices en matière d'expérimentation se concentrent souvent sur une question très spécifique et étroite: ce traitement «fonctionne-t-il»? Par exemple, un appel téléphonique d'un bénévole encourage-t-il quelqu'un à voter? Le fait de changer le bouton d'un site Web du bleu au vert augmente-t-il le taux de clics? Malheureusement, la formulation vague de ce qui «fonctionne» masque le fait que les expériences étroitement ciblées ne vous disent pas vraiment si un traitement «fonctionne» dans un sens général. Au contraire, les expériences étroitement ciblées répondent à une question beaucoup plus spécifique: quel est l'effet moyen de ce traitement spécifique avec cette mise en œuvre spécifique pour cette population de participants à ce moment? J'appellerai des expériences qui se concentrent sur cette question étroite des expériences simples .
Des expériences simples peuvent fournir des informations précieuses, mais elles ne permettent pas de répondre à de nombreuses questions à la fois importantes et intéressantes, par exemple s'il existe des personnes pour lesquelles le traitement a eu un effet plus ou moins important; s'il y a un autre traitement qui serait plus efficace; et si cette expérience se rapporte à des théories sociales plus larges.
Afin de montrer l'intérêt d'aller au-delà des expériences simples, considérons une expérience de terrain analogue menée par P. Wesley Schultz et ses collègues sur la relation entre les normes sociales et la consommation d'énergie (Schultz et al. 2007) . Schultz et ses collègues ont accroché des portes à 300 ménages à San Marcos, en Californie, et ces porte-parole ont livré différents messages conçus pour encourager la conservation de l'énergie. Ensuite, Schultz et ses collègues ont mesuré l'effet de ces messages sur la consommation d'électricité, à la fois après une semaine et après trois semaines; voir la figure 4.3 pour une description plus détaillée de la conception expérimentale.
Figure 4.3: Schéma du plan expérimental de Schultz et al. (2007) . L'expérience sur le terrain consistait à visiter environ 300 ménages à San Marcos, en Californie, cinq fois sur une période de huit semaines. À chaque visite, les chercheurs ont manuellement pris une lecture du compteur de puissance de la maison. Au cours de deux de ces visites, ils ont placé des portes sur chaque maison, fournissant des informations sur la consommation d'énergie du ménage. La question de recherche était de savoir comment le contenu de ces messages aurait un impact sur la consommation d'énergie.
L'expérience avait deux conditions. Dans la première, les ménages ont reçu des conseils généraux d'économie d'énergie (p. Ex., Utiliser des ventilateurs plutôt que des climatiseurs) et des renseignements sur leur consommation d'énergie par rapport à la consommation moyenne d'énergie dans leur quartier. Schultz et ses collègues ont appelé cela la condition normative descriptive parce que les informations sur l'utilisation de l'énergie dans le voisinage ont fourni des informations sur le comportement typique (c'est-à-dire, une norme descriptive). Lorsque Schultz et ses collègues ont examiné la consommation d'énergie qui en résulte dans ce groupe, le traitement semble n'avoir aucun effet, à court ou à long terme; en d'autres termes, le traitement ne semblait pas fonctionner (figure 4.4).
Heureusement, Schultz et ses collègues ne se sont pas contentés de cette analyse simpliste. Avant le début de l'expérience, ils estimaient que les gros consommateurs d'électricité - au-dessus de la moyenne - pouvaient réduire leur consommation et que les utilisateurs légers d'électricité - les personnes en dessous de la moyenne - pouvaient en fait augmenter leur consommation. Quand ils ont regardé les données, c'est exactement ce qu'ils ont trouvé (figure 4.4). Ainsi, ce qui semblait être un traitement sans effet était en fait un traitement qui avait deux effets compensatoires. Cette augmentation contreproductive parmi les utilisateurs légers est un exemple d' effet boomerang , où un traitement peut avoir l'effet inverse de ce qui était prévu.
Figure 4.4: Les résultats de Schultz et al. (2007) . Le panel (a) montre que le traitement de la norme descriptive a un effet de traitement moyen estimé nul. Cependant, le panneau (b) montre que cet effet de traitement moyen est en réalité composé de deux effets de compensation. Pour les utilisateurs lourds, le traitement a diminué l'utilisation, mais pour les utilisateurs légers, le traitement a augmenté l'utilisation. Enfin, le panneau (c) montre que le second traitement, qui utilisait des normes descriptives et injonctives, avait à peu près le même effet sur les gros utilisateurs, mais atténuait l'effet boomerang sur les utilisateurs légers. Adapté de Schultz et al. (2007) .
Simultanément à la première condition, Schultz et ses collègues ont également exécuté une deuxième condition. Les ménages dans la deuxième condition ont reçu exactement le même traitement - conseils généraux sur l'économie d'énergie et informations sur la consommation énergétique de leur ménage par rapport à la moyenne de leur quartier - avec un petit ajout: pour les personnes ayant une consommation inférieure à la moyenne ) et pour les personnes avec une consommation supérieure à la moyenne ils ont ajouté :( Ces émoticônes ont été conçues pour déclencher ce que les chercheurs ont appelé des normes injonctives.Les normes injonctives se réfèrent aux perceptions de ce qui est généralement approuvé (et désapprouvé), tandis que les normes descriptives ce qui est couramment fait (Reno, Cialdini, and Kallgren 1993) .
En ajoutant cette minuscule émoticône, les chercheurs ont considérablement réduit l'effet boomerang (figure 4.4). Ainsi, en faisant de ce simple changement - un changement motivé par une théorie psychologique sociale abstraite (Cialdini, Kallgren, and Reno 1991) - les chercheurs ont réussi à transformer un programme qui ne semblait pas fonctionner en un programme qui fonctionnait, et, simultanément, ils ont pu contribuer à la compréhension générale de la façon dont les normes sociales affectent le comportement humain.
À ce stade, cependant, vous pourriez remarquer que quelque chose est un peu différent à propos de cette expérience. En particulier, l'expérience de Schultz et de ses collègues n'a pas vraiment de groupe témoin de la même manière que les expériences contrôlées randomisées. Une comparaison entre cette conception et celle de Restivo et van de Rijt illustre les différences entre deux conceptions expérimentales majeures. Dans les modèles entre sujets , comme ceux de Restivo et van de Rijt, il existe un groupe de traitement et un groupe de contrôle. En revanche, dans les modèles intra-sujets , le comportement des participants est comparé avant et après le traitement (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Dans une expérience intra-sujet, c'est comme si chaque participant agit comme son propre groupe de contrôle. La force des conceptions entre sujets est qu'elles fournissent une protection contre les facteurs de confusion (comme je l'ai décrit plus haut), tandis que la force des expériences intra-sujets est la précision accrue des estimations. Enfin, pour préfigurer une idée qui viendra plus tard quand je donnerai des conseils sur la conception d'expériences numériques, un design mixte combine la précision améliorée des conceptions intra-sujets et la protection contre la confusion des conceptions entre sujets (figure 4.5).
Figure 4.5: Trois conceptions expérimentales. Les expériences contrôlées randomisées standard utilisent des conceptions inter-sujets . Les expériences de Restivo et van de Rijt (2012) sur les barnstars et leurs contributions à Wikipedia sont un exemple de conception inter-sujets: les chercheurs ont réparti les participants en groupes de traitement et de contrôle, donné aux participants du groupe de traitement une barnstar et comparé les résultats. deux groupes. Le deuxième type de conception est un design intra-sujets . Les deux expériences de l'étude de Schultz et de ses collègues (2007) sur les normes sociales et l'utilisation de l'énergie illustrent une conception intra-sujets: les chercheurs ont comparé la consommation d'électricité des participants avant et après le traitement. Les plans intra-sujets offrent une précision statistique améliorée, mais ils sont ouverts à d'éventuels facteurs de confusion (p. Ex. Changements météorologiques entre les périodes de prétraitement et de traitement) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Les conceptions intra-sujets sont parfois appelées conceptions de mesures répétées. Enfin, les conceptions mixtes combinent la précision améliorée des conceptions intra-sujets et la protection contre la confusion des conceptions entre les sujets. Dans une conception mixte, un chercheur compare le changement dans les résultats pour les personnes dans les groupes de traitement et de contrôle. Lorsque les chercheurs ont déjà des informations sur le prétraitement, comme c'est le cas dans de nombreuses expériences numériques, les conceptions mixtes sont généralement préférables aux conceptions inter-sujets car elles aboutissent à une meilleure précision des estimations.
Dans l'ensemble, la conception et les résultats de l'étude de Schultz et ses collègues (2007) montrent l'intérêt d'aller au-delà des simples expériences. Heureusement, vous n'avez pas besoin d'être un génie créatif pour concevoir des expériences comme celle-ci. Les chercheurs en sciences sociales ont développé trois concepts qui vous guideront vers des expériences plus riches: (1) la validité, (2) l'hétérogénéité des effets du traitement, et (3) les mécanismes. Autrement dit, si vous gardez ces trois idées à l'esprit pendant la conception de votre expérience, vous créerez naturellement une expérience plus intéressante et utile. Afin d'illustrer ces trois concepts en action, je vais décrire un certain nombre d'expériences de terrain partiellement numériques de suivi qui se sont appuyées sur le design élégant et les résultats passionnants de Schultz et ses collègues (2007) . Comme vous le verrez, grâce à une conception, une mise en œuvre, une analyse et une interprétation plus soignées, vous pouvez vous aussi dépasser les simples expériences.
