4.4.2 Heterogenitet av behandlingseffekter

Eksperimenter måler normalt gjennomsnittseffekten, men effekten er trolig ikke den samme for alle.

Den andre hovedideen for å bevege seg utover enkle eksperimenter er heterogenitet av behandlingseffekter . Eksperimentet av Schultz et al. (2007) illustrerer kraftig hvordan samme behandling kan ha en annen effekt på ulike typer mennesker (figur 4.4). I de fleste analoge eksperimenter fokuserte forskerne på gjennomsnittlige behandlingseffekter fordi det var et lite antall deltakere, og lite var kjent om dem. I digitale eksperimenter er det imidlertid ofte mange flere deltakere, og mer er kjent om dem. I dette forskjellige datamiljøet vil forskere som fortsetter å estimere bare gjennomsnittlige behandlingseffekter, savne måtene som estimater om heterogeniteten av behandlingseffekter kan gi ledetråder om hvordan en behandling fungerer, hvordan den kan forbedres og hvordan den kan målrettes til de som mest sannsynlig vil dra nytte av.

To eksempler på heterogenitet av behandlingseffekter kommer fra ytterligere undersøkelser på hjemmekonsernsrapporter. Først brukte Allcott (2011) den store utvalgsstørrelsen (600.000 husholdninger) til å splitte prøven videre og estimere effekten av Home Energy Report ved dekilering av energiforbruket før behandling. Mens Schultz et al. (2007) fant forskjeller mellom tunge og lette brukere, Allcott (2011) fant at det også var forskjeller innenfor tung- og lette brukergruppen. For eksempel reduserte de tyngste brukerne (de som var i toppdekilen) sin energiforbruk dobbelt så mye som noen midt i brukergruppen (figur 4.8). Videre viste det seg at det ikke var noen boomerang effekt, selv for de letteste brukerne (figur 4.8).

Figur 4.8: Heterogenitet av behandlingseffekter i Allcott (2011) . Nedgangen i energiforbruket var forskjellig for personer i forskjellige dekiler av grunnlinjebruk. Tilpasset fra Allcott (2011) , figur 8.

I en relatert studie spekulerte Costa and Kahn (2013) at effekten av hjemmerapporten kunne variere ut fra en deltakeres politiske ideologi, og at behandlingen faktisk kunne føre til at folk med visse ideologier øker sin elektrisitetsbruk. Med andre ord spekulerte de at Home Energy Reports kan skape en boomerang-effekt for noen typer mennesker. For å vurdere denne muligheten, fusjonerte Costa og Kahn Opower dataene med data kjøpt fra en tredjeparts aggregator som inkluderte informasjon som politisk partisregistrering, donasjoner til miljøorganisasjoner og husholdningsdeltakelse i fornybare energiprogrammer. Med dette sammenslåtte datasettet fant Costa og Kahn at hjemmerapportene produserte stort sett lignende effekter for deltakere med ulike ideologier; Det var ikke noe bevis på at noen grupper utstilte boomerang effekter (figur 4.9).

Figur 4.9: Heterogenitet av behandlingseffekter i Costa and Kahn (2013) . Beregnet gjennomsnittlig behandlingseffekt for hele prøven er -2,1% [-1,5%, -2,7%]. Etter å ha kombinert informasjon fra forsøket med informasjon om husstandene, brukte Costa and Kahn (2013) en rekke statistiske modeller for å estimere behandlingseffekten for svært bestemte grupper av mennesker. To estimater presenteres for hver gruppe fordi estimatene avhenger av kovariatene de inkluderte i sine statistiske modeller (se modell 4 og 6 i tabell 3 og 4 i Costa and Kahn (2013) ). Som dette eksempelet illustrerer, kan behandlingseffekter være forskjellige for forskjellige mennesker, og estimater av behandlingseffekter som kommer fra statistiske modeller, kan avhenge av detaljene til disse modellene (Grimmer, Messing, and Westwood 2014) . Tilpasset fra Costa and Kahn (2013) , tabell 3 og 4.

Som disse to eksemplene illustrerer, kan vi i digital alder bevege seg fra å estimere gjennomsnittlige behandlingseffekter til å estimere heterogeniteten av behandlingseffekter fordi vi kan ha mange flere deltakere, og vi vet mer om disse deltakerne. Lære om heterogenitet av behandlingseffekter kan muliggjøre målretting av en behandling der den er mest effektiv, gi fakta som stimulerer ny teoriutvikling, og gi tips om mulige mekanismer, emnet som jeg nå snu.