4.4.2 L'eterogeneità degli effetti del trattamento

Gli esperimenti normalmente misurano l'effetto medio, ma probabilmente l'effetto non è lo stesso per tutti.

La seconda idea chiave per andare oltre semplici esperimenti è l' eterogeneità degli effetti del trattamento . L'esperimento di Schultz et al. (2007) illustra con forza come lo stesso trattamento possa avere un effetto diverso su diversi tipi di persone (figura 4.4). Nella maggior parte degli esperimenti analogici, tuttavia, i ricercatori si sono concentrati sugli effetti medi del trattamento perché c'era un piccolo numero di partecipanti e poco si sapeva su di loro. Negli esperimenti digitali, tuttavia, ci sono spesso molti più partecipanti e ne si conosce di più. In questo diverso ambiente di dati, i ricercatori che continuano a stimare solo gli effetti medi del trattamento non potranno vedere i modi in cui le stime sull'eterogeneità degli effetti del trattamento possono fornire indizi su come funziona un trattamento, come può essere migliorato e su come può essere mirato a quelli con maggiori probabilità di beneficiarne.

Due esempi di eterogeneità degli effetti del trattamento provengono da ulteriori ricerche sui rapporti sull'energia domestica. In primo luogo, Allcott (2011) utilizzato l'ampia dimensione del campione (600.000 famiglie) per dividere ulteriormente il campione e stimare l'effetto del rapporto sull'energia domestica mediante il decile dell'uso dell'energia pre-trattamento. Mentre Schultz et al. (2007) riscontrato differenze tra utenti pesanti e leggeri, Allcott (2011) rilevato che c'erano anche differenze all'interno del gruppo di utenti pesanti e leggeri. Ad esempio, gli utenti più pesanti (quelli del decile superiore) hanno ridotto il loro consumo di energia il doppio rispetto a qualcuno nel mezzo del gruppo di utenti esperti (figura 4.8). Inoltre, stimare l'effetto del comportamento di pre-trattamento ha rivelato che non vi era alcun effetto boomerang, anche per gli utenti più leggeri (figura 4.8).

Figura 4.8: Eterogeneità degli effetti del trattamento in Allcott (2011) . La diminuzione del consumo di energia era diversa per le persone in diversi decili di utilizzo della linea di base. Adattato da Allcott (2011) , figura 8.

In uno studio correlato, Costa and Kahn (2013) ipotizzato che l'efficacia del Rapporto sull'energia domestica potrebbe variare in base all'ideologia politica di un partecipante e che il trattamento potrebbe effettivamente indurre le persone con determinate ideologie ad aumentare il proprio consumo di elettricità. In altre parole, hanno ipotizzato che l'Home Energy Reports potesse creare un effetto boomerang per alcuni tipi di persone. Per valutare questa possibilità, Costa e Kahn hanno unito i dati di Opower con dati acquistati da un aggregatore di terze parti che includeva informazioni come la registrazione di partiti politici, donazioni a organizzazioni ambientaliste e la partecipazione delle famiglie ai programmi di energia rinnovabile. Con questo set di dati uniti, Costa e Kahn hanno scoperto che i rapporti sull'energia domestica producevano effetti sostanzialmente simili per i partecipanti con diverse ideologie; non ci sono prove che nessun gruppo abbia mostrato effetti boomerang (figura 4.9).

Figura 4.9: Eterogeneità degli effetti del trattamento in Costa and Kahn (2013) . L'effetto di trattamento medio stimato per l'intero campione è pari a -2,1% [-1,5%, -2,7%]. Dopo aver combinato le informazioni dell'esperimento con le informazioni sulle famiglie, Costa and Kahn (2013) utilizzato una serie di modelli statistici per stimare l'effetto del trattamento per gruppi di persone molto specifici. Due stime sono presentate per ciascun gruppo perché le stime dipendono dalle covariate incluse nei loro modelli statistici (vedere i modelli 4 e 6 nelle tabelle 3 e 4 in Costa and Kahn (2013) ). Come illustrato in questo esempio, gli effetti del trattamento possono essere diversi per persone diverse e le stime degli effetti del trattamento che derivano da modelli statistici possono dipendere dai dettagli di tali modelli (Grimmer, Messing, and Westwood 2014) . Adattato da Costa and Kahn (2013) , tabelle 3 e 4.

Come questi due esempi illustrano, nell'era digitale, possiamo passare dalla stima degli effetti medi del trattamento alla stima dell'eterogeneità degli effetti del trattamento perché possiamo avere molti più partecipanti e sappiamo di più su questi partecipanti. L'apprendimento dell'eterogeneità degli effetti del trattamento può consentire di prendere in considerazione un trattamento in cui è più efficace, fornire fatti che stimolino lo sviluppo di nuove teorie e fornire suggerimenti su possibili meccanismi, l'argomento a cui ora passo.