2.4.3 experiments que s'aproxima

Podem aproximar experiments que no tenim o no podem fer. Dos enfocaments que es beneficien especialment de grans fonts de dades són experiments naturals i coincidències.

Algunes qüestions científiques i de política importants són causals. Per exemple, quin és l'efecte d'un programa de formació laboral sobre els salaris? Un investigador que intenta respondre aquesta pregunta pot comparar els guanys de les persones que es van inscriure a la formació a aquells que no ho van fer. Però, quina diferència entre els salaris entre aquests grups es deu a la formació i quant es deu a les diferències preexistents entre les persones que es registren i les que no? Aquesta és una pregunta difícil, i és que no es desvia automàticament amb més dades. En altres paraules, sorgeix la preocupació per les possibles diferències preexistents, no importa quants treballadors estiguin a les vostres dades.

En moltes situacions, la forma més eficaç d'estimar l'efecte causal d'algun tractament, com ara la formació professional, consisteix a executar un experiment controlat aleatori, on un investigador lliura aleatòriament el tractament a algunes persones i no a altres. Vaig a dedicar tot el capítol 4 a experiments, de manera que aquí vaig a centrar-me en dues estratègies que es poden utilitzar amb dades no experimentals. La primera estratègia depèn de la recerca d'alguna cosa que succeeixi al món que assigni de forma aleatòria (o gairebé aleatòriament) el tractament a algunes persones i no a altres. La segona estratègia depèn de l'ajust estadístic de les dades no experimentals en un intent de donar compte de diferències preexistents entre els que van fer i no van rebre el tractament.

Un escèptic podria afirmar que aquestes dues estratègies s'han d'evitar perquè requereixen suposicions fortes, hipòtesis que són difícils d'avaluar i que, en la pràctica, sovint són violades. Encara que sóc simpàtic d'aquesta afirmació, crec que va una mica massa lluny. Certament, és cert que és difícil fer estimacions causals de forma fiable a partir de dades no experimentals, però no crec que això signifiqui que mai hauríem de provar. En particular, els enfocaments no experimentals poden ser útils si la restricció logística impedeix realitzar un experiment o si les restriccions ètiques fan que no vulgueu executar un experiment. A més, els enfocaments no experimentals poden ser útils si voleu aprofitar les dades que ja existeixen per dissenyar un experiment controlat aleatori.

Abans de procedir, també cal assenyalar que fer estimacions causals és un dels temes més complexos de la investigació social i que pot conduir a un debat intens i emocional. A continuació, proporcionaré una descripció optimista de cada enfocament per a construir la intuïció al respecte, i vaig a descriure alguns dels reptes que sorgeixen en utilitzar aquest enfocament. Podeu trobar més detalls sobre cada enfocament als materials al final d'aquest capítol. Si teniu previst utilitzar qualsevol d'aquests enfocaments en la vostra pròpia investigació, us recomano llegir un dels llibres excel·lents sobre inferència causal (Imbens and Rubin 2015; Pearl 2009; Morgan and Winship 2014) .

Un enfocament per fer estimacions causals a partir de dades no experimentals és buscar un esdeveniment que hagi assignat aleatòriament un tractament a algunes persones i no als altres. Aquestes situacions s'anomenen experiments naturals . Un dels exemples més clars d'un experiment natural prové de la investigació de Joshua Angrist (1990) mesura l'efecte dels serveis militars sobre els ingressos. Durant la guerra de Vietnam, els Estats Units van augmentar la mida de les seves forces armades a través d'un esborrany. Per decidir quins ciutadans serien posats en servei, el govern dels EUA va tenir una loteria. Cada data de naixement va ser escrita en un full de paper i, tal com es mostra a la figura 2.7, es van seleccionar aquests trossos un per un per tal de determinar l'ordre en el qual els joves serien cridats a servir (les dones joves no estaven subjectes al projecte). Sobre la base dels resultats, els homes nascuts el 14 de setembre es van anomenar primer, els homes nascuts el 24 d'abril es van anomenar segon, i així successivament. Finalment, en aquesta loteria, es van elaborar homes nascuts en 195 dies diferents, mentre que els homes nascuts en 171 dies no eren.

Figura 2.7: El congressista Alexander Pirnie (R-NY) dibuixa la primera càpsula del projecte de servei selectiu l'1 de desembre de 1969. Joshua Angrist (1990) combinar el projecte de loteria amb dades de resultats de l'Administració de la Seguretat Social per estimar l'efecte del servei militar sobre guanys. Aquest és un exemple de recerca que utilitza un experiment natural. Font: Sistema de servei selectiu dels EUA (1969) / Wikimedia Commons .

Tot i que pot ser que no sigui immediatament evident, un projecte de loteria té una similitud crítica amb un experiment controlat aleatori: en ambdues situacions, els participants estan assignats aleatòriament per rebre un tractament. Per tal d'estudiar l'efecte d'aquest tractament aleatoritzat, Angrist va aprofitar un sistema de dades constantment gran: l'Administració de Seguretat Social dels EUA, que recopila informació sobre pràcticament tots els ingressos de l'ocupació a Amèrica. En combinar la informació sobre qui va ser seleccionat aleatòriament a la loteria del draft amb les dades de guanys que es van recollir en registres administratius governamentals, Angrist va concloure que els guanys dels veterans eren un 15% menys que els guanys de veterans comparables.

Com aquest exemple il·lustra, de vegades les forces socials, polítiques o naturals assignen tractaments d'una manera que els investigadors poden aprofitar i, de vegades, els efectes d'aquests tractaments es capturen sempre en grans fonts de dades. Aquesta estratègia de recerca es pot resumir de la següent manera: \[\text{random (or as if random) variation} + \text{always-on data} = \text{natural experiment}\]

Per il·lustrar aquesta estratègia en l'era digital, considerem un estudi realitzat per Alexandre Mas i Enrico Moretti (2009) que va intentar estimar l'efecte de treballar amb col·lectius productius en la productivitat d'un treballador. Abans de veure els resultats, val la pena assenyalar que hi ha expectatives conflictius que podria tenir. D'una banda, podríeu esperar que treballar amb companys productius condueixi a un treballador a augmentar la seva productivitat a causa de la pressió dels companys. O, d'altra banda, podríeu esperar que els companys de treball dur portin a un treballador a fracassar perquè els seus companys faran el treball de totes maneres. La manera més clara d'estudiar els efectes entre iguals sobre la productivitat seria un experiment controlat aleatori, on els treballadors s'assignen aleatòriament a canvis amb treballadors de diferents nivells de productivitat i, per tant, la productivitat resultant es mesura per a tothom. Tanmateix, els investigadors no controlen l'horari dels treballadors en cap negoci real, per la qual cosa Mas i Moretti han hagut de confiar en un experiment natural que involucra caixeres en un supermercat.

En aquest supermercat en particular, a causa de la forma en que es feia la programació i la forma en que els canvis es superposaven, cada caixer tenia companys de feina diferents a diferents hores del dia. A més, en aquest supermercat en particular, l'assignació de caixeres no tenia cap relació amb la productivitat dels seus companys ni amb l'ocupat de la botiga. Dit d'una altra manera, tot i que la programació de caixeres no estava determinada per una loteria, era com si els treballadors foren assignats aleatòriament a treballar amb companys de productivitat elevats (o baixos). Afortunadament, aquest supermercat també tenia un sistema de pagament digital d'antiguitat que rastreaba els elements que cada caixer escaneava en tot moment. A partir d'aquestes dades de registre de comprovació, Mas i Moretti van poder crear una quantitat de productivitat precisa, individual i sempre: la quantitat d'articles escanejats per segon. Combinant aquestes dues coses: la variació natural de la productivitat dels iguals i la sempre productiva, Mas i Moretti van estimar que si un caixer era assignat a companys de treball que eren un 10% més productius que la mitjana, la seva productivitat augmentaria en un 1,5% . A més, van utilitzar la grandària i la riquesa de les seves dades per explorar dos aspectes importants: l' heterogeneïtat d'aquest efecte (per quins tipus de treballadors és l'efecte més gran?) I els mecanismes darrere de l'efecte (Per què els companys d'alta productivitat tenen com a resultat major productivitat?). Tornem a aquests dos temes importants: heterogeneïtat dels efectes i mecanismes del tractament, al capítol 4, quan parlem d'experiments amb més detall.

Generalment a partir d'aquests dos estudis, la taula 2.3 resumeix altres estudis que tenen aquesta mateixa estructura: l'ús d'una font de dades sempre per mesurar l'efecte d'una variació aleatòria. A la pràctica, els investigadors utilitzen dues estratègies diferents per trobar experiments naturals, els quals poden ser fructífers. Alguns investigadors comencen amb una font de dades sempre a punt i busquen esdeveniments aleatoris al món; uns altres inicien un esdeveniment aleatori al món i busquen fonts de dades que capturin el seu impacte.

En la discussió fins ara sobre els experiments naturals, he deixat de banda un punt important: passar del que la naturalesa ha proporcionat a allò que vulguis pot ser de vegades complicat. Tornem a l'exemple del projecte de Vietnam. En aquest cas, Angrist estava interessat a estimar l'efecte del servei militar sobre els ingressos. Malauradament, el servei militar no va ser assignat aleatòriament; més aviat estava sent redactat que es va assignar aleatòriament. No obstant això, no tots els que van ser redactats van servir (hi va haver una varietat d'exempcions), i no tots els que van servir van ser redactats (les persones podrien ser voluntàries per servir). Com que es va redactar es va assignar aleatòriament, un investigador pot estimar l'efecte de redactar per a tots els homes en el projecte. Però Angrist no volia saber l'efecte de la redacció; volia saber l'efecte de servir a l'exèrcit. Per fer aquesta estimació, però, es requereixen suposicions i complicacions addicionals. En primer lloc, els investigadors han d'assumir que l'única forma en què es redacten els guanys afectats és a través del servei militar, un supòsit anomenat restricció d'exclusió . Aquesta hipòtesi podria estar equivocada si, per exemple, els homes que havien estat redactats es van quedar a l'escola més temps per evitar el servei o si els empleadors eren menys propensos a contractar els homes que estaven redactats. En general, la restricció d'exclusió és un supòsit crític, i normalment és difícil de verificar. Fins i tot si la restricció d'exclusió és correcta, encara és impossible estimar l'efecte del servei a tots els homes. En comptes d'això, resulta que els investigadors només poden estimar l'efecte en un subconjunt específic d'homes anomenats complidors (homes que serviran quan es redactin, però que no serviran quan no (Angrist, Imbens, and Rubin 1996) redactat) (Angrist, Imbens, and Rubin 1996) . Els acomiadants, però, no eren la població original d'interès. Tingueu en compte que aquests problemes sorgeixen fins i tot en el cas relativament net del projecte de loteria. Un altre conjunt de complicacions apareixen quan el tractament no és assignat per una loteria física. Per exemple, en l'estudi de caixeres de Mas i Moretti, sorgeixen preguntes addicionals sobre l'assumpció que l'assignació de companys és essencialment aleatòria. Si aquesta hipòtesis es va violar fortament, podria fer front a les seves estimacions. Per concloure, els experiments naturals poden ser una estratègia poderosa per fer estimacions causals a partir de dades no experimentals, i grans fonts de dades augmenten la nostra capacitat de capitalitzar els experiments naturals quan ocorren. Tanmateix, probablement requereix una gran atenció i, de vegades, forts suposats, d'anar del que la naturalesa ha proporcionat a l'estimació que voleu.

La segona estratègia que m'agradaria explicar per fer estimacions causals a partir de dades no experimentals depèn d'ajustar estadísticament dades no experimentals en un intent de donar compte de diferències preexistents entre els que van fer i no van rebre el tractament. Hi ha molts d'aquests enfocaments d'ajust, però em centraré en una combinació anomenada. En la coincidència, l'investigador busca dades no experimentals per crear parelles de persones que són similars, excepte que un ha rebut el tractament i un no ho ha fet. En el procés d'adequació, els investigadors també són poders ; és a dir, descartant casos en què no hi ha coincidència òbvia. Per tant, aquest mètode seria més precís anomenar "coincidir-i-poda", però em quedaré amb el terme tradicional: coincidència.

Un exemple del poder d'adaptar les estratègies amb fonts massives de dades no experimentals prové de la investigació sobre el comportament dels consumidors de Liran Einav i col·legues (2015) . Estaven interessats en les subhastes que tenen lloc a eBay i, al descriure el seu treball, em centraré en l'efecte del preu de sortida de la subhasta en els resultats de la subhasta, com ara el preu de venda o la probabilitat d'una venda.

La manera més ingenu d'estimar l'efecte del preu de venda al preu de venda seria simplement calcular el preu final de les subhastes amb preus inicials diferents. Aquest enfocament estaria bé si volíeu predir el preu de venda donat el preu inicial. Però si la vostra pregunta afecta l'efecte del preu inicial, aquest mètode no funcionarà perquè no es basa en comparacions justes; les subhastes amb preus inicials més baixos podrien ser molt diferents dels que tenen preus de partida més elevats (per exemple, poden ser per a diferents tipus de productes o incloure diferents tipus de venedors).

Si ja coneixeu els problemes que poden sorgir quan es fan estimacions causals a partir de dades no experimentals, podeu saltar-vos l'enfocament ingenu i considerar l'execució d'un experiment de camp on voldria vendre un element específic, per exemple, un club de golf, amb un valor fix conjunt de paràmetres de subhasta, per exemple, l'enviament gratuït i la subhasta obertes durant dues setmanes, però amb preus inicials assignats aleatòriament. Al comparar els resultats resultants del mercat, aquest experiment de camp oferia una mesura molt clara de l'efecte del preu de venda a preu de venda. Però aquesta mesura només s'aplicaria a un determinat producte i conjunt de paràmetres de subhasta. Els resultats poden ser diferents, per exemple, per a diferents tipus de productes. Sense una teoria forta, és difícil extrapolar d'aquest sol experiment fins al rang d'experiments possibles que s'hagin pogut executar. A més, els experiments de camp són prou costosos que no seria possible executar totes les variacions que vulgueu provar.

A diferència dels plantejaments ingenus i experimentals, Einav i els seus col·legues van prendre un tercer enfocament: coincidència. El principal truc en la seva estratègia és descobrir coses semblants als experiments de camp que ja han passat a eBay. Per exemple, la figura 2.8 mostra alguns dels 31 llistats per exactament el mateix club de golf: un controlador Taylormade Burner 09 que es ven per exactament el mateix venedor- "budgetgolfer". Tanmateix, aquests 31 llistats tenen unes característiques lleugerament diferents, com ara diferents iniciatives preu, dates de finalització i despeses d'enviament. En altres paraules, és com si "budgetgolfer" executi experiments per als investigadors.

Aquests llistats del controlador Taylormade Burner 09 que es venen per "budgetgolfer" són un exemple d'un conjunt de llistats igualats, on el mateix venedor exacte ven, però cada vegada amb característiques lleugerament diferents. Dins dels registres massius d'eBay hi ha literalment centenars de milers de conjunts que inclouen milions de llistats. Per tant, en comptes de comparar el preu final per a totes les subhastes amb un preu de partida determinat, Einav i els seus companys es van comparar en conjunts coincidents. Per combinar els resultats de les comparacions d'aquests centenars de milers de conjunts coincidents, Einav i els seus col·legues van tornar a expressar el preu inicial i el preu final pel que fa al valor de referència de cada element (per exemple, el seu preu mitjà de venda). Per exemple, si el controlador Taylormade Burner 09 tenia un valor de referència de 100 dòlars (en funció de les seves vendes), un preu inicial de 10 dòlars s'expressaria com a 0,1 i un preu final de $ 120 com a 1,2.

Figura 2.8: Un exemple de conjunt coincident. Aquest és el mateix club de golf (un taxista Taylormade Burner 09) venut per la mateixa persona ("budgetgolfer"), però algunes d'aquestes vendes es van realitzar en diferents condicions (p. Ex., Preus inicials diferents). Reproduït amb permís d' Einav et al. (2015) , figura 1b.

Recordeu que Einav i els seus col·legues estaven interessats en l'efecte del preu d'inici en els resultats de la subhasta. En primer lloc, van utilitzar la regressió lineal per estimar que els preus inicials més alts disminueixen la probabilitat d'una venda, i que els preus inicials més alts augmenten el preu de venda final (condicionant la venda que es produeixi). Per si mateixos, aquestes estimacions -que descriuen una relació lineal i es promedia en tots els productes- no són tan interessants. A continuació, Einav i col·legues van utilitzar la mida massiva de les seves dades per crear una varietat d'estimacions més subtils. Per exemple, mitjançant l'estimació de l'efecte per separat per a una varietat de preus inicials diferents, van trobar que la relació entre el preu inicial i el preu de venda no és lineal (figura 2.9). En particular, per començar els preus entre 0,05 i 0,85, el preu de sortida té molt poc impacte en el preu de venda, una troballa que va ser completament perduda per la seva primera anàlisi. A més, en comptes de promediar sobre tots els ítems, Einav i els seus col·legues van estimar l'impacte del preu inicial per a 23 categories diferents (p. Ex., Subministraments per a animals domèstics, electrònica i records esportius) (figura 2.10). Aquestes estimacions mostren que, per a elements més distintius -com ara el preu d'inici de memorabilitat- té un menor efecte sobre la probabilitat d'una venda i un efecte més gran sobre el preu de venda final. A més, per als articles més commodificats -com ara els DVD-, el preu inicial no té cap impacte en el preu final. En altres paraules, una mitjana que combina resultats de 23 categories diferents d'elements oculta diferències importants entre aquests elements.

Figura 2.9: Relació entre el preu de sortida de la subhasta i la probabilitat d'una venda (a) i el preu de venda (b). Hi ha aproximadament una relació lineal entre el preu inicial i la probabilitat de venda, però una relació no lineal entre el preu inicial i el preu de venda; per començar els preus entre 0,05 i 0,85, el preu de sortida té molt poc impacte en el preu de venda. En ambdós casos, les relacions són bàsicament independents del valor de l'element. Adaptada d' Einav et al. (2015) , xifres 4a i 4b.

Figura 2.10: Estimacions de cada categoria d'elements; el punt sòlid és l'estimació de totes les categories agrupades (Einav et al. 2015) . Aquestes estimacions mostren que, per a elements més distintius -com ara memorabilia, el preu inicial té un menor efecte sobre la probabilitat d'una venda ( \(x\) -axis) i un efecte més gran sobre el preu de venda final ( \(y\) -axis). Adaptada d' Einav et al. (2015) , figura 8.

Fins i tot si no està especialment interessat en les subhastes a eBay, cal admirar la forma en què la figura 2.9 i la figura 2.10 ofereixen una comprensió més eficaç d'eBay que estimacions simples que descriuen una relació lineal i combinen moltes categories diferents d'elements. A més, encara que seria científicament possible generar aquestes estimacions més subtils amb experiments de camp, el cost farà que aquests experiments siguin essencialment impossibles.

Igual que amb els experiments naturals, hi ha diverses maneres en què la concordança pot provocar mals estimacions. Crec que la major preocupació per fer coincidir les estimacions és que poden ser predisposades per coses que no s'utilitzaven en la concordança. Per exemple, en els seus resultats principals, Einav i els seus col · legues van fer coincidències exactes en quatre característiques: el número d'identificació del venedor, la categoria d'element, el títol de l'ítem i el subtítol. Si els ítems van ser diferents de manera que no es van utilitzar per fer coincidir, això podria generar una comparació injusta. Per exemple, si "budgetgolfer" va reduir els preus del taxista Taylormade Burner 09 a l'hivern (quan els clubs de golf són menys populars), podria semblar que els preus inicials més baixos condueixen a baixar els preus finals, quan en realitat això seria un artefacte de variació estacional de la demanda. Un enfocament per abordar aquesta preocupació és provar diferents tipus de concordança. Per exemple, Einav i els seus col·legues van repetir la seva anàlisi, mentre variava la finestra de temps utilitzada per fer coincidir (conjunts coincidents incloïen articles a la venda dins d'un any, en un termini d'un mes i, simultàniament). Afortunadament, van trobar resultats similars per a totes les finestres del temps. Una altra preocupació per fer coincidir sorgeix de la interpretació. Les estimacions de coincidència només s'apliquen a les dades coincidents; no s'apliquen als casos que no es poden combinar. Per exemple, si limiten la seva recerca a articles que tenien diverses fitxes, Einav i els seus col · legues se centren en venedors professionals i semi-professionals. Per tant, en interpretar aquestes comparacions hem de recordar que només s'apliquen a aquest subconjunt d'eBay.

La concordança és una estratègia poderosa per trobar comparacions justes en dades no experimentals. Per a molts científics socials, la coincidència se sent millor en experiments, però això és una creença que es pot revisar lleugerament. La coincidència en dades massives pot ser millor que una petita quantitat d'experiments de camp quan (1) l'heterogeneïtat en els efectes és important i (2) s'han mesurat les variables importants necessàries per a la concordança. La Taula 2.4 proporciona altres exemples de com es pot utilitzar la combinació amb grans fonts de dades.

En conclusió, l'estimació d'efectes causals a partir de dades no experimentals és difícil, però es poden utilitzar enfocaments com ara experiments naturals i ajustos estadístics (p. Ex., Coincidència). En algunes situacions, aquests enfocaments poden anar malament, però quan es despleguen amb atenció, aquests enfocaments poden ser un complement útil de l'enfocament experimental que descric al capítol 4. A més, aquests dos enfocaments semblen especialment susceptibles de beneficiar-se del creixement de sempre- on, grans sistemes de dades.