4.5.1.1 ambientes de uso existentes

Pode realizar experimentos dentro de ambientes existentes, moitas veces sen codificación ou de colaboración.

Loxística, o xeito máis doado de facer experiencias dixitais é a superposición de experiencia na parte superior de un ambiente existente, permítelle realizar un experimento de campo dixital. Estas experiencias poden ser executados nun razoablemente grande escala e non necesitan de colaboración cunha empresa ou de desenvolvemento de software aberto.

Por exemplo, Jennifer Doleac e Luke Stein (2013) aproveitou un mercado en liña (por exemplo, craigslist) para realizar un experimento que medida a discriminación racial. Doleac e Stein anunciado miles de iPods, e variando sistematicamente as características do vendedor, eles foron capaces de estudar o efecto da raza sobre as transaccións económicas. Ademais, Doleac e Stein utilizada a escala da súa experiencia para estimar cando o efecto é maior (heteroxeneidade dos efectos do tratamento) e ofrecer algunhas ideas sobre por que o efecto pode ocorrer (mecanismos).

Antes do estudo de Doleac e Stein, houbo dous enfoques principais para medir experimentalmente discriminación. En correspondencia estudos investigadores crear currículos de persoas ficticias de diferentes razas e utilizar estes programas para, por exemplo, aplicar para traballos diferentes. Bertrand e de Mullainathan (2004) papel co título memorable "son Emily e Greg máis empregáveis ​​que Lakisha e Jamal? Un experimento de campo no Mercado de Traballo Discriminación "é unha ilustración marabillosa dun estudo de correspondencia. estudos correspondencia ten un custo mínimo e por observación, que permite que un único investigador para recoller miles de observacións nun estudo típico. Pero estudos correspondencia de discriminación racial foron cuestionadas porque os nomes potencialmente sinalizar moitas cousas ademais da raza do candidato. É dicir, nomes como Greg, Emily, Lakisha, e Jamal pode sinalizar clase social, ademais de correr. Así, calquera diferenza no tratamento de currículos de Greg e Jamal pode ser debido a máis que as diferenzas raciais presumidos dos solicitantes. Estudos de auditoría, por outra banda, involucrar a contratación de actores de diferentes razas para aplicar en persoa para o emprego. A pesar de estudos de auditoría proporcionan un sinal claro de raza solicitante, son moi caros a observación, o que significa que eles normalmente só ten centos de observacións.

No seu experimento de campo dixital, Doleac e Stein foron capaces de crear un híbrido atractivo. Eles foron capaces de recoller datos a un custo mínimo e por observación, obtendo miles de observacións (como nun estudo de correspondencia) -e puideron sinalizar carreira mediante fotografías, obtendo un sinal uncounfounded clara de carreiras (como nun estudo de auditoría ). Así, o ambiente en liña permite, por veces, os investigadores para crear novos tratamentos que teñen propiedades que son difíciles de construír o contrario.

Os anuncios do iPod de Doleac e Stein varía ao longo de tres dimensións principais. En primeiro lugar, eles variaron as características do vendedor, que foi sinalizado pola man fotografado sostendo o iPod [branco, negro, branco con tatuaxe] (Figura 4.12). En segundo lugar, elas variaron o prezo pedido [US $ 90, US $ 110, $ 130]. En terceiro lugar, eles variaron a calidade do texto do anuncio [de alta calidade e de baixa calidade (por exemplo, erros de Capitalización e erros spelin)]. Así, os autores tiña un deseño 3 X 3 X 2, que foi implantado en máis de 300 mercados locais que varían de cidades (por exemplo, Kokomo, IN e North Platte, NE) para mega-cidades (por exemplo, Nova York e Los Angeles).

Figura 4.12: Mans utilizados no experimento de Doleac e Stein (2013). iPods foron vendidos por vendedores con características diferentes para medir a discriminación nun mercado en liña.

Figura 4.12: Mans utilizados no experimento de Doleac and Stein (2013) . iPods foron vendidos por vendedores con características diferentes para medir a discriminación nun mercado en liña.

Na media entre todas as condicións, os resultados foron mellores para o vendedor branca que o vendedor negro, co vendedor tatuado ter resultados intermedios. Por exemplo, os vendedores brancos recibiu máis ofertas e tiña prezos de venda finais máis altos. Ademais destes efectos medios, Doleac e Stein estima a heteroxeneidade dos efectos. Por exemplo, unha previsión da teoría anterior é que a discriminación sería menos en mercados que son máis competitivos. Mediante o número de propostas recibidas como un proxy para a competencia no mercado, os autores descubriron que os vendedores negros, de feito, recibir ofertas peores nos mercados cun baixo grao de competencia. Ademais, comparando os resultados para os anuncios de alta calidade e un texto de baixa calidade, Doleac e Stein descubriron que a calidade do anuncio non afecta a desvantaxe dos vendedores branco e tatuados. Finalmente, aproveitándose do feito de que os anuncios foron colocados en máis de 300 mercados, os autores cren que os vendedores negros son máis desfavorecidos nas cidades con altas taxas de criminalidade e de alta segregación residencial. Ningún destes resultados dar unha comprensión precisa exactamente por iso que os vendedores negros tiñan peores resultados, pero, cando combinados cos resultados doutros estudos, poden comezar a informar as teorías sobre as causas da discriminación racial en diferentes tipos de transaccións económicas.

Outro exemplo que mostra a capacidade dos investigadores para realizar experimentos de campo dixitais en sistemas existentes é a procura por Arnout van de Rijt e os seus colegas (2014) sobre as claves para o éxito. En moitos aspectos da vida, a xente aparentemente semellantes acabar con resultados moi diferentes. Unha posible explicación para ese estándar é que pequenos e esencialmente aleatorios-vantaxes poden lock-in e medrar ao longo do tempo, un proceso que os investigadores chaman vantaxe cumulativa. A fin de determinar se os pequenos logros iniciais lock-in ou desaparecer, van de Rijt e os seus colegas (2014) interveu en catro diferentes sistemas revisando éxito participantes seleccionados aleatoriamente, e despois mediron os impactos a longo prazo deste éxito arbitraria.

En concreto, van de Rijt e compañeiros 1) prometeron cartos para seleccionados aleatoriamente proxectos sobre kickstarter.com , un sitio crowdfunding; 2) avaliaron positivamente comentarios seleccionados aleatoriamente na web epinions ; 3) premiou escollidos aleatoriamente contribuíntes Wikipedia ; e 4) asinado seleccionados aleatoriamente peticións sobre change.org . Os investigadores descubriron resultados moi semellantes en todos os catro sistemas: en cada caso, os participantes que recibiron aleatoriamente algún éxito inicial pasou a ter máis éxito posterior do que os seus compañeiros de outra forma totalmente indistinguibles (Figura 4.13). O feito de que o mesmo patrón apareceu en moitos sistemas aumenta a validez externa destes resultados, porque reduce a posibilidade de que este estándar é un artefacto de calquera sistema particular.

Figura 4.13: Efectos a longo prazo de éxito concedida aleatoriamente en catro sistemas sociais diferentes. Arnout van de Rijt e compañeiros (2014) 1) prometeu diñeiro para seleccionados aleatoriamente proxectos sobre kickstarter.com, un sitio crowdfunding; 2) avaliaron positivamente comentarios seleccionados aleatoriamente na web epinions; 3) premiou escollidos aleatoriamente colaboradores de Wikipedia; e 4) asinado seleccionados aleatoriamente peticións sobre change.org.

Figura 4.13: Efectos a longo prazo de éxito concedida aleatoriamente en catro sistemas sociais diferentes. Arnout van de Rijt e os seus colegas (2014) 1) prometeu diñeiro para seleccionados aleatoriamente proxectos sobre kickstarter.com , un sitio crowdfunding; 2) avaliaron positivamente comentarios seleccionados aleatoriamente na web epinions ; 3) premiou escollidos aleatoriamente contribuíntes Wikipedia ; e 4) asinado seleccionados aleatoriamente peticións sobre change.org .

Xuntos, estes dous exemplos mostran que os investigadores poidan realizar experimentos de campo dixital sen necesidade de asociacións con empresas ou a necesidade de construír sistemas dixitais complexos. Ademais, a Táboa 4.2 ofrece aínda máis exemplos que amosan a variedade de que é posible cando os investigadores utilizan a infraestrutura de sistemas existentes para proporcionar tratamento e / ou medir os resultados. Estas experiencias son relativamente barato para os investigadores e ofrecen un alto grao de realismo. Pero estas experiencias ofrecen investigadores control limitado sobre os participantes, tratamentos e resultados a seren medidos. Ademais, para as experiencias que se producen nun único sistema, os investigadores teñen que estar preocupados que os efectos poden ser conducidos por dinámicas específicas do sistema (por exemplo, o xeito no que o Kickstarter clasifica proxectos ou a forma que change.org clasifica peticións, para máis información, vexa a discusión sobre a confusión algorítmica no Capítulo 2). Finalmente, cando os investigadores intervir nos sistemas de traballo, cuestións éticas complicadas xurdir sobre posibles danos aos participantes, non asistentes, e sistemas. Imos considerar estes cuestión ética en máis detalles no capítulo 6, e hai unha excelente discusión deles no apéndice de van de Rijt (2014) . Os trade-offs que veñen co traballo nun sistema existente non son ideais para cada proxecto, e por esa razón algúns investigadores construír o seu propio sistema experimental, o tema da seguinte sección.

Táboa 4.2: Exemplos de experimentos en sistemas existentes. Estas experiencias parecen caer en tres categorías principais, e esta categorización pode axudar a entender oportunidades adicionais para a súa propia investigación. En primeiro lugar, hai experimentos que implica a venda ou compra de algo (por exemplo, Doleac and Stein (2013) ). En segundo lugar, hai experimentos que implica a entrega dun tratamento para participantes específicos (por exemplo, Restivo and Rijt (2012) ). Finalmente, hai experiencias que envolven tratamentos de entrega para obxectos específicos, tales como solicitudes (por exemplo, Vaillant et al. (2015) ).
tema cita
Efecto da barnstars sobre as contribucións Wikipedia Restivo and Rijt (2012) ; Restivo and Rijt (2014) ; Rijt et al. (2014)
Efecto da mensaxe anti-acoso sobre os tweets racistas Munger (2016)
Efecto do método de poxa no prezo de venda Lucking-Reiley (1999)
Efecto da reputación no prezo en poxas en liña Resnick et al. (2006)
Efecto da raza de vendedores na venda de tarxetas de béisbol en eBay Ayres, Banaji, and Jolls (2015)
Efecto da raza de vendedores na venda de iPods Doleac and Stein (2013)
Efecto da raza de invitado en aluguer Airbnb Edelman, Luca, and Svirsky (2016)
Efecto das doazóns no éxito de proxectos no Kickstarter Rijt et al. (2014)
Efecto de raza e etnia sobre as rendas de vivenda Hogan and Berry (2011)
Efecto da avaliación positiva sobre as futuras clasificacións no epinions Rijt et al. (2014)
Efecto de sinaturas no éxito de peticións Vaillant et al. (2015) ; Rijt et al. (2014)