4.5.1.1 medii de utilizare existente

Aveți posibilitateaexecutați experimente în interiorul mediile existente, de multe ori fără nici un fel de codificare sau parteneriat.

Punct de vedere logistic, cel mai simplu mod de a face experimente digitale este de a suprapune experimentul pe partea de sus a unui mediu existent, permițându-vă să rulați un experiment de câmp digital. Aceste experimente pot fi rulate la o scară destul de mare și nu necesită parteneriat cu o companie sau de dezvoltare de software extinse.

De exemplu, Jennifer Doleac și Luke Stein (2013) a profitat de o piata online ( de exemplu, Craiglist) pentru a rula un experiment care a măsurat discriminarea rasială. Doleac și Stein publicitate mii de iPod-uri, precum și prin modificarea în mod sistematic caracteristicile ale vânzătorului, ei au putut studia efectul rasei asupra tranzacțiilor economice. Mai mult, Doleac Stein a folosit amploarea experimentului lor pentru a estima atunci când efectul este mai mare (neomogenitatea efectelor tratamentului) și oferă câteva idei despre motivul pentru care efectul s-ar putea să apară (mecanisme).

Inainte de studiul Doleac și Stein, au existat două abordări principale pentru măsurarea experimentală a discriminării. În corespondență studii cercetători a crea CV - uri de persoane fictive de diferite rase și de a folosi aceste CV - uri, de exemplu, se aplică pentru diferite locuri de muncă. Bertrand și Mullainathan lui (2004) , hârtie cu titlul memorabil "Sunt Emily și Greg Mai mult decât utilizabili Lakisha și Jamal? Un experiment pe teren privind pieței muncii Discriminarea "este o ilustrare minunată a unui studiu de corespondență. Studiile au corespondență costuri relativ scăzute pe observație, ceea ce permite unui singur cercetător pentru a colecta mii de observații într-un studiu tipic. Dar, studii de corespondență de discriminare rasială au fost chestionați pentru că numele de semnale potential de multe lucruri, în plus față de cursa solicitantului. Asta este, nume, cum ar fi Greg, Emily, Lakisha și Jamal poate semnala clasa socială, în plus față de rasă. Astfel, orice diferență de tratament pentru CV - uri ale lui Greg și a lui Jamal ar putea fi din cauza mai mult diferentele rasiale presupuse ale solicitanților. Studiile de audit, pe de altă parte, implică angajarea de actori de diferite rase să se aplice în persoană pentru locuri de muncă. Chiar daca studiile de audit furnizează un semnal clar al rasei solicitante, acestea sunt extrem de costisitoare pentru fiecare observație, ceea ce înseamnă că ele au în mod tipic doar sute de observații.

In experimentul lor domeniul digital Doleac și Stein au reușit să creeze un hibrid atractiv. Ei au fost în măsură să colecteze date de la un cost relativ scăzut pe observare care rezultă în mii de observații (ca într-un studiu de corespondență) -și au fost în măsură să semnaleze cursa cu ajutorul fotografiilor-rezultând într-un semnal clar de rasa uncounfounded (ca într-un studiu de audit ). Astfel, mediul online permite cercetatorilor sa creeze uneori noi tratamente, care au proprietăți care sunt greu de a construi în alt mod.

Anunțurile iPod ale Doleac și Stein a variat de-a lungul a trei dimensiuni principale. În primul rând, ei au variat caracteristicile vânzătorului, care a fost semnalată de mână fotografiata care deține iPod [alb, negru, alb cu tatuaj] (Figura 4.12). În al doilea rând, ei au variat pretul cerut [$ 90 $ 110, $ 130]. În al treilea rând, ei au variat calitatea textului publicitar [de înaltă calitate și de slabă calitate (de exemplu, erori majusculelor și erorile spelin)]. Astfel, autorii au avut un design de 3 X 3 X 2, care a fost desfășurată pe mai mult de 300 de piețe locale, care variază de la orașe (de exemplu, Kokomo, IN și North Platte, NE) mega-orașe (de exemplu, New York si Los Angeles).

Figura 4.12: Mâinile utilizate în experimentul de Doleac și Stein (2013). iPod-uri au fost vândute de către vânzători cu caracteristici diferite pentru a măsura discriminarea într-o piață online.

Figura 4.12: Mâinile utilizate în experimentul de Doleac and Stein (2013) . iPod-uri au fost vândute de către vânzători cu caracteristici diferite pentru a măsura discriminarea într-o piață online.

În toate condițiile în medie, rezultatele au fost mai bune pentru vânzător alb decât vânzătorul negru, cu vânzătorul tatuată cu rezultate intermediare. De exemplu, vânzătorii alb au primit mai multe oferte și au avut prețurile de vânzare finale mai mari. Dincolo de aceste efecte medii, Doleac și Stein a estimat eterogenitatea efectelor. De exemplu, o predicție din teorie anterioară este faptul că discriminarea ar fi mai puțin pe piețele care sunt mai competitive. Cu ajutorul numărului de oferte primite ca un proxy pentru competiția de pe piață, autorii au constatat că vânzătorii negru într-adevăr primi oferte mai rele pe piețele cu un grad scăzut de concurență. Mai mult, prin compararea rezultatelor pentru anunțurile cu înaltă calitate și text de slabă calitate, Doleac și Stein a constatat că calitatea anunțului nu influențează dezavantajul cu care se confruntă vânzătorii de negru și tatuati. În cele din urmă, profitând de faptul că reclamele au fost plasate în mai mult de 300 de piețe, autorii consideră că vânzătorii negru sunt mai dezavantajați în orașe cu rate ridicate ale infracționalității și segregare rezidențială ridicată. Nici unul dintre aceste rezultate ne dau o înțelegere precisă exact de ce vanzatori de culoare a avut rezultate mai rau, dar, atunci când sunt combinate cu rezultatele altor studii, ei pot incepe sa informeze teorii cu privire la cauzele discriminării rasiale în diferite tipuri de tranzacții economice.

Un alt exemplu care arată capacitatea cercetătorilor de a efectua experimente pe teren digitale în sistemele existente este cercetarea prin Arnout van de Rijt și colegii (2014) cu privire la cheile succesului. În multe aspecte ale vieții, oameni aparent similare se termina cu rezultate foarte diferite. O posibilă explicație pentru acest model este faptul că mici și , în esență , aleator avantaje pot bloca în și să crească în timp, un proces care cercetatorii numesc avantaj cumulativ. Pentru a se determina dacă succesele inițiale mici de blocare-in sau estompează, van de Rijt si colegii sai (2014) au intervenit în patru sisteme diferite dăruindu succes pe participanți selectați în mod aleatoriu, iar apoi au masurat efectele pe termen lung ale acestui succes arbitrar.

Mai precis, Van de Rijt si colegii 1) promis bani pentru a selectat aleatoriu proiecte pe kickstarter.com , un site web crowdfunding; 2) a evaluat pozitiv recenzii selectate aleatoriu pe site - ul Epinions ; 3) a dat premii alese în mod aleatoriu contribuitori la Wikipedia ; și 4) au semnat selectate în mod aleatoriu petițiile privind change.org . Cercetatorii au descoperit rezultate foarte similare in toate cele patru sisteme: în fiecare caz, participanții care au fost date în mod aleatoriu un oarecare succes timpuriu a continuat sa aiba mai mult succes ulterior decât colegii lor în alt mod complet imposibil de distins (Figura 4.13). Faptul că același model a apărut în mai multe sisteme crește validitatea externă a acestor rezultate, deoarece reduce șansele ca acest model este un artefact al oricărui sistem particular.

Figura 4.13: Efectele pe termen lung ale succesului acordat în mod aleatoriu în patru sisteme sociale diferite. Arnout Van de Rijt si colegii (2014) 1) a promis bani pentru selectate aleatoriu proiecte pe kickstarter.com, un site web crowdfunding; 2) a evaluat pozitiv recenzii selectate aleatoriu pe site-ul web Epinions; 3) a dat premii alese în mod aleatoriu contribuitori la Wikipedia; și 4) au semnat selectate în mod aleatoriu petițiile privind change.org.

Figura 4.13: Efectele pe termen lung ale succesului acordat în mod aleatoriu în patru sisteme sociale diferite. Arnout Van de Rijt si colegii (2014) 1) a promis bani pentru selectate aleatoriu proiecte pe kickstarter.com , un site web crowdfunding; 2) a evaluat pozitiv recenzii selectate aleatoriu pe site - ul Epinions ; 3) a dat premii alese în mod aleatoriu contribuitori la Wikipedia ; și 4) au semnat selectate în mod aleatoriu petițiile privind change.org .

Împreună, aceste două exemple arată că cercetătorii pot efectua experimente de teren digitale fara a fi nevoie de a colabora cu firme sau necesitatea de a construi sisteme digitale complexe. În plus, Tabelul 4.2 oferă mai multe exemple care arată intervalul de ceea ce este posibil, atunci când cercetătorii folosesc infrastructura sistemelor existente pentru a oferi un tratament și / sau de măsurare a rezultatelor. Aceste experimente sunt relativ ieftine pentru cercetători și oferă un grad ridicat de realism. Dar aceste experimente ofera cercetatorilor un control limitat asupra participanților, tratamente, și rezultatele care urmează să fie măsurate. În plus, pentru experimentele care au loc într-un singur sistem, cercetătorii trebuie să fie preocupat de faptul că efectele ar putea fi condus de dinamici specifice sistemului (de exemplu, modul în care Kickstarter se clasează proiecte sau modul în care change.org ocupă locul petițiilor, pentru mai multe informații, vezi discuția despre intricate algoritmică în Capitolul 2). În cele din urmă, atunci când cercetătorii intervin în sistemele de lucru, probleme etice dificile emerge despre posibilele daune participanților, non-participanți, și sisteme. Vom lua în considerare aceste întrebări etice mai detaliat în capitolul 6, și există o discuție excelentă a acestora în anexa de Van de Rijt (2014) . Compromisurile care vin cu care lucrează într-un sistem existent nu sunt ideale pentru fiecare proiect, iar din acest motiv, unii cercetători construiesc propriul lor sistem experimental, subiectul secțiunii următoare.

Tabelul 4.2: Exemple de experimente în sistemele existente. Aceste experimente par să se împart în trei categorii principale, iar această clasificare ar putea ajuta să observați oportunități suplimentare pentru propria cercetare. În primul rând, există experimente care implică vânzarea sau cumpărarea ceva ( de exemplu, Doleac and Stein (2013) ). În al doilea rând, există experimente care implica livrarea unui tratament participanților specifice ( de exemplu, Restivo and Rijt (2012) ). În cele din urmă, există experimente care implică tratamente cu livrare la anumite obiecte , cum ar fi petițiile ( de exemplu, Vaillant et al. (2015) , Vaillant et al. (2015) ).
Subiect Citare
Efectul barnstars privind contribuțiile la Wikipedia Restivo and Rijt (2012) ; Restivo and Rijt (2014) ; Rijt et al. (2014)
Efectul mesajului anti-hărțuire pe tweet-uri rasiste Munger (2016)
Efectul metodei de licitație la prețul de vânzare Lucking-Reiley (1999)
Efectul asupra reputației prețurilor în cadrul licitațiilor online Resnick et al. (2006)
Efectul de rasă de vânzător la vânzarea de carduri de baseball pe eBay Ayres, Banaji, and Jolls (2015)
Efectul de rasă de vânzător la vânzarea de iPod-uri Doleac and Stein (2013)
Efectul de rasă de invitat, închirieri Airbnb Edelman, Luca, and Svirsky (2016)
Efectul donațiilor pe succesul proiectelor pe Kickstarter Rijt et al. (2014)
Efectul de rasă și origine etnică pe chiriile pentru locuințe Hogan and Berry (2011)
Efectul de rating pozitiv asupra ratingurilor viitoare asupra ePinions Rijt et al. (2014)
Efectul semnăturilor pe succesul petițiilor Vaillant et al. (2015) ; Rijt et al. (2014)