4.5.1 Gebruik bestaande omgevingen

U kunt experimenten draaien binnen bestaande omgevingen, vaak zonder enige codering of partnerschap.

Logistiek gezien, is de eenvoudigste manier om een ​​digitaal experiment uit te voeren, uw experiment over een bestaande omgeving heen te leggen. Dergelijke experimenten kunnen op redelijk grote schaal worden uitgevoerd en vereisen geen partnerschap met een bedrijf of uitgebreide softwareontwikkeling.

Jennifer Doleac en Luke Stein (2013) maakten bijvoorbeeld gebruik van een online marktplaats vergelijkbaar met Craigslist om een ​​experiment uit te voeren dat rassendiscriminatie meet. Ze adverteerden duizenden iPods en door systematisch de kenmerken van de verkoper te variëren, konden ze het effect van ras op economische transacties bestuderen. Verder gebruikten ze de schaal van hun experiment om te schatten wanneer het effect groter was (heterogeniteit van de behandelingseffecten) en om enkele ideeën te geven over de reden waarom het effect zou kunnen optreden (mechanismen).

Doleac en Stein's iPod-advertenties varieerden volgens drie hoofddimensies. Ten eerste varieerden de onderzoekers van de kenmerken van de verkoper, wat werd gesignaleerd door de hand gefotografeerd met de iPod [wit, zwart, wit met tatoeage] (figuur 4.13). Ten tweede varieerden ze de vraagprijs [$ 90, $ 110, $ 130]. Ten derde varieerden ze de kwaliteit van de advertentietekst [hoge kwaliteit en lage kwaliteit (bijv. CApitalization-fouten en spelin-fouten)]. De auteurs hadden dus een 3 \(\times\) 3 \(\times\) 2-ontwerp dat werd gebruikt op meer dan 300 lokale markten, variërend van steden (bijv. Kokomo, Indiana en North Platte, Nebraska) tot mega- steden (bijv. New York en Los Angeles).

Figuur 4.13: Handen gebruikt in het experiment van Doleac and Stein (2013) . iPods werden verkocht door verkopers met verschillende kenmerken om discriminatie op een online marktplaats te meten. Gereproduceerd met toestemming van Doleac and Stein (2013) , figuur 1.

Gemiddeld genomen waren alle resultaten beter voor de witte verkopers dan de zwarte verkopers, waarbij de getatoeëerde verkopers tussentijdse resultaten behaalden. De witte verkopers kregen bijvoorbeeld meer aanbiedingen en hadden hogere uiteindelijke verkoopprijzen. Naast deze gemiddelde effecten, schatten Doleac en Stein de heterogeniteit van effecten. Een voorspelling uit de vroegere theorie is bijvoorbeeld dat discriminatie minder zou zijn op markten waar er meer concurrentie tussen kopers is. Op basis van het aantal aanbiedingen op die markt als maatstaf voor de hoeveelheid kopersconcurrentie, constateerden de onderzoekers dat zwarte verkopers inderdaad slechtere aanbiedingen ontvingen in markten met een lage mate van concurrentie. Door de resultaten voor de advertenties te vergelijken met tekst van hoge kwaliteit en lage kwaliteit, ontdekten Doleac en Stein dat de advertentiekwaliteit geen nadelige invloed had op het nadeel van zwarte en getatoeëerde verkopers. Ten slotte ontdekten de auteurs dat advertenties die werden geplaatst in meer dan 300 markten, zwartere verkopers meer benadelen in steden met hoge criminaliteitscijfers en hoge segregatie in woningen. Geen van deze resultaten geeft ons precies inzicht in waarom zwarte verkopers slechtere resultaten hadden, maar in combinatie met de resultaten van andere onderzoeken kunnen ze beginnen om theorieën te informeren over de oorzaken van rassendiscriminatie in verschillende soorten economische transacties.

Een ander voorbeeld dat laat zien dat onderzoekers veldexperimenten kunnen uitvoeren in bestaande systemen is het onderzoek van Arnout van de Rijt en collega's (2014) naar de sleutels tot succes. In veel aspecten van het leven eindigen ogenschijnlijk vergelijkbare mensen met heel verschillende uitkomsten. Een mogelijke verklaring voor dit patroon is dat kleine en in wezen willekeurige voordelen in de tijd kunnen opsluiten en groeien, een proces dat onderzoekers cumulatief voordeel noemen. Om vast te stellen of kleine initiële successen vastlopen of verdwijnen, hebben van de Rijt en collega's (2014) ingegrepen in vier verschillende systemen om succesvol te zijn bij willekeurig geselecteerde deelnemers, en vervolgens de gevolgen van dit willekeurige succes gemeten.

Meer bepaald hebben Van de Rijt en collega's (1) geld toegezegd aan willekeurig geselecteerde projecten op Kickstarter, een crowdfundingwebsite; (2) positief beoordeelde willekeurig geselecteerde beoordelingen op Epinions, een website voor productherziening; (3) gaf prijzen aan willekeurig gekozen bijdragers aan Wikipedia; en (4) ondertekend willekeurig geselecteerde petities op change.org. Ze vonden vergelijkbare resultaten in alle vier de systemen: in elk geval hadden deelnemers die willekeurig een vroeg succes hadden gekregen, later meer successen dan hun anderszins niet te onderscheiden leeftijdsgenoten (figuur 4.14). Het feit dat hetzelfde patroon in veel systemen verscheen, verhoogt de externe validiteit van deze resultaten omdat het de kans verkleint dat dit patroon een artefact is van een bepaald systeem.

Figuur 4.14: Langetermijneffecten van willekeurig toegekend succes in vier verschillende sociale systemen. Arnout van de Rijt en collega's (2014) (1) beloofden geld aan willekeurig geselecteerde projecten op Kickstarter, een crowdfundingwebsite; (2) positief beoordeelde willekeurig geselecteerde beoordelingen op Epinions, een website voor productherziening; (3) gaf prijzen aan willekeurig gekozen bijdragers aan Wikipedia; en (4) ondertekend willekeurig geselecteerde petities op change.org. Aangepast door Rijt et al. (2014) , figuur 2.

Samen laten deze twee voorbeelden zien dat onderzoekers digitale veldexperimenten kunnen uitvoeren zonder de noodzaak om met bedrijven samen te werken of complexe digitale systemen te bouwen. Verder geeft tabel 4.2 nog meer voorbeelden die laten zien wat er mogelijk is wanneer onderzoekers de infrastructuur van bestaande systemen gebruiken om behandeling en / of meetresultaten te leveren. Deze experimenten zijn relatief goedkoop voor onderzoekers en bieden een hoge mate van realisme. Maar ze bieden onderzoekers beperkte controle over de deelnemers, behandelingen en te meten resultaten. Verder, voor experimenten die plaatsvinden in slechts één systeem, moeten onderzoekers zich zorgen maken dat de effecten kunnen worden aangestuurd door systeem-specifieke dynamiek (bijv. De manier waarop Kickstarter projecten rangschikt of de manier waarop change.org petities rangschikt, voor meer informatie, zie de discussie over algoritmische verstoringen in hoofdstuk 2). Tot slot, wanneer onderzoekers ingrijpen in werksystemen, duiken er ethische vragen op over mogelijke schade aan deelnemers, niet-deelnemers en systemen. We zullen deze ethische vraag meer in detail bespreken in hoofdstuk 6, en er is een uitstekende discussie over in de appendix van van de Rijt et al. (2014) . De wisselwerking met een bestaand systeem is niet ideaal voor elk project en om die reden bouwen sommige onderzoekers hun eigen experimentele systeem, zoals ik hierna zal illustreren.