4.5.1 Użyj istniejących środowisk

Można uruchomić eksperymenty wewnątrz istniejących środowiskach, często bez żadnego kodowania lub partnerstwa.

Logistycznie najprostszym sposobem na przeprowadzenie eksperymentu cyfrowego jest nałożenie eksperymentu na istniejące środowisko. Takie eksperymenty mogą być prowadzone na dość dużą skalę i nie wymagają współpracy z firmą lub rozbudowanego oprogramowania.

Na przykład Jennifer Doleac i Luke Stein (2013) wykorzystali rynek internetowy podobny do Craigslist, aby przeprowadzić eksperyment mierzący dyskryminację rasową. Reklamowali tysiące iPodów i systematycznie zmieniając charakterystykę sprzedawcy, mogli badać wpływ rasy na transakcje gospodarcze. Co więcej, wykorzystali skalę swojego eksperymentu do oszacowania, kiedy efekt był większy (heterogeniczność efektów leczenia) oraz do przedstawienia pomysłów na temat tego, dlaczego efekt może wystąpić (mechanizmy).

Reklama iPoda Doleaca i Steina była podzielona na trzy główne wymiary. Po pierwsze, badacze zmienili charakterystykę sprzedawcy, co zostało zasygnalizowane przez fotografowaną rękę trzymającą iPoda [biały, czarny, biały z tatuażem] (rysunek 4.13). Po drugie, zmienili cenę wywoławczą [90 USD, 110 USD, 130 USD]. Po trzecie, zmieniły one jakość tekstu reklamy [wysokiej jakości i niskiej jakości (np. Błędy w konsoli i błędy spelinów]]. W związku z tym autorzy mieli projekt 3 \(\times\) 3 \(\times\) 2, który został wdrożony na ponad 300 rynkach lokalnych, począwszy od miast (np. Kokomo, Indiana i North Platte, Nebraska) do mega- miasta (np. Nowy Jork i Los Angeles).

Rysunek 4.13: Ręce używane w eksperymencie Doleac and Stein (2013) . iPody były sprzedawane przez sprzedawców o różnych cechach, aby zmierzyć dyskryminację na rynku online. Reprodukcja za zgodą Doleac and Stein (2013) , rysunek 1.

Uśredniona we wszystkich warunkach, wyniki były lepsze dla białych sprzedawców niż dla czarnych sprzedawców, a wytatuowani sprzedawcy mieli pośrednie wyniki. Na przykład biali sprzedawcy otrzymali więcej ofert i mieli wyższe ostateczne ceny sprzedaży. Poza tymi przeciętnymi efektami, Doleac i Stein oszacowali heterogeniczność efektów. Na przykład, jedna prognoza z wcześniejszej teorii mówi, że dyskryminacja byłaby mniejsza na rynkach, na których istnieje większa konkurencja między kupującymi. Wykorzystując liczbę ofert na tym rynku jako miarę wielkości konkurencji kupujących, naukowcy stwierdzili, że sprzedawcy czarni rzeczywiście otrzymywali gorsze oferty na rynkach o niskim stopniu konkurencji. Ponadto, porównując wyniki reklam z tekstem wysokiej jakości i niskiej jakości, Doleac i Stein stwierdzili, że jakość reklam nie miała wpływu na niekorzystną sytuację sprzedawców czarnych i wytatuowanych. Wreszcie, korzystając z faktu, że reklamy zostały umieszczone na ponad 300 rynkach, autorzy stwierdzili, że czarni sprzedawcy byli bardziej poszkodowani w miastach o wysokim wskaźniku przestępczości i wysokiej segregacji mieszkaniowej. Żaden z tych wyników nie daje nam dokładnego zrozumienia, dlaczego właśnie sprzedawcy czarni mają gorsze wyniki, ale w połączeniu z wynikami innych badań mogą zacząć informować teorie na temat przyczyn dyskryminacji rasowej w różnych typach transakcji gospodarczych.

Innym przykładem, który pokazuje zdolność badaczy do przeprowadzania cyfrowych eksperymentów terenowych w istniejących systemach, są badania Arnouta van de Rijta i współpracowników (2014) dotyczące kluczy do sukcesu. W wielu aspektach życia pozornie podobni ludzie otrzymują bardzo różne wyniki. Jednym z możliwych wyjaśnień tego wzoru jest to, że małe - i zasadniczo losowe - zalety mogą się blokować i zwiększać wraz z upływem czasu, proces, który naukowcy nazywają zaletą kumulacyjną . W celu ustalenia, czy małe wstępne sukcesy blokują się lub zanikają, van de Rijt i współpracownicy (2014) interweniowali w czterech różnych systemach dających sukces losowo wybranym uczestnikom, a następnie mierzyli kolejne skutki tego arbitralnego sukcesu.

Mówiąc dokładniej, van de Rijt i jego współpracownicy (1) zobowiązali się do losowania wybranych projektów w witrynie Kickstarter, stronie crowdfundingowej; (2) pozytywnie oceniono losowo wybrane recenzje dotyczące Epinions, strony z recenzjami produktów; (3) przyznał losowo wybranym autorom Wikipedii; i (4) podpisali losowo wybrane petycje na stronie change.org. Stwierdzili oni bardzo podobne wyniki we wszystkich czterech systemach: w każdym przypadku uczestnicy, którzy zostali przypadkowo obdarzeni pewnym wczesnym sukcesem, osiągnęli więcej sukcesów niż ich całkowicie nieodróżnialne rówieśnicy (rysunek 4.14). Fakt, że ten sam wzór pojawił się w wielu systemach, zwiększa zewnętrzną wiarygodność tych wyników, ponieważ zmniejsza prawdopodobieństwo, że ten wzór jest artefaktem konkretnego systemu.

Rysunek 4.14: Długoterminowe skutki losowo przydzielonego sukcesu w czterech różnych systemach społecznych. Arnout van de Rijt i jego współpracownicy (2014) (1) zadeklarowali pieniądze na losowo wybrane projekty w witrynie Kickstarter, stronie crowdfundingowej; (2) pozytywnie oceniono losowo wybrane recenzje dotyczące Epinions, strony z recenzjami produktów; (3) przyznał losowo wybranym autorom Wikipedii; i (4) podpisali losowo wybrane petycje na stronie change.org. Adaptacja z Rijt et al. (2014) , rysunek 2.

Razem te dwa przykłady pokazują, że naukowcy mogą przeprowadzać cyfrowe eksperymenty terenowe bez potrzeby współpracy z firmami lub budowania złożonych systemów cyfrowych. Ponadto w tabeli 4.2 przedstawiono jeszcze więcej przykładów pokazujących zakres tego, co jest możliwe, gdy badacze wykorzystują infrastrukturę istniejących systemów w celu dostarczenia leczenia i / lub pomiaru wyników. Te eksperymenty są stosunkowo tanie dla naukowców i oferują wysoki stopień realizmu. Oferują badaczom ograniczoną kontrolę nad uczestnikami, leczeniem i wynikami, które należy zmierzyć. Co więcej, aby eksperymenty odbywały się tylko w jednym systemie, badacze muszą się obawiać, że efekty mogą być spowodowane dynamiką specyficzną dla danego systemu (np. Sposób, w jaki Kickstarter plasuje projekty lub sposób, w jaki change.org zajmuje petycje, więcej informacji, zobacz dyskusję o algorytmicznym zakłócaniu w rozdziale 2). Wreszcie, kiedy badacze interweniują w systemach roboczych, pojawiają się trudne pytania etyczne dotyczące możliwych szkód dla uczestników, nieuczestników i systemów. Rozważymy te kwestie etyczne bardziej szczegółowo w rozdziale 6, a tam jest doskonała dyskusja na ich temat w dodatku van de Rijta i in. (2014) . Kompromisy, które przychodzą z pracą w istniejącym systemie, nie są idealne dla każdego projektu iz tego powodu niektórzy badacze budują swój własny system eksperymentalny, co zilustruję dalej.