4.5.1 Користите постојећа окружења

Можете изводити експерименте у постојећим условима, често без икаквог кодирања и партнерство.

Логистички најлакши начин за дигитални експеримент је да прекријете свој експеримент изнад постојећег окружења. Такви експерименти могу се одвијати у прилично великом обиму и не захтевају партнерство са компанијом или обиман развој софтвера.

На примјер, Јеннифер Долеац и Луке Стеин (2013) искористили су онлине тржиште слично Цраигслист-у како би покренули експеримент који је мерио расну дискриминацију. Они су рекламирали хиљаде иПод-а и систематично променили карактеристике продавца, могли су да проучавају утицај трке на економске трансакције. Даље, они су користили скалу њиховог експеримента да процене када је ефекат већи (хетерогеност ефеката третмана) и да понуди неке идеје о томе зашто би се ефекат могао појавити (механизми).

Долеац и Стеинови иПод огласи су се разликовали у три главне димензије. Прво, истраживачи су променили карактеристике продавца, што је сигнализирала руком фотографисана држећи иПод [бело, црно, бело са тетоважом] (слика 4.13). Друго, они су варирали тражену цену [90 долара, 110 долара, 130 долара]. Треће, они су варирали квалитет текста огласа [висококвалитетни и ниско-квалитетни (нпр. Грешке у цитализацији и грешке у спелин-у)]. Тако су аутори имали 3 \(\times\) 3 \(\times\) 2 дизајн који је распоређен на више од 300 локалних тржишта, од градова (нпр. Кокомо, Индиана и Нортх Платте, Небраска) градова (нпр. Њујорк и Лос Анђелес).

Слика 4.13: Руке коришћене у експерименту Doleac and Stein (2013) . иПодове су продали продавци различитих карактеристика како би се измерила дискриминација на онлине тржишту. Репродуковано дозволом Doleac and Stein (2013) , слика 1.

Усредсређени у све услове, исходи су били бољи за бијеле продаваче од црних продаваца, а тетоважирани продавци имају средње резултате. На пример, бели продавци су добили више понуда и имали веће коначне продајне цене. Поред ових просечних ефеката, Долеац и Стеин процењују хетерогеност ефеката. На пример, једно предвиђање из раније теорије је да би дискриминација била мања на тржиштима где постоји више конкуренције између купаца. Користећи број понуда на том тржишту као мјеру количине конкуренције купаца, истраживачи су открили да су црни продавци заиста добијали лошије понуде на тржиштима са ниским степеном конкуренције. Надаље, поредећи резултате за квалитетне и ниско квалитетне текстове, Долеац и Стеин су открили да квалитет огласа није утицало на мана која се суочава са црним и тетовираним продавцима. Коначно, искористивши чињеницу да су рекламе постављене на више од 300 тржишта, аутори су открили да су црни продавци били у неповољнијем положају у градовима са високим стопама криминала и високом резидентном сегрегацијом. Ниједан од ових резултата не даје прецизно разумевање тачно због чега су црни продавци имали лошије исходе, али, у комбинацији са резултатима других студија, могу почети да информишу теорије о узроцима расне дискриминације у различитим врстама економских трансакција.

Још један пример који показује способност истраживача да изводе дигиталне експерименте у постојећим системима је истраживање Арноут ван де Ријта и колега (2014) о кључима за успех. У многим аспектима живота, наизглед слични људи завршавају са веома различитим исходима. Једно могуће објашњење за овај образац јесте то што се мале и суштинске насумичне предности могу закључати и расти током времена, процес који истраживачи зову кумулативну предност . Да би се утврдило да ли су мали почетни успеси блокирани или нестали, ван де Ријт и колеге (2014) интервенисали су у четири различита система који су дали успех на случајно одабраним учесницима, а затим су мјерили накнадне утицаје овог произвољног успјеха.

Конкретније, ван де Ријт и колеге (1) су обећали новац за случајно одабране пројекте на Кицкстартер-у, веб страници за преузимање; (2) позитивно оцијењене случајно одабране критике о Епинионима, веб страницу за преглед производа; (3) доделио награде случајно изабраним учесницима у Википедији; и (4) потписане случајно одабране петиције на цханге.орг. Пронашли су веома сличне резултате у сва четири система: у сваком случају, учесници који су случајно дали неки ранији успех имали су више успјешних успјеха него њихови иначе потпуно неотуђиви вршњаци (слика 4.14). Чињеница да се исти образац појавио у многим системима повећава вањску валидност ових резултата јер смањује могућност да је овај образац артефакат било ког одређеног система.

Слика 4.14: Дугорочни ефекти случајно награђеног успеха у четири различита друштвена система. Арноут ван де Ријт и колеге (2014) (1) су обећавали новац за случајно одабране пројекте на Кицкстартер-у, веб страници за преузимање; (2) позитивно оцијењене случајно одабране критике о Епинионима, веб страницу за преглед производа; (3) доделио награде случајно изабраним учесницима у Википедији; и (4) потписане случајно одабране петиције на цханге.орг. Адаптирано од Rijt et al. (2014) , слика 2.

Заједно, ова два примера показују да истраживачи могу изводити дигиталне експерименте без потребе за партнерством са компанијама или изградњом сложених дигиталних система. Надаље, у табели 4.2 дат је још примјера који показују опсег онога што је могуће када истраживачи користе инфраструктуру постојећих система да испуне третман и / или мере резултате. Ови експерименти су релативно јефтини за истраживаче и они нуде висок степен реализма. Али они нуде истраживачима ограничену контролу над учесницима, третманима и исходима који се мјере. Даље, за експерименте који се одвијају само у једном систему, истраживачи морају бити забринути да би ефекте могле бити усмјерене динамиком специфичне за систем (нпр. Начин на који Кицкстартер рангира пројекте или начин на који цханге.орг рангира петиције, погледајте дискусију о алгоритамским збуњењем у поглављу 2). На крају, када истраживачи интервенишу у радним системима, наступају се етичка питања о могућој штети учесницима, неуједначенима и системима. Ово етичко питање више ћемо размотрити у поглављу 6, а постоји одлична дискусија о њима у прилогу ван де Ријт и сар. (2014) . Компромиси који долазе са радом у постојећем систему нису идеални за сваки пројекат, и због тога неки истраживачи граде сопствени експериментални систем, као што ћу илустрирати у наставку.