4.5.1 Použití stávajících prostředí

Můžete provádět experimenty uvnitř existujících prostředí, často bez kódování nebo partnerství.

Logisticky nejjednodušší způsob, jak provádět digitální experiment, je překrýt váš experiment s existujícím prostředím. Tyto experimenty lze provozovat v přiměřeně velkém měřítku a nevyžadují partnerství se společností nebo rozsáhlý vývoj softwaru.

Například Jennifer Doleac a Luke Stein (2013) využily online tržiště podobného Craigslistu, aby provedly experiment, který měřil rasovou diskriminaci. Propagovali tisíce iPodů a systematicky měnili vlastnosti prodejce a dokázali studovat vliv rasy na ekonomické transakce. Dále využili rozsah svého experimentu, aby odhadli, kdy je účinek větší (heterogenita účinků léčby), a nabídnout nějaké představy o tom, proč by se mohl projevit účinek (mechanismy).

Doleac a Steinova reklama pro iPod se lišila podle tří hlavních rozměrů. Za prvé, výzkumní pracovníci změnili vlastnosti prodejce, který byl signalizován rukama fotografovaným držícím iPod [bílá, černá, bílá s tetováním] (obrázek 4.13). Za druhé, lišili žádanou cenu [$ 90, 110 dolarů, 130 dolarů]. Za třetí měnili kvalitu textu reklamy [vysoce kvalitní a nekvalitní (např. Chyby cApitalization a chyby spelin)]. To znamená, že autoři měl 3 \(\times\) 3 \(\times\) 2 design, který byl nasazen ve více než 300 místních trzích, a to od měst (např Kokomo, Indiana a Severní Platte, Nebraska) do mega- města (např. New York a Los Angeles).

Obrázek 4.13: Ruce používané v experimentu Doleac and Stein (2013) . iPody byly prodávány prodejci s různými vlastnostmi pro měření diskriminace v on-line tržišti. Reprodukováno na základě povolení společnosti Doleac and Stein (2013) , obrázek 1.

Při všech možných podmínkách byly výsledky pro bílé prodejce lepší než pro černé prodejce, přičemž prodejci tetování mají mezitím výsledky. Například bílí prodejci obdrželi více nabídek a měli vyšší konečné prodejní ceny. Kromě těchto průměrných účinků Doleac a Stein odhadli heterogenitu účinků. Například, jedna předpověď z dřívější teorie je, že diskriminace by byla méně na trzích, kde je mezi kupujícím větší konkurence. S využitím počtu nabídek na tomto trhu jako měřítka objemu konkurence kupujících výzkumníci zjistili, že černí prodejci skutečně dostali horší nabídky na trzích s nízkým stupněm konkurence. Dále pak srovnáním výsledků pro reklamy s kvalitní a nekvalitní textou zjistily Doleac a Stein, že kvalita reklamy neovlivňuje nevýhodu, kterou čelí černí a tetovaní prodejci. Konečně, využívající skutečnost, že inzerce byla umístěna na více než 300 trzích, autoři zjistili, že černí prodejci byli ve znevýhodněných městech ve městech s vysokou kriminalitou a vysokou segregací bydlení. Žádný z těchto výsledků neposkytuje přesné pochopení, proč černí prodejci mají horší výsledky, ale v kombinaci s výsledky jiných studií mohou začít informovat teorie o příčinách rasové diskriminace v různých typech ekonomických transakcí.

Dalším příkladem, který ukazuje schopnost výzkumných pracovníků provádět experimenty v oblasti digitálních polí ve stávajících systémech, je výzkum Arnout van de Rijta a kolegů (2014) o klíčích k úspěchu. V mnoha aspektech života vypadají podobní lidé s velmi odlišnými výsledky. Jedním z možných vysvětlení tohoto modelu je to, že malé a v podstatě náhodné výhody mohou časem zablokovat a růst, proces, který vědci nazývají kumulativní výhodou . Aby se zjistilo, zda malé počáteční úspěchy zablokují nebo zmizí, van de Rijt a kolegové (2014) zasáhli ve čtyřech různých systémech, které udělali úspěch náhodně vybraným účastníkům, a pak změřily následné dopady tohoto libovolného úspěchu.

Konkrétněji van de Rijt a kolegové (1) slíbili peníze na náhodně vybrané projekty na webových stránkách Kickstarter, (2) pozitivně hodnocené náhodně vybrané recenze na Epinions, webové stránky pro kontrolu produktů; (3) udělila ceny náhodně vybraným přispěvatelům na Wikipedii; a (4) podepsané náhodně vybrané petice na Change.org. Ve všech čtyřech systémech se objevily velmi podobné výsledky: v každém případě účastníci, kteří náhodně získali nějaký časný úspěch, získali další úspěch než jiní, kteří se úplně nerozlišovali (obrázek 4.14). Skutečnost, že stejný vzorec se objevil v mnoha systémech, zvyšuje vnější platnost těchto výsledků, protože snižuje pravděpodobnost, že tento vzor je artefaktem konkrétního systému.

Obrázek 4.14: Dlouhodobé účinky náhodně uděleného úspěchu ve čtyřech různých sociálních systémech. Arnout van de Rijt a kolegové (2014) (1) slíbili peníze na náhodně vybrané projekty na webových stránkách Kickstarter, (2) pozitivně hodnocené náhodně vybrané recenze na Epinions, webové stránky pro kontrolu produktů; (3) udělila ceny náhodně vybraným přispěvatelům na Wikipedii; a (4) podepsané náhodně vybrané petice na Change.org. Adaptováno od Rijt et al. (2014) , obrázek 2.

Společně tyto dva příklady ukazují, že výzkumníci mohou provádět experimenty v oblasti digitálních polí bez nutnosti partnerů s firmami nebo vytváření komplexních digitálních systémů. Dále tabulka 4.2 poskytuje ještě další příklady, které ukazují rozsah toho, co je možné, když výzkumní pracovníci využívají infrastrukturu stávajících systémů k poskytování léčby a / nebo výsledků měření. Tyto experimenty jsou pro výzkumníky poměrně levné a nabízejí vysoký stupeň realizace. Ale nabízejí vědcům omezenou kontrolu nad účastníky, léčbou a výsledky, které mají být měřeny. Dále, pro experimenty probíhající pouze v jednom systému, musí být vědci znepokojeni tím, že efekty by mohly být motivovány systémovou dynamikou (např. Způsob, jakým Kickstarter řadí projekty nebo způsob, jakým change.org řadí petice, viz diskuse o algoritmickém zmatení v kapitole 2). Konečně, když se badatelé zasazují do pracovních systémů, objevují se obtížné etické otázky ohledně možného poškození účastníků, neúčastníků a systémů. Tato etická otázka budeme brát v úvahu podrobněji v kapitole 6 a je zde výborná diskuse o nich v dodatku van de Rijta a kol. (2014) . Kompromisy, které přicházejí s prací v existujícím systému, nejsou pro každý projekt ideální a z tohoto důvodu někteří výzkumníci staví svůj vlastní experimentální systém, jak to ukážeme dál.