4.6.2 Nahradiť zdokonalenie, a znížiť

Urob si svoj ​​experiment ľudskejší tým, že nahradí pokusy s non-experimentálne štúdie, rafinácie procedúry, a zníženie počtu účastníkov.

Druhá časť rád, ktoré by som chcel ponúknuť o navrhovaní digitálnych experimentov sa týka etiky. Vzhľadom k tomu, Restivo a van de Rijt experiment na barnstars vo Wikipédii show, zníženie nákladov znamená, že etika sa stáva čoraz dôležitejšou súčasťou výskumného zámeru. Okrem etických rámcoch vodiacich ľudských subjektov výskumu, ktoré budem popisovať v kapitole 6, výskumníci projekčné digitálne experimenty môžu tiež čerpať z etických nápadov z iného zdroja: etickými zásadami vyvinuté pre vedenie pokusov na zvieratách. Najmä vo svojich medzník knihe Princípy Humane experimentálne technikou, Russell and Burch (1959) navrhol tri princípy, ktoré by mali riadiť výskum na zvieratách: Nahradenie, zdokonalenie, a znížiť. Ja by som chcel navrhnúť, že títo traja R môžu byť tiež použité, v mierne pozmenenej podobe-ako vodítko pre konštrukciu ľudských experimentov. najmä

• Nahradiť: nahradiť pokusy s menej invazívne metódy, ak je to možné
• Spresnenie: upresniť liečbu, aby to tak neškodná, ako je to možné
• Znížiť: Znížte počet účastníkov experimentu v maximálnej možnej miere

Aby betón týmito troma skupinami, a ukázať, ako môže potenciálne viesť k lepšej a ľudskejší experimentálneho designu, budem popisovať online poľný pokus, ktorý generoval etickú debatu. Potom budem popisovať, ako sa tri R navrhnúť konkrétne a praktické zmeny návrhu experimentu.

Jedným z najviac diskutovaných eticky experimentov digitálne teréne je "Emocionálne nákazy", ktorý bol vykonaný Adam Kramer, Jamie Gillroy, a Jeffrey Hancock (2014) . Experiment sa konal na Facebooku a bol motivovaný mix vedeckých a praktických otázok. V tej dobe dominantný spôsob, ako užívatelia reagovali na Facebooku bol News Feed, čo algoritmickým curated množinu aktualizácií stavu Facebooku od priateľov na Facebooku používateľa. Niektorí kritici Facebooku navrhol, že preto, že News Feed má väčšinou pozitívne príspevky-priatelia predvádzajú svoje najnovšie stranu-by to mohlo spôsobiť, že používatelia smutno, pretože ich životy sa zdajú menej vzrušujúce v porovnaní. Na druhú stranu, možno účinok je presne opačný; Možno videl svojho priateľa dobre bavíte by sa cítili šťastní? S cieľom vyriešiť tieto konkurenčných hypotéz a pre naše chápanie toho, ako sú emócie osoba je ovplyvnený svojich priateľov emócií, Kramer a jeho kolegovia vykonali experiment. Výskumníci umiestnená asi 700 tisíc užívateľov do štyroch skupín po dobu jedného týždňa: skupina "negativita so zníženým obsahom", pre koho príspevky s negatívnymi slovami (napr smutný) boli náhodne zablokoval zobrazovanie News Feed; A "pozitivita so zníženým obsahom" skupina pre koho stĺpiky s pozitívnymi slovami (napr šťastný) boli náhodne blokované; a dve kontrolné skupiny. V kontrolnej skupine pre skupinu "negativity znížená", pošty boli náhodne blokované v rovnakom pomere ako skupina "negativity znížená", ale bez ohľadu na emocionálne obsah. Kontrolná skupina pre skupinu "pozitivity znížená" bola postavená v paralelnom spôsobom. Konštrukcia tohto pokusu ukazuje, že príslušný kontrolný skupina nie je vždy jeden bez zmien. Skôr, niekedy kontrolná skupina dostane ošetrenie za účelom vytvorenia presnej porovnanie, že výskumná otázka vyžaduje. Vo všetkých prípadoch, stĺpiky, ktoré boli zablokované z News Feed boli stále k dispozícii užívateľom prostredníctvom iných častiach webu sociálnej siete Facebook.

Kramer a jeho kolegovia zistili, že pre účastníkov pozitivity znížený stav, sa percentuálny podiel pozitívnych slov v ich aktualizácie stavu znížil a percento negatívnych slov zvýšil. Na druhej strane, pre účastníkov v takom stave, negativity zníži percento pozitívnych slov zvyšuje a percento negatívnych slov znížila (pozri obrázok 4.23). Tieto účinky však boli pomerne malé: rozdiel v pozitívnom a negatívnom slova medzi ošetrenie a kontroly bol asi 1 do 1000 slov.

Obrázok 4.23: Dôkazy o emocionálne nákazy (Kramer, Guillory, and Hancock 2014) . Percentuálny podiel kladných slov a negatívnych slov experimentálnym stave. Bary predstavujú odhadované štandardné chyby.

Ja som dal diskusiu o vedecké aspekty tohto experimentu do ďalšieho úseku čítania na konci tejto kapitoly, ale bohužiaľ, tento experiment je najznámejší pre generovanie etickú diskusiu. Len niekoľko dní potom, čo táto práca bola publikovaná v Proceedings of the National Academy of Sciences, tam bol obrovský protest z oboch výskumných pracovníkov a tlače. Rozhorčenie po celom papiera so zameraním na dva hlavné body: 1) účastníci neposkytli žiadnu súhlas rámec štandardných Facebooku, pokiaľ ide-of-služby vo vzťahu k liečbe, že niektoré myšlienka by mohla spôsobiť ujmu účastníkom a 2) štúdie nebol prešiel tretích strán etické preskúmanie (Grimmelmann 2015) . Etické otázky vznesené v tejto diskusii spôsobila časopisu rýchlo publikovať vzácne "Redakčný vyjadrenie znepokojenia" o etike a dodržiavanie etických zásad pre výskum (Verma 2014) . V nasledujúcich rokoch sa experiment pokračoval byť zdrojom intenzívnej debaty a nezhody, a to nezhoda môže mali nezamýšľaný účinok jazde do tieňa mnoho iných pokusoch, ktoré sú vykonávané spoločnosťami (Meyer 2014) .

Vzhľadom na to, že na pozadí o emočné Nákaza by som teraz chcel ukázať, že tri R sa môže navrhnúť konkrétne, praktické vylepšenia pre reálnych štúdií (či už by ste mohli osobne myslíte o etike tomto konkrétnom experimentu). Prvý R je nahradiť: výskumní pracovníci by sa mali snažiť nahradiť pokusy s menej invazívne a riskantné techník, ak je to možné. Napríklad, skôr než vykonávanie experimentu, výskumníci mohla zneužiť prírodný experiment. Ako je opísané v kapitole 2, prírodné experimenty sú situácie, kedy sa niečo deje vo svete, ktorý sa blíži k náhodné prideľovanie liečby (napr lotérie rozhodnúť, kto bude odvedený do armády). Výhodou prirodzeného experimentu je, že výskumný pracovník nemusí dodávať ošetrenia; prostredie urobí za vás. Inými slovami, s prirodzeným experimentu vedci by nemusel experimentálne manipulovať spravodajské kanály ľudí.

V skutočnosti, takmer súbežne s emočné nákazy experimentu Coviello et al. (2014) sa využíva toho, čo by sa dalo nazvať emocionálne nákaza prirodzený experiment. Ich prístup, ktorý používa techniku ​​zvanú inštrumentálnych premenných, je trochu zložitejšie, ak ste nikdy predtým nevidel. Tak, aby vysvetlil, prečo bolo potrebné, poďme vybudovať k nej. Prvá myšlienka, že niektorí vedci možno bude musieť študovať emocionálne nákazy by bolo porovnať svoje príspevky v dňoch, kde sa vaše News Feed bola veľmi pozitívna na svoje miesta v dňoch, kde sa vaše News Feed bol veľmi negatívny. Tento prístup by bolo v poriadku, ak je cieľom bolo práve predpovedať emocionálne obsah vašich príspevkov, ale tento prístup je problematické, ak je cieľom študovať príčinný účinok svojho Novinkách na svoje miesta. Ak chcete zobraziť problém s týmto dizajnom, zvážte Díkuvzdání. V Spojených štátoch, pozitívne príspevky špica a negatívne príspevky klesnú na Deň vďakyvzdania. Tak, na Deň vďakyvzdania, výskumní pracovníci mohli vidieť, že vaše News Feed bol veľmi pozitívny a že ste zaslali pozitívne veci rovnako. Ale vaše pozitívne príspevky by mohla byť spôsobená vďakyvzdania nie podľa obsahu vašich Novinkách. Namiesto toho, aby urobila odhad kauzálny vedci efekt potrebujeme niečo, čo zmení obsah vášho Novinkách, bez priamo meniť svoje emócie. Našťastie je tu niečo také deje po celú dobu: počasím.

Coviello a jeho kolegovia zistili, že daždivý deň v niečí meste bude v priemere zníži podiel pracovných miest, ktoré sú pozitívne zhruba o 1 percentuálny bod a zvýšiť podiel pracovných miest, ktoré sú negatívne zhruba o 1 percentuálny bod. Potom, Coviello a jeho kolegovia by túto skutočnosť študovať emocionálne nákazy aby bolo nutné experimentálne manipulovať niečí News Feed. V podstate to, čo urobil, je meradlom, ako sa vaše príspevky ovplyvnené počasím v mestách, kde sú vaši priatelia žijú. Ak chcete zistiť, prečo to dáva zmysel, predstavte si, že žijete v New Yorku a máte priateľa, ktorý žije v Seattli. A teraz si predstavte, že jedného dňa začne pršať v Seattli. Tento dážď v Seattli nebude priamo ovplyvniť vašu náladu, ale bude to spôsobí, že vaše News Feed byť menej pozitívne a negatívne, pretože viac pracovných miest svojho priateľa. To znamená, že dážď v Seattli náhodne manipuluje svojou News Feed. Zapnutím tohto intuíciu do spoľahlivého štatistického postupu je komplikovaná (a presný postup používaný Coviello a kolegami je non-standard bit), takže som dal podrobnejšie diskusiu v ďalšom úseku čítania. Najdôležitejšia vec na zapamätanie Coviello a prístup kolegami je, že sa im umožnilo študovať emocionálne nákazy, bez toho aby ste museli spúšťať experiment, ktorý by mohol poškodiť účastníkov, a to môže byť prípad, že v mnohých iných nastaveniach môžete nahradiť pokusy s inými techniky.

Na druhom mieste v 3 Rs je Vykonať: výskumní pracovníci by sa mali snažiť vylepšiť svoje ošetrenie s cieľom vyvolania možná najmenšie škody. Napríklad, skôr než blokovať obsah, ktorý bol buď pozitívne, alebo negatívne, výskumníci by viedli k vyššej obsah, ktorý bol pozitívny alebo negatívny. Toto posilnenie konštrukcie by zmenili emocionálne obsah účastníkov spravodajstvo, ale to by malo riešiť jeden z obavy, že kritici vyjadrili: že experimenty mohlo spôsobiť účastníkmi chýbať dôležité informácie v ich Novinkách. S dizajnom používané Kramer a spol, správa, ktorá je dôležité, je pravdepodobné, že budú blokované ako ten, ktorý nie je. Avšak, s posilňovaču dizajnom, správy, ktoré by byť premiestnená by tie, ktoré sú menej dôležité.

Konečne tretí R je znížiť: výskumní pracovníci by sa mali usilovať o zníženie počtu účastníkov v ich experimentu, pokiaľ je to možné. V minulosti, toto zníženie sa stalo prirodzene, pretože variabilné náklady na analógových experimentov bola vysoká, ktorá vyzýva výskum s cieľom optimalizovať ich dizajn a analýzu. Avšak, v prípade, že je nulový údaje o variabilné náklady, vedci nečelí nákladovo obmedzenia na veľkosti ich experimentu, a to má potenciál viesť k zbytočne veľké experimenty.

Napríklad, Kramer a jeho kolegovia mohli použiť informácie predčistenia o svojich účastníkovi, ako predčistenie plagátové chování-, aby sa ich analýza efektívnejšie. Presnejšie povedané, skôr než porovnávanie podielu pozitívne slová v experimentálnych a kontrolných podmienok, Kramer a jeho kolegovia mohlo v porovnaní zmeny v pomere pozitívnych slov medzi podmienok; prístup často nazýva rozdiel-in-rozdiely, a ktorá úzko súvisí s zmiešané konštrukcie, ktorá Aj popísané vyššie v kapitole (obrázok 4.5). To znamená, že pre každého účastníka, výskumníci mohla vytvoriť zmenu skóre (post-ošetrenie správanie - správanie predčistenia) a následne porovnali skóre zmena účastníkov v experimentálnych a kontrolných podmienok. Tento prístup rozdiel-in-rozdiely je účinnejšie štatisticky, čo znamená, že výskumní pracovníci môžu dosiahnuť rovnaké štatistické spoľahlivosti za použitia oveľa menšie vzorky. Inými slovami, nie liečenie účastníkmi ako "widgety", výskumníci môžu často získať presnejšie odhady.

Bez toho aby bolo surové údajov je ťažké presne vedieť, koľko účinnejší by prístup rozdiel-in-rozdiely boli v tomto prípade. Ale, Deng et al. (2013) uvádzajú, že v troch online experimentov na vyhľadávači Bing boli schopní znížiť rozptyl ich odhadov o 50%, a podobné výsledky boli zaznamenané u niektorých online experimentov na Netflix (Xie and Aurisset 2016) . Táto zľava 50% rozptyl znamená, že Emočné nákaza výskumníci možno boli schopní znížiť svoje vzorky na polovicu, keby sa použila mierne odlišné metódy analýzy. Inými slovami, s malou zmenou v analýze, 350.000 ľudí by mohol byť ušetrený účasti na experimente.

V tomto momente môžete sa čudujete, prečo výskumní pracovníci by mali jedno, či 350.000 ľudí bolo v Emočné Nákaza zbytočne. Existujú dva osobitné charakteristiky emočnú Nákaza, ktoré robia starosť s nadmernou veľkosťou je to vhodné, a tieto funkcie sú zdieľané medzi mnohými digitálnymi poľných experimentov: 1) existuje neistota o tom, či experiment spôsobí škodu aspoň v niektorých účastníkov a 2) účasť nebola dobrovoľný. V pokusoch s týmito dvoma charakteristikami sa zdá byť vhodné, aby experimenty tak malý, ako je to možné.

Záverom možno povedať, tri R's-nahradiť, Spresniť, a znižujú-poskytuje princípy, ktoré môžu pomôcť vedcom budovať a etiky do ich experimentálnych dizajnov. Samozrejme, že každý z týchto možných zmien emočné Nákaza zavádza kompromisy. Napríklad dôkazy z prirodzených experimentov nie je vždy tak čisté ako dôkaz z randomizovaných experimentov a posilnenie by mohlo byť viac logisticky ťažké zaviesť, ako blok. Tak je cieľom navrhnúť tieto zmeny nebolo druhej odhadnúť rozhodnutie inými výskumníkmi. Bol to skôr pre ilustráciu, ako by mohli byť tri R použitá v realistickom situácii.