4.4 Posun za hranice jednoduchých experimentů

Pojďme přejít od jednoduchých experimentů. Tři koncepty jsou užitečné pro bohaté experimentů: platností, heterogenity účinků léčby a mechanismu.

Výzkumní pracovníci, kteří jsou na experimentech se často zaměřují na velmi konkrétní, úzké otázku: dělá tuto léčbu "práci"? Například se zavolat z dobrovolník podporovat někoho, kdo by volit? Má měnící se tlačítka webové stránky z modré na zelenou zvýšení míry prokliku? Bohužel, volné formulace o tom, co "funguje" zakrývá skutečnost, že úzce zaměřené experimenty není opravdu říct, zda léčba "funguje" v obecném smyslu. Spíše úzce zaměřené pokusy zodpovědět mnohem konkrétnější otázku: jaká je průměrná efekt tohoto zvláštního zacházení s tímto specifickým zavedení pro tuto skupinu účastníků v této době? Zavolám experimenty, které se zaměřují na tento úzký otázka jednoduchých experimentů.

Jednoduché experimenty mohou poskytnout cenné informace, ale oni nedokážou odpovědět na řadu otázek, které jsou důležité a zajímavé, jako jsou: Existují někteří lidé, pro něž je léčba měla větší či menší vliv ?; Je tu další léčba, která by byla účinnější ?; a jak to experiment se týkají širších společenských teorií?

S cílem ukázat hodnotu pohybující se nad rámec jednoduchých experimentů, uvažujme jeden z mých nejoblíbenějších pokusů analogových pole, studii P. Wesley Schultz a jeho kolegové o vztahu mezi sociálními normami a spotřeby energie (Schultz et al. 2007) . Schultz a jeho kolegové visel doorhangers na 300 domácností v San Marcos, Kalifornie, a tyto doorhangers dodávány různé zprávy, jejichž cílem je podporovat zachování energie. Pak, Schultz et al měří účinek těchto zpráv o spotřebě elektrické energie, a to jak po jednom týdnu a tři týdny; viz obrázek 4.3 pro podrobnější popis experimentálního provedení.

Obrázek 4.3: Schéma konstrukce z Schultz et al. (2007) . Pole experiment zahrnoval návštěvu asi 300 domácností v San Marcos, Kalifornie pětkrát na období osmi týdnů. Na každé návštěvě vědci ručně trvalo čtení z wattmetru domu. Na dvou z těchto návštěv výzkumníci umístěna doorhangers na dům poskytovat nějaké informace o jejich spotřebě energie. Výzkum Otázkou bylo, jak je obsah těchto zpráv by ovlivnit spotřebu energie.

Tento experiment měl dvě podmínky. V prvním stavu, domácnosti dostal tipy na úsporu energií obecně (např obsluhovat fanoušci místo klimatizačních jednotek) a informace o spotřebě energie jejich domácnosti ve srovnání s průměrem využití energie v jejich sousedství. Schultz a jeho kolegové nazývají tento popisný normativní podmínku, protože informace o využívání energie v jejich sousedství poskytla informace o typického chování (tj popisné normy). Když Schultz a jeho kolegové se podíval na výsledné spotřebě energie v této skupině se zdálo, že léčba nemá žádný vliv, a to buď v krátkodobém horizontu nebo dlouhodobém horizontu; jinými slovy, léčba nezdálo se, že "práce" (obrázek 4.4).

Ale, naštěstí, Schultz et al. (2007) neměl spokojit s touto zjednodušující analýzu. Před tím, než začal experiment by vyvozoval, že ve velké míře využívají elektřinu lidí nad průměrem, by mohla snížit spotřebu, a že světlo uživatelé elektřinu lidí pod průměrem, ve skutečnosti může zvýšit jejich spotřebu. Když se podíval na data, to je přesně to, co našli (obrázek 4.4). To, co vypadalo jako ošetření, které se má žádný účinek byl vlastně léčba, která měla dvě souvztažné efekty. Vědci nazývají tento kontraproduktivní nárůst mezi lehké uživatele bumerang efekt.

Obrázek 4.4: Výsledky Schultz et al. (2007) . První panel ukazuje, že popisná léčba norma má odhadovanou průměrnou nulový účinek léčby. Nicméně, druhý panel ukazuje, že tento průměrný léčebný účinek je ve skutečnosti skládá ze dvou vzájemné kompenzace účinků. Pro náročné uživatele, léčba snížila spotřebu, ale pro lehké uživatele, léčba zvýšené využití. Konečně třetí panel ukazuje, že druhá léčba, která používá popisné a zdržení normy, měla zhruba stejný účinek na náročné uživatele, ale zmírnilo bumerang efekt na světelné uživatelů.

Dále, Schultz a jeho kolegové očekávalo tuto možnost, a ve druhém stavu, v jakém nasazeny mírně odlišné zacházení, jeden výslovně navržen tak, aby odstranila bumerang efekt. Domácnosti ve druhém stavu obdržel přesně stejné zacházení generální energeticky úsporných tipy a informace o spotřebě energie jejich domácnosti je ve srovnání s jejich sousedství, s jednou malou navíc: pro lidi s podprůměrnou spotřebou, výzkumníci přidal :) a pro lidé s nadprůměrným spotřeby oni přidali :(. Tyto emotikony byly navrženy tak, aby vyvolat to, co vědci nazývají zdržení normy. zdržení se normy vztahují k vnímání toho, co je běžně schválen (a zamítnuto), zatímco popisná normy odkazovat na vnímání toho, co se běžně provádí (Reno, Cialdini, and Kallgren 1993) .

Přidáním této jeden malý emotikon, výzkumníci výrazně snížila bumerang efekt (obr 4.4). Tak, tím, že tento jednu jednoduchou změnou změnu, která byla motivována abstraktním sociální psychologické teorie (Cialdini, Kallgren, and Reno 1991) -The výzkumníci byli schopní otočit program z jednoho které se nezdálo pracovat do jedné, která pracoval, a současně byli schopni přispět k obecnému pochopení toho, jak sociální normy vliv na lidské chování.

Na tomto místě je však možná jste si všimli, že něco je trochu jiný o tomto experimentu. Zejména experiment Schultz a jeho kolegové není opravdu mít kontrolní skupinu stejným způsobem, že randomizované kontrolované experimenty dělat. Srovnání této konstrukce a designu Restivo a van de Rijt ilustruje rozdíly mezi dvěma hlavními vzory používané výzkumníky. V mezi-subjekty vzory, jako je například Restivo a van de Rijt, existuje skupina ošetření a kontrolní skupiny, a v rámci jednoho předmětů vzorů chování účastníků je v porovnání před a po léčbě (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . V rámci jednoho předmětu experimentu je to, jako kdyby každý účastník se chová jako její vlastní kontrolní skupinou. Síla mezi předměty-vzory je to, že poskytuje ochranu proti confounders (I, jak je popsáno výše), a síla pokusů v rámci-jedinců se zvyšuje přesnost při odhadu. Když každý účastník se chová jako jejich vlastní ovládání, mezi účastníkem-varianta je eliminován (viz technická příloha). Nastínit, že přijde později, když jsem se poradí o navrhování digitálních experimentů, tam je konečný návrh, nazvaný smíšené konstrukce, která kombinuje vylepšenou přesnost v rámci předmětů, návrhy a ochranu proti matoucích v rozmezí-subjekty vzorů.

Obrázek 4.5: Tři experimentální designy. Standardní randomizované kontrolované experimenty pouze mezi-předměty vzory. Příklad provedení mezi-jedinců je Restivo a van de Rijt je (2012) pokus o barnstars a příspěvků na Wikipedii: výzkumníci náhodně rozděleni účastníky do experimentálních a kontrolních skupin, dal účastníkům ve skupině ošetření barnstar a porovnání výsledků pro dva skupiny. Druhý typ konstrukce je konstrukce v-předmětů. Oba experimenty v Schultz a kolegy (2007) studie o sociálních norem a využívání energie ilustrují uvnitř-předmětů designu: Vědci porovnali využití elektřiny účastníků před a po podstupovat léčbu. Uvnitř-jedinců koncepce mají zlepšenou statistickou přesnost eliminací mezi předmětem rozptylu (viz technická příloha), ale jsou otevřeny možným confounders (např změny v počasí mezi pre-ošetření pleti i období) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Uvnitř-jedinců návrhy jsou také někdy nazýván opakovaná měření vzory. A konečně, smíšené vzory kombinovat zlepšenou přesnost rámci jednoho vystavuje návrhy a ochranu proti matoucích v rozmezí-subjekty vzorů. V kombinovaném provedení, výzkumník porovnává změnu výsledky u lidí v experimentálních a kontrolních skupin. Když vědci již mají informace předčištění, jako je tomu v mnoha digitálních experimentů, smíšené vzory jsou vhodnější mezi-subjekty návrhů, protože zisky v přesnosti (viz technická příloha).

Celkově je design a výsledky Schultz et al. (2007) se uvádí hodnota pohybuje nad jednoduchých experimentů. Naštěstí nemusíte být génius, aby vytvořit experimenty jako je tato. Sociální vědci vyvinuli tři koncepty, které vás dovede k bohatší a tvůrčích experimentů: 1) Platnost, 2) heterogenita účinků léčby a 3) mechanismů. To znamená, že pokud budete mít tyto tři myšlenky na mysli, když jste navrhování experimentu, budete samozřejmě vytvořit více zajímavých a užitečných experimenty. Pro ilustraci tyto tři pojmy v akci, budu popisovat řadu navazujících částečně digitálních polních pokusů, které postaveny na elegantním designem a zajímavých výsledků v Schultz et al. (2007) . Jak uvidíte, prostřednictvím více pečlivým návrhem, implementaci, analýzu a interpretaci, i vy můžete přejít od jednoduchých experimentů.