aktivity

Klíč:

• Stupeň obtížnosti: lehká , středně tvrdé , velmi těžké
• vyžaduje matematiku ( )
• vyžaduje kódování ( )
• sběr dat ( )
• můj oblíbený ( )

1. [ , ] Berinsky a jeho kolegové (2012) hodnotí mechanický Turek částečně replikací tři klasické experimenty. Replikovat klasickou asijskou rámování Disease experiment Tversky and Kahneman (1981) . Do své výsledky utkání Tversky a Kahneman je? Do své výsledky utkání Berinsky a kolegy? What-if něco-to nás učí o používání mechanický Turek pro experimenty průzkumu?

2. [ , ] V dokumentu poněkud jazyk-in-tváře s názvem "Musíme se rozejít," sociální psycholog Robert Cialdini, jeden z autorů Schultz et al. (2007) napsal, že on byl předčasný odchod do důchodu z jeho práci jako profesor, částečně z důvodu výzev, před kterými on stál dělá polní pokusy v disciplíně (psychologie), která vede především laboratorních experimentů (Cialdini 2009) . Číst noviny Cialdini je, a napsat mu e-mail vyzývající ho, aby přehodnotil svůj rozpad ve světle možností digitálních experimentů. Použít konkrétní příklady výzkumu, které se zaměřují na své obavy.

3. [ ] Za účelem zjištění, zda malé počáteční úspěchy lock-in nebo zmizet, van de Rijt a a kolegové (2014) zasáhl do čtyř různých systémů propůjčuje úspěch na náhodně vybraných účastníků, a pak měří dlouhodobé dopady tohoto nežádoucího úspěchu. Můžete myslet na jiné systémy, ve kterých byste mohli spustit podobné experimenty? Zhodnotit tyto systémy, pokud jde o otázky vědeckou hodnotu, algoritmické matoucí (viz kapitola 2) a etiku.

4. [ , ] Výsledky experimentu může záviset na účastníky. Vytvořit experiment a spusťte jej na Amazon Mechanical Turk (MTurk) s použitím dvou různých strategií náboru. Zkuste si vybrat pro experiment a náborové strategie tak, že výsledky budou tak odlišné, jak je to možné. Například, vaše náborové strategie by mohlo být pro nábor účastníků ráno a večer, nebo pro kompenzaci účastníky s vysokou a nízkou mzdou. Tyto druhy rozdílů v náborové strategie by mohla vést k různým bazénů účastníků a různých experimentálních výsledků. Jak se liší se vaše výsledky dopadlo? Co to prozradit o chod experimentů na MTurk?

5. [ , , , ] Představte si, že jste měli v plánu emoční nákazy studii (Kramer, Guillory, and Hancock 2014) . Použít výsledky z dřívější observační studie Kramer (2012) rozhodovat o počtu účastníků v každém stavu. Tyto dvě studie neodpovídají přesně tak se určitě výslovně uvést všechny předpoklady, které jste provedli:

   1. Spustit simulaci, která bude rozhodovat o tom, kolik účastníků by bylo nezbytné ke zjištění vliv tak velké, jako v tom smyslu, v Kramer (2012) s \ (\ alpha = 0,05 \) a \ (1 - \ beta = 0,8 \).
   2. Proveďte stejný výpočet analyticky.
   3. Vzhledem k výsledkům z Kramer (2012) byl Emoční Nákaza (Kramer, Guillory, and Hancock 2014) přes pohonem (tj se to muselo více účastníků, než je třeba)?
   4. Předpokladů, které jste provedli, které mají největší vliv na své kalkulaci?

6. [ , , , ] Odpověď na otázku výše, ale nikoli pomocí dřívější observační studii Kramer (2012) použít výsledky z dřívější přirozeného experimentu Coviello et al. (2014) .

7. [ ] Oba Rijt et al. (2014) a Margetts et al. (2011) a to jak provádět experimenty, které studují proces lidí, kteří podepsali petici. Srovnat a odlišit design a výsledky těchto studií.

8. [ ] Dwyer, Maki, and Rothman (2015) provedli dvě polní pokusy o vztahu mezi sociálními normami a proenvironmentálního chování. Tady je výtah z jejich papíru:

   "Jak by psychologická věda být využity k podpoře proenvironmentálního chování? Ve dvou studiích, intervence zaměřené na podporu chování uchování energie ve veřejných koupelnách zkoumal vlivy popisných norem a osobní odpovědnost. Ve studii 1, kontrolka stavu (tj zapnutý nebo vypnutý) byl manipulován, než někdo vstoupil neobsazený veřejnou koupelnu, signalizace popisný normu pro dané nastavení. Účastníci byli významně větší pravděpodobnost, že zhasínání světel kdyby byly pryč, když vešli. Ve studii 2, další podmínka byla zahrnuta ve kterém byla normou vypnutí světla prokazuje společník, ale účastníci nebyly samy o sobě zodpovědné za jeho zapnutím. Osobní zodpovědnost moderované vliv sociálních norem na chování; když účastníci byli není zodpovědný za zapnutí světla, vliv normy byla zmenšena. Tyto výsledky naznačují, jak popisné normy a osobní odpovědnost může regulovat účinnost proenvironmentálního zásahů. "

   Číst jejich noviny a navrhnout replikaci studii 1.

9. [ , ] V návaznosti na předchozí otázku, nyní provádět svůj design.

   1. Jak porovnat výsledky?
   2. Co by mohlo vysvětlit tyto rozdíly?

10. [ ] Tam byla značná debata o experimentech s použitím účastníky z řad Amazon Mechanical Turk. Současně tam také byl značná debata o experimentech s použitím účastníky rekrutují z populace vysokoškolských studentů. Napsat dva-stránkový poznámku srovnání a rozdílnosti v Turkers a vysokoškoláky jako účastníky výzkumných pracovníků. Váš srovnání by mělo zahrnovat diskusi o obou vědeckých a logistických otázek.

11. [ ] Jim Manzi kniha Nekontrolovaný (2012) je skvělý úvod do moci experimentování v podnikání. V knize mu předala tento příběh:

    "Jednou jsem byl na setkání s opravdovým obchodní génia, self-vyrobené miliardář, který měl hluboký, intuitivní zmírňovat o síle experimentů. Jeho společnost strávil značné prostředky se snaží vytvořit velký důraz výlohy, které by přilákaly spotřebitele a prodeje se zvyšuje, protože konvenční moudrost říká, že měli. Odborníci pečlivě testován designu po design, av jednotlivých Přehled testů sezení za období let držena nevykazuje výrazný příčinný účinek každé nové zobrazovací designu z prodeje. Senior marketing a merchandising manažeři se setkával s generálním ředitelem přezkoumat tyto historické výsledky testů v toto. Po předložení všech experimentálních dat, došli k závěru, že konvenční moudrost bylo špatné, že se zobrazí okno neřiďte prodeje. Jejich doporučené akce bylo snížit náklady a úsilí v této oblasti. Tím se výrazně projevil schopnost experimentování převrátit konvenční moudrost. Odpověď generálního ředitele byla jednoduchá: "Můj závěr je, že vaše návrháři nejsou příliš dobré." Jeho řešení bylo zvýšit úsilí v oblasti konstrukce displejů obchod, a získat nové lidi na to. " (Manzi 2012, 158–9)

    Jaký typ platnosti je zájmem CEO?

12. [ ] V návaznosti na předchozí otázku, představte si, že jste byli na setkání, kde byly projednány výsledky provedených experimentů. Jaké jsou čtyři otázky, které byste mohli zeptat, jeden pro každý typ platnosti (statistická, Construct, interní a externí)?

13. [ ] Bernedo, Ferraro, and Price (2014) studuje sedmileté účinek zásahu úspory vody je popsán v Ferraro, Miranda, and Price (2011) (viz obrázek 4.10). V tomto dokumentu, Bernedo a jeho kolegové také snažit porozumět mechanismu za efektu porovnáním chování domácností, které mají a nebyly přesunuty po ošetření byla doručena. To znamená, hrubě, snaží se zjistit, zda léčba dopad na domácí nebo správce domu.

    1. Číst noviny, popsat jejich design, a to shrnuli své poznatky. b) Do jejich zjištění ovlivní, jak byste měli posoudit nákladovou efektivitu podobných zásahů? Pokud ano, proč? Pokud ne, proč ne?

14. [ ] V návaznosti na Schultz et al. (2007) , Schultz a jeho kolegové provést sérii tří pokusů o účinku popisných a přikazující normy na odlišné chování v oblasti životního prostředí (Využít ručník) ve dvou kontextech (hotel a timeshare barák) (Schultz, Khazian, and Zaleski 2008) ,

    1. Shrnout design a poznatky z těchto tří pokusů.
    2. Jak, pokud vůbec, se jim změnit svůj výklad Schultz et al. (2007) ?

15. [ ] V reakci na Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) provozoval sérii laboratorních podobných experimentů ke studiu návrh elektřinu. Zde je způsob, jakým popsat abstraktně:

    "V experimentu založeném na zjišťování každý účastník viděl hypotetickou elektřinu pro rodinu s relativně vysokou spotřebou elektrické energie, která zahrnuje informace o (a) historické účely, (b) srovnání se svými sousedy, a (c) historické použití s ​​členěním spotřebiče. Účastníci viděli všechny typy informací na jednom ze tří formátů včetně (a) tabulek, (b) sloupcových grafů, a (c) ikona grafickou část. Máme zprávy o třech hlavních zjištění. Za prvé, spotřebitelé rozuměl každý typ informací elektřinou používat nejvíce, když to bylo představováno v tabulce, snad proto, že tabulky usnadnit jednoduchý bodový odečet. Za druhé, preference a záměry ušetřit elektřinu byly nejsilnější informací historického použití, nezávisle na formátu. Za třetí, jedinci s nižší energetickou gramotnost chápat všechny informace méně. "

    Na rozdíl od jiných navazujících studiích byla hlavním výsledkem zájmu o Canfield, Bruin, and Wong-Parodi (2016) je hlášena chování není skutečné chování. Jaké jsou silné a slabé stránky tohoto typu studia do širšího výzkumného programu podporující úspory energie?

16. [ , ] Smith and Pell (2003) je satirická meta-analýzu studií, které prokazují účinnost padáky. Došli k závěru:

    "Stejně jako u mnoha zásahy zabránit nemocem, efektivita padáků nebyla podrobena přísnému posouzení pomocí randomizované kontrolované studie. Zastánci medicíny založené na důkazech kritizují přijetí intervencí, které byly hodnoceny pouze pomocí pozorovací data. Myslíme si, že všichni mohou mít prospěch, pokud nejradikálnější protagonisté medicíny založené na důkazech organizovány a podílel se ve dvojitě zaslepené, kontrolované randomizované, placebem, zkřížené studii padáku. "

    Napište úvodníku vhodný pro široké veřejnosti, novinách, jako je The New York Times, argumentovat proti fetišizací experimentálních důkazů. Poskytují specifické, konkrétní příklady. Tip: Podívejte se také, Bothwell et al. (2016) a Deaton (2010)

17. [ , , ] Rozdíl-in-rozdíly mohou odhady léčebného účinku být přesnější než rozdíl-in-průměr odhadů. Napsat poznámku k inženýra má na starosti testování typu A / B na start-up sociální mediální společnosti vysvětlující hodnoty přístupu rozdíl-in-rozdíly pro spuštění on-line experiment. Memorandum by mělo obsahovat prohlášení o problému, trochu intuice o podmínkách, za kterých bude odhadce rozdíl-in-rozdíl překonala odhad rozdíl-in-říct, a jednoduchý simulační studie.

18. [ , ] Gary Loveman byl profesorem na Harvard Business School, než se stal generální ředitel Harrah, jeden z největších kasin společností na světě. Když se přestěhoval do Harrah, Loveman transformovala společnost s častých letů podobný věrnostní program, který shromažďují obrovské množství dat o chování zákazníků. Na vrcholu této trvalé připojení k systému měření, společnost rozběhl experimenty. Například, oni by mohli spustit experiment vyhodnotit účinek kuponu pro volný hotelový den pro zákazníky s konkrétním hazardu vzoru. Zde je návod, jak Loveman popsal význam experimentování každodenní obchodní praktiky Harrah:

    "Je to jako nemusíte obtěžovat ženy, nemusíte ukrást, a musíš mít kontrolní skupinu. To je jedna z věcí, které můžete ztratit svou práci po dobu Harrah's-neběží kontrolní skupinu. " (Manzi 2012, 146)

    Na webovou adresu společnosti nového zaměstnance s vysvětlením, proč Loveman si myslí, že je to tak důležité mít kontrolní skupinu. Měli byste se pokusit obsahovat příklad-buď skutečné nebo zhotovené-pro ilustraci své místo.

19. [ , ] Nový experiment si klade za cíl odhadnout vliv příjmu upozornění textové zprávy na vychytávání očkování. 150 kliniky, každý s 600 vhodných pacientů, jsou ochotni podílet. Tam je fixní náklady 100 dolarů za každou kliniku, kterou chcete pracovat, a to stojí 1 dolar za každou textovou zprávu, kterou chcete odeslat. Dále budou všechny kliniky, které pracují s změřit výsledek (zda někdo dostal očkování) zdarma. Předpokládejme, že máte rozpočet ve výši 1000 dolarů.

    1. Za jakých podmínek by mohlo být lepší zaměřit své zdroje na malém počtu klinik a za jakých podmínek by mohlo být lepší je šířit v širším měřítku?
    2. Jaké faktory by určit nejmenší velikost efekt, který bude schopen spolehlivě detekovat s rozpočtem?
    3. Napsat poznámku vysvětlující tyto kompromisy potenciálnímu financujícího subjektu.

20. [ , ] Hlavní problém s on-line kurzů je otěr; mnoho studentů, které začínají kurzy skončit zahazování-out. Představte si, že pracujete v online učení platformy, a projektant na nástupišti vytvořila vizuální progress bar, který si myslí, že pomůže zabránit studenty z vypadnutí předmětu. Chcete-li testovat vliv baru na studenty pokroku ve velkém výpočetní společenské vědy kurzu. Poté, co řešit všechny etické problémy, které mohou nastat při pokusu vy a vaši kolegové si dělat starosti, že kurz nemusí mít dostatek studenty, aby spolehlivě detekovat účinky průběhu. Při výpočtech níže můžete předpokládat, že polovina studentů obdrží postupovou lištu a půl ne. Dále lze předpokládat, že neexistuje žádná interference. Jinými slovy, můžete předpokládat, že účastníci jsou ovlivněny pouze tím, zda se jim dostalo ošetření nebo kontrolu; nejsou provádí, zda ostatní lidé podstoupila léčbu nebo kontrolu (pro více formální definici, viz Gerber and Green (2012) , kap. 8). Prosím, mějte přehled o všech dalších předpokladů, které provedete.

    1. Předpokládejme, že ukazatel průběhu se očekává zvýšení podílu studentů, kteří dokončí třídu o 1 procentní bod, jaká je velikost vzorku potřebná spolehlivě detekovat efekt?
    2. Předpokládejme, že ukazatel průběhu se očekává zvýšení podílu studentů, kteří dokončí třídu o 10 procentních bodů, jaká je velikost vzorku potřebná spolehlivě detekovat efekt?
    3. A teď si představte, že jste spustili experiment a studentům, kteří dokončili všechny studijní materiály vzali závěrečnou zkoušku. Když srovnáte závěrečnou zkoušku skóre studentů, kteří obdrželi progress bar na ty, které nebyly, zjistíte, hodně ke svému překvapení, že studenti, kteří neobdrželi postupovou lištu ve skutečnosti vyšší skóre. Znamená to, že ukazatel průběhu způsobil studentům učit se méně? Co se můžete dozvědět z Tento výsledek dat? (Tip: Viz Gerber and Green (2012) , Ch. 7)

21. [ , ] V krásné papír, Lewis and Rao (2015) názorně ilustrují základní statistické omezení i masivních experimentů. Papír, který původně měl provokativní název "na přivrácené-nemožnosti měření návratnosti investic do inzerce" -shows, jak těžké je měřit návratnost investic do online reklamy, a to i s digitálními experimenty zahrnující miliony zákazníků. Obecněji řečeno, papír jasně ukazuje, že je těžké odhadnout malý účinek léčby uprostřed hlučných dat výsledek. Nebo uvedl diffently, papír ukazuje, že odhadované účinky léčby bude mít velké intervaly spolehlivosti byly nárazová-to-standardní odchylka (\ (\ frac {\ delta \ bar {y}} {\ sigma} \)) poměr je malý. Důležitou obecné poučení z tohoto článku je, že výsledky získané na základě pokusů s malým poměrem dopad-to-standardní odchylce (např ROI z reklamních kampaní) bude neuspokojivá. Váš úkol bude psát poznámky na někoho v marketingovém oddělení vaší společnosti evaluting plánovaný experiment měřit návratnost investic do reklamní kampaně. Vaše poznámka by měly být podporovány s grafy výsledků počítačových simulací.

    Zde je několik pozadí informace, které byste mohli potřebovat. Všechny tyto číselné hodnoty jsou typické pro reálné experimenty hlášeny Lewis and Rao (2015) :

    • ROI, která je klíčovým metrika pro on-line reklamních kampaní, je definován jako čistý zisk z kampaně (hrubého zisku z kampaně minus náklady na kampaň) děleno nákladů na kampaň. Například kampaň, která neměla žádný vliv na prodeje bude mít návratnost investic -100% a kampaň, kde zisky byly rovná nákladům bude mít návratnost investice do 0 ° C.

    • Průměrné tržby na jednoho zákazníka je $ 7 se standardní odchylkou ve výši $. 75

    • Očekává se, že kampaň s cílem zvýšit prodeje o 0,35 $ za zákazníka, což odpovídá nárůstu zisku 0,175 $ za zákazníka. Jinými slovy, hrubá marže je 50%.

    • plánované velikost experimentu je 200.000 lidí, polovina v léčené skupině a polovina v kontrolní skupině.

    • náklady na kampaně je 0,14 $ na jednoho účastníka.

    Napsat poznámku evaluting tento experiment. Doporučili byste zahajuje tento experiment jak bylo plánováno? Pokud ano, proč? Pokud ne, jaké změny byste doporučil?

    Dobrý poznámka se bude řešit tento konkrétní případ; lepší poznámka se zevšeobecňovat tomto případě v jednom směru (např, ukazují, jak rozhodnutí se mění v závislosti na poměru nárazu-to-standardní odchylce); a skvělý poznámka bude představovat plně všeobecný výsledek.

22. [ , ] Udělejte to samé jako předchozí otázku, ale spíše než simulaci byste měli používat analytické výsledky.

23. [ , , ] Udělejte to samé jako předchozí otázku, ale použít i simulace a analytické výsledky.

24. [ , , ] Představte si, že jste napsal poznámku popsané výše buď pomocí simulace, analytické výsledky, nebo obojí-i někdo z marketingového oddělení doporučuje použít odhad rozdíl-in-rozdíly spíše než rozdíl v dopravních prostředcích odhadce (viz oddíl 4.6.2) , Napište nový kratší poznámky vysvětlující jak 0,4 korelace mezi prodejem před experimentem a prodeje po experimentu by změnit svůj závěr.

25. [ , ] Aby bylo možné vyhodnotit účinnost nové webové služby kariéry, univerzitní kariéra služby úřad provedl kontrolní randomizované mezi 10.000 studentů vstupujících do posledního ročníku školy. Volný předplatné s unikátním informacím log-in byla odeslána prostřednictvím exkluzivní e-mailovou pozvánku až 5000 z náhodně vybraných studentů, zatímco ostatní 5.000 studenti jsou v kontrolní skupině a nemají předplatné. Dvanáct měsíců později, průzkum follow-up (bez non-response) ukazuje, že v obou experimentálních a kontrolních skupin, 70% studentů mají zajištěné zaměstnání na plný úvazek ve zvoleném oboru (viz tabulka 4.5). Zdá se tedy, že služba webová neměl žádný účinek.

    Nicméně, chytrý datový vědec na univerzitě trochu blíže podíval na data, a zjistil, že pouze 20% studentů ve skupině léčebné vůbec zaznamenána na účet po obdržení e-mailu. Dále, a poněkud překvapivě, mezi těmi, kteří se přihlásili na webové stránky pouze 60% měl zajištěné zaměstnání na plný úvazek ve zvoleném oboru, které bylo nižší než sazba pro lidi, kteří se nepřihlásili a nižší než sazba pro lidi v řídicí podmínka (Tabulka 4.6).

    1. Poskytnout vysvětlení pro to, co se mohlo stát.
    2. Jaké jsou dva různé způsoby, jak vypočítat účinek léčby v tomto experimentu?
    3. Vzhledem k tomu, tento výsledek by kariéra služby univerzitní poskytovat tento webový kariéry služby pro všechny studenty? Jen aby bylo jasno, to není otázka s jednoduchou odpověď.
    4. Co by měli dělat dál?

    Tip: Tato otázka přesahuje materiálu, na které se vztahuje v této kapitole, ale řeší problémy běžné v experimentech. Tento druh experimentálního designu je někdy nazýván designem povzbuzení, protože účastníci se vyzývají, aby se zapojily do léčby. Tento problém je příkladem toho, co se nazývá jednostranný non-compliance (viz Gerber and Green (2012) , Ch. 5)

26. [ ] Po dalším zkoumání se ukázalo, že experiment popsaný v předchozí otázce bylo ještě složitější. Ukazuje se, že 10% lidí v kontrolní skupině platil za přístup ke službě, a oni skončili s mírou zaměstnanosti ve výši 65% (tabulka 4.7).

    1. Kontaktní údaje shrnující to, co si myslíte, že se děje a doporučí další postup.

    Tip: Tato otázka přesahuje materiálu, na které se vztahuje v této kapitole, ale řeší problémy běžné v experimentech. Tento problém je příkladem toho, co se nazývá oboustranný non-compliance (viz Gerber and Green (2012) , Ch. 6)