djelatnost

Ključ:

• stupanj težine: lako , srednji , tvrdi , vrlo teško
• traži matematike ( )
• zahtijeva kodiranje ( )
• prikupljanje podataka ( )
• moji omiljeni ( )

1. [ , ] Berinsky i suradnici (2012) procjenjuje Mehanička Turk dijelom replicira tri klasične eksperimente. Dvostruke klasični azijske bolesti kadriranja eksperiment Tversky and Kahneman (1981) . Da li vaši rezultati utakmica Tversky i Kahneman a? Da li vaši rezultati utakmica Berinsky i kolege? Što-ako ništa-to nauči nas o korištenju mehaničke Turk za pokuse istraživanja?

2. [ , ] U nešto jezik-u-lice radu pod naslovom "Moramo Break Up" socijalni psiholog Robert Cialdini, jedan od autora Schultz et al. (2007) , napisao je da je povučen rano s posla kao profesor, djelomično i zbog izazova koje je imao radi eksperimente na terenu u disciplini (psihologije) koji se uglavnom provodi laboratorijske pokuse (Cialdini 2009) . Pročitajte Cialdini je papira i napisati mu e-mail pozivajući ga da preispita svoju break-up u svjetlu mogućnosti digitalnih eksperimenata. Koristite konkretne primjere istraživanja koja rješavanja svoju zabrinutost.

3. [ ] Kako bi se utvrdilo je li mali početni uspjesi lock-in ili nestaju, van de Rijt i i suradnici (2014) intervenirala u četiri različite sustave daruju uspjeh na nasumično odabranih sudionika, a zatim izmjeri dugoročne učinke ove proizvoljne uspjeha. Možete li se sjetiti drugih sustava u kojima možete pokrenuti slične eksperimente? Procijenite tih sustava u smislu pitanjima znanstvene vrijednosti, algoritamski zbunjivanje (vidi poglavlje 2), te etike.

4. [ , ] Rezultati pokusa može ovisiti o sudionicima. Napravite eksperiment, a zatim ga pokrenuti na Amazon Mechanical Turk (MTurk) pomoću dvije različite strategije zapošljavanja. Pokušajte odabrati eksperiment i regrutiranje strategije, tako da će rezultati biti drugačiji moguće. Na primjer, zapošljavanje strategije mogu se zaposliti sudionicima u jutarnjim i večernjim satima ili nadoknaditi sudionicima visoke i niske plaće. Takve razlike u regrutiranje strategije može dovesti do različitih bazenima sudionika i različitim eksperimentalnim rezultatima. Kako različite su vaši rezultati ispasti? Što to otkriva o pokretanju pokuse na MTurk?

5. [ , , , ] Zamislite da ste bili u planiranju Emocionalna zaraza studiju (Kramer, Guillory, and Hancock 2014) . Koristite rezultate iz ranijeg promatranja studiji Kramer (2012) odlučiti broj sudionika u svakom stanju. Ove dvije studije ne odgovaraju savršeno pa se svakako izričito navesti sve pretpostavke koje ste napravili:

   1. Pokretanje simulacije koja će odlučiti koliko sudionika je bilo potrebno otkriti učinak kao velika kao učinak u Kramer (2012) s \ (\ alpha = 0.05 \) i \ (1 - \ beta = 0,8 \).
   2. Da li isti izračun analitički.
   3. S obzirom na rezultate iz Kramer (2012) bio je emocionalna Contagion (Kramer, Guillory, and Hancock 2014) nad pogonom (tj, da li to ima više sudionika nego je potrebno)?
   4. Od pretpostavki koje ste napravili, a koje imaju najveći utjecaj na vaš proračun?

6. [ , , , ] Odgovorite na pitanje gore, ali umjesto da koristite stariju opservacijskih studija po Kramer (2012) na temelju dobivenih rezultata iz ranijih prirodnog eksperimenta by Coviello et al. (2014) .

7. [ ] I Rijt et al. (2014) i Margetts et al. (2011) i izvode eksperimente koji proučavaju proces ljudi potpisuju peticiju. Usporediti i kontrast dizajn i rezultate tih istraživanja.

8. [ ] Dwyer, Maki, and Rothman (2015) proveo dvije pokusima na odnos između društvenih normi i proenvironmental ponašanja. Evo sažetak njihovog rada:

   "Kako bi psihološka znanost se koristiti za poticanje proenvironmental ponašanja? U dvije studije, intervencije u cilju promicanja ponašanja uštedu energije u javnim kupaonicama ispitao utjecaj deskriptivne normi i osobne odgovornosti. U Studiji 1, svjetlo stanja (tj uključeno ili isključeno) manipuliralo prije nego što netko ušao nenastanjeni javnu kupaonicu, signalizirajući opisni normu za tu postavku. Sudionici su bili značajno više vjerojatno da će ugasiti svjetlo, ako su se kad su ušli. U Studiji 2, dodatni uvjet je bio uključen u kojoj je norma da se isključi svjetlo je pokazala i Konfederacije, ali sudionici nisu sami bili odgovorni za njegovo uključivanje. Osobna odgovornost moderirao utjecaj društvenih normi na ponašanje; kada su sudionici nisu bili odgovorni za paleći svjetlo, utjecaj norme je smanjena. Ovi rezultati pokazuju kako je opisno norme i osobna odgovornost može regulirati učinkovitost proenvironmental intervencija. "

   Pročitajte svoj rad i dizajn replikaciju studija 1.

9. [ , ] Nadovezujući se na prethodno pitanje, sad provesti svoj dizajn.

   1. Kako su rezultati usporediti?
   2. Ono što bi moglo objasniti te razlike?

10. [ ] Tu je značajan rasprave o eksperimentima koji koriste sudionike regrutirani iz Amazon Mechanical Turk. Paralelno s tim, tu je značajna rasprava o eksperimentima koji koriste sudionike regrutirani iz dodiplomski student populacije. Napišite dopis na dvije stranice uspoređivanje i kontrastne Turkers i studenti kao istraživači sudionika. Vaš usporedba bi trebala uključivati ​​raspravu o znanstvenim i logističkih poteškoća.

11. [ ] Jim Manzi knjiga Nekontrolirana (2012) je prekrasan uvod u moć eksperimentiranja u poslovanju. U knjizi koju je prenio ovu priču:

    "Bio sam jednom na sastanku s pravog poslovnog genija, self-made milijarder koji je duboko, intuitivno poimanjem vlasti eksperimenata. Njegova tvrtka je proveo značajne resurse pokušavajući stvoriti velike trgovine izloge kako bi privukli potrošače i povećava prodaju, kao što je uvriježeno je rekao kako bi trebali. Stručnjaci pažljivo testiran dizajn nakon dizajnu, te u pojedinim Test za pregled rada u razdoblju od godine čuva pokazuje nikakvu značajnu uzročnu učinak svakog novog dizajna zaslona na prodaju. Viši marketing i merchandising rukovoditelji susreo s CEO za pregled ove povijesne rezultate testa in toto. Nakon predstavljanja svih eksperimentalnih podataka, zaključili su da je konvencionalna mudrost nije u redu-da izlozima ne voziti prodaje. Njihov preporučeni postupak bio je smanjiti troškove i napor u tom području. Ovo dramatično demonstrirao sposobnost eksperimentiranja da ukine konvencionalne mudrosti. CEO je odgovor bio jednostavan: "Moj je zaključak da su vaši dizajneri nisu baš dobri." Njegovo rješenje je povećati napore u dizajnu trgovine zaslona, a da se novi ljudi za to. " (Manzi 2012, 158–9)

    Koji tip valjanosti je briga CEO?

12. [ ] Nadovezujući se na prethodno pitanje, zamislite da ste bili na sastanku na kojem se raspravljalo o rezultatima eksperimenata. Koje su četiri pitanja koja možete pitati, po jedan za svaku vrstu valjanosti (statistički, konstruirali, unutarnje i vanjske)?

13. [ ] Bernedo, Ferraro, and Price (2014) proučava sedmogodišnju učinak intervencije za uštedu vode je opisano u Ferraro, Miranda, and Price (2011) (vidi sliku 4.10). U ovom radu, Bernedo i kolege također nastojati razumjeti mehanizam iza učinak uspoređujući ponašanje kućanstava koja imaju i nisu krenuli nakon tretmana je dostavljen. To je, otprilike, oni pokušati vidjeti da li je liječenje utjecali na dom ili homeowner.

    1. Pročitajte papir, opisati njihov dizajn i rezimirati svoja otkrića. b) Da li su njihovi rezultati utjecati na način na koji bi trebali procijeniti isplativost sličnih intervencija? Ako je tako, zašto? Ako ne, zašto ne?

14. [ ] U follow-up na Schultz et al. (2007) , Schultz i kolege obaviti niz od tri pokusa na učinku deskriptivne i privremene norme na drugom okoliša ponašanja (ručnik ponovne uporabe) u dva konteksta (hotel i timeshare condominium) (Schultz, Khazian, and Zaleski 2008) ,

    1. Sažeti dizajn i rezultate tih tri pokusa.
    2. Kako, ako uopće, oni promijeniti svoje tumačenje Schultz et al. (2007) ?

15. [ ] Kao odgovor na Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) provela niz laboratorijskih nalik pokusa na studij dizajna električnih računa. Evo kako su ga opisali u sažetku:

    "U eksperimentu Anketno, svaki sudionik vidio hipotetski račun za struju za obitelj s relativno visokom korištenja električne energije, koja obuhvaća podatke o: (a) povijesne uporabe, (b) usporedbe sa susjedima, i (c) povijesni korištenje sa kvar uređaja. Sudionici vidio sve vrste podataka u jednom od tri formata, uključujući (a) tablica, (b) grafove, i (c) icon grafove. Prikazujemo tri glavna nalaza. Prvo, potrošači razumjeli svaku vrstu električne uporabe informacija najviše kada je prikazan u tablici, možda zato stolovi olakšalo jednostavnog čitanja točke. Drugo, sklonosti i namjere za spremanje električne energije bili su najjači informacije povijesnog korištenja, neovisno o obliku. Treće, osobe s nižom energijom pismenosti razumjeti sve informacije manje. "

    Za razliku od drugih follow-up studija, glavni ishod interesa u Canfield, Bruin, and Wong-Parodi (2016) je izvijestio ponašanje nije stvarno ponašanje. Koje su prednosti i nedostaci ove vrste studija u širem istraživačkog programa koji promovira uštedu energije?

16. [ , ] Smith and Pell (2003) je satirična meta-analiza studija koje pokazuju učinkovitost padobranima. Oni su zaključili:

    "Kao i kod mnogih intervencija namijenjena za sprječavanje bolesti, učinkovitost padobrana nije bio podvrgnut strogom ocjenjivanju pomoću randomiziranih kontroliranih pokusa. Zagovornici medicina temeljena na dokazima kritizirali usvajanje intervencija vrednovati pomoću samo podatke motrenja. Mislimo da svi mogu imati koristi ako najradikalniji protagonisti medicina temeljena na dokazima organizira i sudjeluje u dvostruko slijepom, randomiziranom, placebom kontrolirano, križno ispitivanje padobrana. "

    Napiši op-ed pogodna za opće čitateljstva novine, kao što su The New York Times, tvrdeći protiv fetishization eksperimentalnog dokaza. Pružiti određene, konkretne primjere. Napomena: Vidi također, Bothwell et al. (2016) i Deaton (2010)

17. [ , , ] Razlika-u-razlika procjenitelji nekog učinka liječenja može biti precizniji od razlika-u-srednja procjenitelji. Napišite dopis inženjer zadužen za A / B testiranje na start-up društveni mediji tvrtke objašnjava vrijednost pristupa razlika-u-razlika za pokretanje online eksperiment. Dopis treba sadržavati izvješće o problemu, neka intuicija o uvjetima pod kojima će se razlika-u-razlikom procjenitelj nadmašiti razlika-u-srednje procjenitelj i jednostavnu simulaciju studiju.

18. [ , ] Gary Loveman bio je profesor na Harvard Business School prije nego je postao predsjednik Uprave Harrah, jedan od najvećih casino tvrtki u svijetu. Kad je prešao u Harrah, Loveman je tvrtku s čestim letak-kao program lojalnosti koji prikupljene ogromne količine podataka o ponašanju kupaca. Na vrhu ovog uvijek na mjernog sustava, tvrtka je počela izvođenjem eksperimenata. Na primjer, oni mogu pokrenuti eksperiment za procjenu učinka kupon za besplatnu hotelsku noć za kupce s određenim uzorkom kockanje. Evo kako Loveman opisao važnost eksperimentiranja na Harrah svakodnevne poslovne prakse:

    "To je kao da ne maltretiraju žene, ne kradu, a moraš imati kontrolnu skupinu. To je jedna od stvari koje možete izgubiti svoj posao na Harrah's-ne radi kontrolnu skupinu. " (Manzi 2012, 146)

    Napišite poruku e-pošte na novi zaposlenik objašnjava zašto Loveman misli da je toliko važno imati kontrolnu skupinu. Trebali biste pokušati uključiti primjer-bilo stvarni ili izmišljeni za ilustraciju svoju točku.

19. [ , ] Novi eksperiment ima za cilj procijeniti učinak primanje SMS podsjetnike poruka na dimnjak cijepljenja. 150 klinike, svaka sa 600 pogodnih bolesnika, su spremni sudjelovati. Tu je fiksni trošak od 100 dolara za svaku kliniku koju želite raditi, a to košta 1 dolar za svaku tekstualnu poruku koju želite poslati. Nadalje, sve klinike koje rade s će mjeriti ishod (da li je netko primio cjepivo) besplatno. Pretpostavimo da imate budžet od 1000 dolara.

    1. Pod kojim uvjetima bi moglo biti bolje da se usredotočite svoje resurse na malom broju klinikama i pod kojim uvjetima može bilo bolje da ih širiti šire?
    2. Koji faktori će odrediti najmanju veličinu efekta koje ćete moći pouzdano detektirati sa svojim proračunom?
    3. Napišite dopis s objašnjenjem ove ustupke kako bi potencijalni financijer.

20. [ , ] Veliki problem s online tečajevima je trenje; Mnogi studenti koji počinju tečajevi završavaju pada-out. Zamislite da radite na online platformi za učenje i dizajner na platformi je stvorio vizualni napredak bar da ona misli da će pomoći spriječiti studente da ispadnu iz kolegija. Želite testirati učinak baru na studente napredak u velikom računalnom društvene znanosti naravno. Nakon rješavanja svih etičkih pitanja koja bi mogla nastati u eksperimentu, vi i vaši kolege se zabrinuti da naravno ne može imati dovoljno studenata da pouzdano otkrivanje učinaka trake napretka. U proračunima u nastavku možete pretpostaviti da polovica studenata dobit će traku napretka i pol nije. Nadalje, možete pretpostaviti da nema smetnje. Drugim riječima, može se pretpostaviti da su sudionici utjecati samo da li su primili tretman ili kontrolu; nisu vrši li se drugi ljudi primila na liječenje ili kontrolu (za više formalne definicije, vidi Gerber and Green (2012) , Ch. 8). Molimo pratiti sve dodatne pretpostavke da napravi.

    1. Pretpostavimo bar napredak se očekuje da će povećati udio studenata koji završe razred za 1 postotni bod, što je veličina uzorka potrebna za pouzdano otkrivanje učinka?
    2. Pretpostavimo bar napredak se očekuje da će povećati udio studenata koji završe razred za 10 postotnih bodova, što je veličina uzorka potrebna za pouzdano otkrivanje učinka?
    3. Sada zamislite da ste pokrenuli eksperiment i studenti koji su završili svi nastavni materijali su se završni ispit. Kada usporedite konačne rezultate ispita studenata koji su dobili traku napretka za one koji nisu, naći, mnogo na svoje iznenađenje, da studenti koji nisu dobili traku napretka zapravo postigao veći. Da li to znači da se traka napretka izazvao učenike da uče manje? Što možete naučiti iz ovog ishoda podataka? (Napomena: Vidi Gerber and Green (2012) , Ch 7).

21. [ , ] U lijepom papiru, Lewis and Rao (2015) zorno ilustriraju temeljne statističke ograničenje čak masivnih eksperimenata. Papir-koja je izvorno imala provokativan naslov "na susjednom nemogućnosti Mjerenje Povratak na oglašavanje" -shows kako je teško izmjeriti povrat ulaganja od online oglasa, čak i uz digitalni eksperimenti koji uključuju milijune korisnika. Općenitije, u radu se jasno pokazuje da je teško procijeniti mali učinak liječenja usred bučnih podataka ishoda. Ili je navedeno diffently, rad pokazuje da će procijenjeni učinci liječenja imaju velike intervale povjerenja kada je utjecaj za standardne devijacije (\ (\ frac {\ Delta \ bar {y}} {\ sigma} \)) omjer je mala. Važna općenito pouka iz ovog rada je da se rezultati pokusa s malim utjecaj-na-standardne devijacije omjeru (npr ROI oglasnih kampanja) će biti nezadovoljavajući. Vaš izazov bit će napisati dopis nekome u odjelu za marketing Vaše tvrtke evaluting planirani pokus za mjerenje ROI oglasne kampanje. Vaš dopis treba biti podržan s grafovima rezultata računalne simulacije.

    Evo neke osnovne informacije koje biste mogli trebati. Sve te numeričke vrijednosti su tipične za stvarnim eksperimentima u Lewis and Rao (2015) :

    • ROI, ključni je podatak kojim se on-line oglasne kampanje, definira se da je neto dobit iz kampanje (bruto dobit od minus kampanja troškova kampanje) podijeljena s troškovima kampanje. Na primjer, kampanja koja nije imala učinak na prodaju bi imali ROI -100% i kampanju u kojoj dobit ostvarena bili jednaki troškovima će imati ROI 0.

    • srednje prodaja po kupcu je $ 7 sa standardnom devijacijom od 75 $.

    • kampanja se očekuje povećanje prodaje od 0,35 $ po klijentu što odgovara povećanju profita od 0.175 $ po korisniku. Drugim riječima, bruto marža je 50%.

    • planirana površina pokusa je 200.000 ljudi, a pola u tretiranim skupinama, a pola u kontrolnoj skupini.

    • trošak kampanje je 0,14 $ po sudioniku.

    Napišite dopis evaluting ovaj eksperiment. Biste li preporučili pokreće ovaj eksperiment kao što je planirano? Ako je tako, zašto? Ako ne, što mijenja biste preporučili?

    Dobar dopis će se baviti ovaj specifičan slučaj; bolji dopis će generalizirati na tom slučaju u jednom smjeru (npr pokazati kako se odluka mijenja kao funkcija omjera utjecaj-na-standardne devijacije); i veliki dopis će predstaviti potpuno generalizirani rezultat.

22. [ , ] Da li isto kao prethodno pitanje, ali umjesto simulacija te bi trebao koristiti analitičke rezultate.

23. [ , , ] Da li isto kao prethodno pitanje, ali koristimo i simulaciju i analizu rezultata.

24. [ , , ] Zamislite da ste napisali dopis gore ili pomoću simulacije, analitičkih rezultata, ili oboje, i netko iz odjela za marketing preporučuje pomoću razlika-u-razlika procjenitelja nego razlika u sredstvima za procjenu opisao (vidi odjeljak 4.6.2) , Napiši novu kraći dopis s objašnjenjem kako se 0,4 korelacija između prodaje prije pokusa i prodaje nakon eksperimenta bi mijenjati svoj zaključak.

25. [ , ] Kako bi se ocijenila učinkovitost novog web-based karijere usluge, sveučilišni karijeri usluge ured proveo je randomizirano kontroliranog istraživanja među 10.000 studenata koji ulaze u završnu godinu škole. Besplatnu pretplatu s jedinstvenim log-in informacija je poslana putem ekskluzivne e-poziv na 5.000 od nasumično odabranih studenata, dok su ostale 5.000 učenika u kontrolnoj skupini i nemaju pretplatu. Dvanaest mjeseci kasnije, follow-up ankete (bez neodaziva) pokazuje da je i za liječenje i kontrolne skupine, 70% studenata osigurana su puno radno vrijeme u svom izabranom području (Tablica 4.5). Dakle, čini se da je web-based servis nije imala učinka.

    Međutim, pametan znanstvenik podataka na sveučilištu pogledao podatke malo pobliže i otkrili da je samo 20% učenika u skupini tretiranoj ikada prijavljeni na račun nakon primitka e-pošte. Nadalje, i pomalo iznenađujuće, među onima koji su se prijavili na website samo 60% je osigurao stalno zaposlenje u svom izabranom području, koja je bila niža od stope za osobe koje nisu prijaviti i niža od stope za ljude u upravljački uređaj (Tablica 4.6).

    1. Dati objašnjenje za ono što se moglo dogoditi.
    2. Što su dva različita načina za izračunati učinak liječenja u ovom eksperimentu?
    3. S obzirom na ovaj rezultat, treba karijera usluga sveučilišta pružaju ovu web-based karijeru servis za sve studente? Samo da bude jasno, ovo nije pitanje sa jednostavnim odgovorom.
    4. Ono što bi trebali učiniti?

    Napomena: Ovo pitanje nadilazi materijala obuhvaćenog u ovom poglavlju, ali se bavi pitanjima zajedničke u eksperimentima. Ova vrsta eksperimentalnog dizajna ponekad naziva ohrabrenje dizajn, jer su sudionici poticati da se uključe u liječenju. Ovaj problem je primjer onoga što se naziva jednostrana nepridržavanje (vidi Gerber and Green (2012) , Ch. 5)

26. [ ] Nakon daljnjeg pregleda, ispostavilo se da je pokus opisan u prethodnom pitanju bio još kompliciraniji. Ispada da je 10% ljudi u kontrolnoj skupini plaća za pristup usluzi, te su završili sa stopom zaposlenosti od 65% (Tablica 4.7).

    1. Napišite poruku e-pošte sa sažetkom onoga što mislite da se događa i preporučiti tijek akcije.

    Napomena: Ovo pitanje nadilazi materijala obuhvaćenog u ovom poglavlju, ali se bavi pitanjima zajedničke u eksperimentima. Ovaj problem je primjer onoga što se naziva obostrani nepridržavanje (vidi Gerber and Green (2012) , Ch. 6)