Activités

• gradu di difficultatu: faciule , mediu , duro , assai duru
• precisa matemáticas ( )
• precisa codificazione ( )
• a recullariariali ( )
• i mo piace ( )

1. [ , ] Berinsky è i culleghji (2012) avale evaluatu MTurk in parti per riplicà trè esperimenti clàssici. Rèplicate l'esperimentu di l' Tversky and Kahneman (1981) Asiaticu classificatu da Tversky and Kahneman (1981) . Fate i vostri risultati cunnessione à Tversky è Kahneman? Fate i vostri risultati cunnessu quelli di Berinsky è i culleghi? Ciò chì, se qualcosa, hà permette à fà usà MTurk per esperimenti a scuperta?

2. [ , ] In un cartabili di lingua in un cheek titulada "Tenitamu a finiscinu", u psicologu sociale Robert Cialdini, unu di l'auturi di Schultz et al. (2007) , hà scrittu ch'ellu era retiratu prima di u so travagliu cum'è professore, in parte per i sfidi affruntate à facenu esperimenti campagnari in una disciplina (psicoluggìa) chì principia à guidà esperimenti (Cialdini 2009) . Lettu u carta di Cialdini, è scrivite un email urgendu à riaccumulà a so splutazioni in u lume di e pussibilità di l'esperimenti digitale. Utilice un esempi specie di ricerca chì face i so preoccupies.

3. [ ] Per esse attene si i primi accadèmuli iniziali in u locu sferente, Van de Rijt è i culleghji (2014) intervenenu in quattru sistemi differenti chì prumesse successu à i participanti à l'azzu seleccionatu, è pois medite l'impacti longu di u successu arbitrarie. Pudete pensate di altri sistemi in chì pudete spuntà esperimenti simili? Evaluta ste sistemi in termine di temi di u valore scientificu, cunfusioni algoritàmichi (vede u capítulo 2), è l'etica.

4. [ , ] I risultati di un sperimentu pò dependu di i participanti. Cumentu un sperimentu è poi eseguite nantu à MTurk cù dui stratèggi diversi di rilevule. Pruvate di sceglie l'esperimentu è e stratèggi di riligatura, perchè i risultati seranu quant'è parechje pussibuli. Per esempiu, e so strategie di rilatru puderia esse di ricrutari participanti à u duminiu è a sera o per cumpensà i participanti cù pagamentu altu è minimu. Queste tipi di differenzi in stratiggia di recrutazione puderia cumportanu à diverse pezzi di participanti è di difetti di esperimenti esperimentali. Cume difenu i vostri risultati? Chì què detalla about running experiments on MTurk?

5. [ , , ] Pigliate chì avete a pianificà l'esperimentu di l'Esperienze Emocionale (Kramer, Guillory, and Hancock 2014) . Aduprà i risultati da un studiu observativu avanzatu da Kramer (2012) per decide u numeru di participanti in ogni cundizione. Eccu duie studii ùn anu micca truvatu perfetta, per esse seguru d'esplicà una lista di tutti l'assunsi chì fate:

   1. Executà una simulazione chì decisive quantu parechji participanti anu avutu necessariu per detectar un effettu quantu quantu l'effettu in Kramer (2012) cù \(\alpha = 0.05\) è \(1 - \beta = 0.8\) .
   2. Fate u stessu calculu analiticu.
   3. A causa di i risultati da Kramer (2012) fù cuntagioni emoziunali (Kramer, Guillory, and Hancock 2014) sopra à l'alimentazione (per esempiu, avete più parte di participanti ca l'avutu)?
   4. Di e pretenzioni chì avete fattu, chì anu u maiò effettu nantu à u vostru calculu?

6. [ , , ] Responde a pregunta previa, ma questa ora basu ca l'usu di u studiu observativu di Kramer (2012) , usa i risultati d'un esperimentu naturali prima di Lorenzo Coviello et al. (2014) .

7. [ ] Tanti Margetts et al. (2011) è van de Rijt et al. (2014) realizatu esercizziu studii di u prucessu di e persone firmate una petizioni. Comparare è cuntrastate i dissenu è i risultati di questi studii.

8. [ ] Dwyer, Maki, and Rothman (2015) rializatu dui esperimenti nantu à a rapportu trà e norme è u cumpurtamentu favuricu. Eccu l'astratti di u so pezzu:

   "Cumu pudia esse a scienza psicologica utilizata per incuraggià u cumpurtamentu pruvenvatoriu? In dui studii, l'intervenzioni dirigini à prumove a cumpurtamentu di cunservazione d'energia in i banchi pubblichi analizate l'influenzi di e norme deskrittivi è a responsabilità pirsona. In studiu 1, l'estatus di u lume (vale à dì, in o fora) hè stata manipulata prima chì quellu chì hà intrutu in un bano pùblicu inoccuvatu, affirmendu a norma descriptiva per questu locu. I participatori eranu più prubabile bisognu di vultà i luci fora si eranu fora quand'elli entreranu. In Studiu 2, una cundizione addizzjonali hè stata chjamata in quale a norma di vìdiri a luce hè statu dimustrata da un cunfederatu, ma i participanti ùn anu micca elli affittu di turnà. A rispunsabilità parsunali hà mudatu l'influenza di e norme soia nantu à u cumportamentu; quandu i participanti ùn eranu micca responsabbili di vultà nantu à a luce, l'influenza di a norma era diminuita. Questi risultati ponenu chì e norme deskrittiva è a responsabbilità pirsunalu puderanu regule l'effettu di e intervenzioni proenvientuali ".

   Averete u so carta è disignate una replicazione di studiu 1.

9. [ , ] Cumentu nantu à a prublema previa, oghje u vostru disignu.

   1. Cumu si compie a risultati?
   2. Chì pudete spiegà queste differenzi?

10. [ ] Hà sustinebbuli debitu cù esperimenti cù i participanti ricrutati da MTurk. In paralelamente, ci hè statu ancu un debat sustanzjale nantu à l'esperimenti cù i participanti ricrutati da i populi d'studenti studianti. Scrivite un memo di dui pagine chì paraghjaru è cuntrastanu i Turchers è i studenti universitanti com'è participanti di a ricerca. A vostra cumparazione devendrà cumparisce una discussione di tematichi scentifichi è logistichi.

11. [ ] U libro di Jim Manzi " Uncontrolled" (2012) hè una maraviglia introdizione à u puteru di l'esperimentazione in l'affari. In u libru hà assicuratu a storia seguente:

    "Anu eru in una retazioni cù un veru geniusu di cummerciale, un billonariatu chì avia un discretu profundo, intudubile di u puteru di l'esperimenti. A so cumpagnia feneva risultati significati à pruvà à creà grandi apparecchi di a finestra di a vendita chì atraeranu i clienti è a vendita di u venditori, cum'è a saviezza convenciosa hà dettu. L'articuli sò prughjetti cunzuddinati designu dopu à u disignu, è in sessioni di scuperta tutale di teste nantu à un periudu di anni ùn anu vistu nessun impussibile causale significativu di ogni novu cartellu di visualizazione in vendita Ogni misurane è cumerciuti di merchandising metu cù u CEO per rivisione di questi risultati testi stòrici in toto. Dopu avè prisentatu tutte e dati esperimentali, cuncernizonu chì a saviezza convenciosa era incorrecte, chì a finestra ùn fate micca di vende. A so azzione recommandé era per riduce i spese di u sforzu in questu spaziu. Questu dimostra dramaticamente a capacità di l'esperimentazione per annunzià a saviezza convenciale. A risposta di u CEO era simplice: "A mo conclusione hè chì i vostri disinfettori ùn sò micca boni." A so solu era per incrementà u sforzu in u dispunimentu di a maghjina di a magazzini, è per fà una nova persona per fà. " (Manzi 2012, 158–9)

    Qualessu tipu di validità hè a priocera di u CEO?

12. [ ] Cumentu nantu à a prublema previa, imagine ch'è erate in a reunione induve i risultati di l'esperimenti sò dettu. Quali sò quattru dubioni chì pudete dumandà dumandà unu per ogni tipu di validità (statistichi, custruttori, internu è esterni)?

13. [ ] Bernedo, Ferraro, and Price (2014) studiatu u effettu di sette anni di l'intervenzione salvatica di l'acqua da Ferraro, Miranda, and Price (2011) (vede a figura 4.11). In questu documentu, Bernedo è i culleghi cercanu ancu di cumprenderà u mecanicu dopu à l'effettu paragunendu u cumpurtamentu di e famiglii chì sò e ùn anu micca trasfirutu dopu u trattamentu hè statu datu. Eccu, circa à pruvà à verificà se u trattu impeditu a casa o u pruprietariu.

    1. Lighje u papetu, descrighe u so designu, è sintesi i so scuperti.
    2. Fate a so intesezzione cumu avete bisogna à evaluà a costeffietà di e intervenzioni simili? Sì cusì, perchè? Se no, perchè micca?

14. [ ] In un seguitu à Schultz et al. (2007) (Schultz, Khazian, and Zaleski 2008) .

    1. Suntate u disignu è e troppu di sti trè esperimenti.
    2. Cumu si a tutti, cambienu a vostra interpretazione di Schultz et al. (2007) ?

15. [ ] In risposta à Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) adupratu una seria di esperimenti lab-like per studià u disignu di culori elettrici. Eccu cumu si scrivevanu nta l'astrettu:

    "In un esperimentu basatu in a so mistieri, ogni participante vistiu una prughjettu ipotètica di l'electricità per una famiglia cù un ufficiu di electricità relativamente alta, chì abundava l'infurmazione nantu à un usu storicu, (b) paraguni à i vicini, è (c) l'usi storichi cù l'apparenza di l'appliance. I participatori anu vistu tutti i tipi di informazioni in unu di trè formati chì includenu: (a) lezioni, (b) graffiti bar, è (c) icona di grafichi. Avemu infurmatu nantu à trè trovani principali. Prima, i cunsumatori cianu cumpletu ogni tipu d'energia elettrica di l'infurmazioni d'infurmazioni a più quandu era presentata in una tavula, forsi perchè e tàvule facilite un puntu simplice di lettura. Secundaria, e preferenze è intesi à guvernà l'electricità eranu più forti di l'infurmazione storica, indipendente di u formatu. Terzu, e persone cù una energia energètica bassa cumpurtava l'infurmazioni più menu.

    A diversità di l'altri studi di seguimento, u principiu di l'intiressi di Canfield, Bruin, and Wong-Parodi (2016) hè dichjaratu cumportamentu, micca cumpurtamentu propiu. Chì sò i punti di forza è di punti debbitali di stu tipu d'studiu in un prugramma di ricerca più largu chì prumove l'economia d'energia?

16. [ , ] Smith and Pell (2003) presentonu un metanisi satìricu di studii chì dimustranu l'effettu di e parachute. Eranu conclusi:

    "Cumu cù parechje intervenzione intenzioni per impediscenu a salute dolore, l'efficacezza di parch'uginesi ùn hè statu suggettu à rigorosa evaluazione usendu prucessi cuntrullati à l'azardu. I prupegatori di a medicina basatu di evidenza anu criticatu l'adopzione di intervenzioni valutati cù l'utilizazione solu di l'infurmazioni. Pensemu chì tutti puderanu esse benefiziunate si i prughjetti più radicali di a medicina basta evidenza urganizata è participà à un prucessu doppu cutu, aleatorizatu, placebo, crossover di u parachute. "

    Scrivite un opediu adattatu per un ghjurnale di lettore generale, cum'è u New York Times , discendu contru l'fetishizazione di evidenza esperimenti. Pruvate exempli specifichi, concreti. Hint: See also Deaton (2010) è Bothwell et al. (2016) .

17. [ , , ] E estimatori di Differenza in diferenzii di un'essamentu di trattamentu pò esse più precisa ch'è stima in a misura. Scrivite un annunci à un ingegientu in capu di pruduzzioni A / B à una principessa di cumpagnia di suciali suciale chì spiecanu u valore di l'approcciu di diffirenza di diferenza per esse realizatu un esperimentu in linea. U muvimentu avissi bisognu di una manifestazione di u prublema, qualchì intuizione nantu à e cundizzioni di e quali l'estimatori diffirenza in particulare sviluppà un stimulante demuru è un simpricimentu simplice.

18. [ , ] Gary Loveman era un prufissore in Harvard Business School prima di diventà u CEO di Harrah's, una di e più grande casinò in u mondu. Quandu si trasfirìu a Harrah's, Loveman trasformò a cumpagnia cù un prugramma di fidelizare per frequentore di vultà chì recopista enormes quantità di dati di u cumportamentu di u cliente. In cume di stu sistema di metudu sempre in a misura, a cumpagnia cuminciau a curriri esperimenti. Per esempiu, puderanu esse run un esperimentu per evaluà l'effettu di un coupon per una lusso hotele gratis per i clienti cun un patronu di jocu specificu. Eccu Cumu hà descrizzione di l'impurtanza di l'esperimentazione per i pratichi cummerciale ogni ghjornu di Harrah:

    "Hè cum'è ùn site micca affucatu à e donne, ùn avete micca steal, è avete averà un gruppu di cuntrollu. Questu hè una di e cose chì pudete perdisce u vostru travagliu per Harrah's-ùn mannanu un gruppu di cuntrollu ". (Manzi 2012, 146)

    Scrivite un mail à un novu empleu chì spiega per quessa Loveman pensa chì hè cusì impurtante di avè un gruppu di cuntrollu. Puderete pruvà cù un esempiu, o immubiliari o cumpatutu, per illustrarete u vostru puntu.

19. [ , ] Un novu prughjettu cerca di stima l'effettu di ricèveraghju di u messagiu di u testu in u realizazione di vaccinazione. Centu cinquanta cliniche, ognunu cù 600 pazienti eliggetti, sò disposti à participà. Ci hè un costu fixa di $ 100 per ogni coppola chì vulete travaglià cun u costu $ 1 per ogni messa di testu chì vulete mandà. Aiutate, alcunu cliniche chì site cunvucazione medite u risultatu (se qualcunu hà ricivutu a vaccinazione) per liberu. Assume chì avete un budgetu di $ 1,000.

    1. Sutta chì cundizioni puderia esse megliu centrazione di i vostri risorsi in un pocu nummiru di e cliniche è in quali cundizioni pò esse megliu difende da più?
    2. Chì i fatturi chì puderanu stabilisce u minimu u minimu di l'effettu chì vi puderete di dette bè in u vostru diritto?
    3. Scrivite un annunziu chì spiega questi tradiziunali à un funderi potenziale.

20. [ , ] Un problema impurtante cù i corsi in linea hè attrition: assai studienti chì accuminanu corsi finiscinu fora. Imagine chì site di travagliu in una pratica d'educazione in ligna, è un designer à a piattaforma hà creatu un avimentu di progresimu chì pensa pò aiutà l'impedimentu d'esse fora di u cursu. Vulete pruvà l'effettu di a barà di averebbe in i studienti in un cursu di scienza suciali quantistica. Dopu avè trattatu i qualsiasi etichi chì puderianu arreri à l'esperimentu, voi è i vostri fratelli anu preoccupatu chì u cursu puderia avè micca avè bastanti studienti per detetti fugliali l'effetti di a avventura di u progressu. In i calculi seguenti, pudete assume chì a mità di i studienti ricevenu a barà di u prugressu è a mità no. In più, pudete assume chì ùn ci hè nisuna interferenza. In altre parolle, pudete assume chì i participanti sò solu affettati per elli riceve u trattamentu o u cuntrollu; ùn sò micca effettuati se l'altri pirsuni hanu ricivutu u trattamentu o cuntrollu (per una definizione più furmale, vedi u capítol 8 di Gerber and Green (2012) ). Pigliate qualchì assunsiunzione supplementu chì fate.

    1. Puderate a barà di prugressu hè expectedu di aumentà a proporzione di studienti chì finiscinu a classa per 1 puntu percentualità; Cume hè u mudellu di mostra chjamatu per dettagli di manera affidativa l'effettu?
    2. Cunteni chì a barà di u prugressu si spetta da aumentà a proporzione di studienti chì finiscinu a classe per 10 punti percentualità; Cume hè u mudellu di mostra chjamatu per dettagli di manera affidativa l'effettu?
    3. Ora imagine chì avete aduprate l'esperimentu è i studienti chì anu cumpritatu tutti i materiali di u cursu anu fattu un esame finali. Quandu si paraguneghja u puntu di espanzioni finali di i studienti chì anu ricivutu a barca di averebbi cù i scoddi di quelli chì ùn hanu micca, trova, assai a vostra sorpresa, chì i studienti chì ùn anu micca ricevutu u avance avà avà sceltu più altu. Chistu significa chì a barba di prugressiva hà permette à i studienti a sapè menu? Chì puderebbite amparà da sta data di u risultatu? (Hint: Vede u capitulu 7 di Gerber and Green (2012) )

21. [ , , ] Imagine chì site cum'è un scientific scientist di a tecnulugia. Qualchissia da u dipartimentu di marketing demande per a vostra aiuta in a valutazione di un sperimentu chì sò pruggieri per a misura di u ritornu nantu à l'inversione (ROI) per una nova campaña publicita online. U ROI hè definitu cum'è u profettu nettu da a campagna dividita da u costu di a campagna. Per esempiu, una campana chì ùn hà micca esse effettu nantu à a vendita averebbe un ROI di -100%; una campione induve i profitti generati eranu uggeghjate di e coste avete un ROI di 0; è una campione induve i lucili generate eranu duppiari u costu avete un ROI di 200%.

    Prima di inizià u prucessu, u dipartimentu di marketing aghjustà a seguente infurmazioni basati nantu à a so ricerca iniziale (in fattu, queste valori sò tipichi di e re campai publicitarii onlajn informati in Lewis and Rao (2015) ):

    • A vendita media per clienti seguite una distribuzione lucale-logica cun un media di $ 7 è una distaviszione standard di $ 75.
    • A campaña hè stimata per incrementà e venduti per $ 0.35 per client, chì currisponde à un incrementu di profitu di $ 0.175 per client.
    • U grandu di u prughjettu di l'esperimentu hè di 200.000 pirsuni: a mità in u gruppu di trattamentu è a mità in u gruppu di cuntrollu.
    • U costu di a campagna hè di $ 0.14 per participante.
    • U ROI expectedu per a campagna hè 25% [ \((0.175 - 0.14)/0.14\) ]. In altri dritti, u dipartimentu di marketing dece cusì chì per ogni 100 bucane gasta in marketing, a cumpagnia aghju earn an additional $ 25 in profit.

    Scrivite un votu chì valora stu prughjettu prupone. U vostru annu avissi bisognu di evidenza da una simulazione chì create, è hà da indirizzà dui temi principali: (1) Avete recommandé recommending à stu prughjettu com'è pianificatu? Sì cusì, perchè? Se no, perchè micca? Assicuratevi di esse chjappu nantu à i criteri chì avete aduprà per fassi sta decisione. (2) Chì dimustrazione di mostra era recunsente per stu sperimentu? Una volta per esse sicuru d'esse chjapputu nantu à i criteri chì voi cercate per fassi sta decisione.

    Un scupetu bellu trattanu stu casu specificu; un megghiu annu hè generalizatu da questu casu in un modu (per esempiu, mostra cumu a dicisione cambia in funzione da a dimensione di l'effetti di a campagna); è un grandu annu presente un risultatu generale. U vostru nota ùn deve aduprà gràfici per aiutà à illustrà i vostri risultati.

    Eccu dui pinseri. Prima, u dipartimentu di publicazione pudia avè furnutu cun infurmazione innecessaria, è ùn puderanu micca fà di furnisce cù l'infurmazioni necessarii. U secondu, se sè vo avete R, avemu a sapiri chì a funzione rlnorm () ùn pò micca travaglià a manera chì parechji ghjenti anu da esce.

    Sta attività vi darà a pratica cù l'analisi di putere, creendu simulazioni è cumunicà i vostri risultati cun palori e graphichi. Hè bisogna aiutà l'analisi di putere à l'analisi di putere per ogni tipu spirimintu, micca solu spirimenti disinniati per estimà ROI. Questa attività prupone chì avete qualchì sperienza cù prucessi statistici è analizazione di putere. Sì ùn sò micca familiarizati cù l'analisi di l'energia, vi ricumanda chì avete "A Power Primer" di Cohen (1992) .

    Sta attività hè stata inspirada di un bonu travagliu da RA Lewis and Rao (2015) , chì vediatamente illustra una limitazione statistica fundamentali di even experiments massivi. U so carta - chì urigginariu u titulu provocativu "A prupietà d'impiegà di a riuranza à i Riturnarii à a Publicità" - mostra chì hè difficiule da misurà u ritornu di u inversu di publicità online, ancu cù esperimenti digitale chì intervenenu milioni di clienti. In modu più generale, RA Lewis and Rao (2015) illustranu un fattu statisticu fundamentale chì hè particularmente impurtante per l'esperimenti d'età digitale: hè difficiule d'estimà l'effetti di trattamentu minimu in mezu à una risultazione altavana.

22. [ , ] Fate a cosa da a dumanda previa, ma, invece di simulà, puderete utilizà risultati analitici.

23. [ , , ] Fate a cosa da a dumanda previa, ma utilice ancu simule è risultati analitici.

24. [ , , ] Pigliate chì avete scrittu u scrittu chjamatu più in quandu, è qualchissia da u dipartimentu di marketing aghjusteghja una sola pezzu di nova infurmazione: elli cresce una correlazione di 0.4 entre vende prima è dopu l'esperimentu. Cumu questu cambiassi i ricunniscenza in u to parolle? (Vechja: vede a sezione 4.6.2 per più nantu à l'estimatore di difesa di media è l'estimatore di diferenza in diferenzi).

25. [ , ] Per evaluà l'efficacezza di un novu programa d'assistenza per u travagliu nantu à u web, una università guidau un teste di cuntrollu cù u guvernu di 10 000 studienti chì entra in l'annu finali di a scola. Una sottoskrizzione gratuita cù l'infurmazioni ghjugati unichi fù mandatu per un invitu à email exclusivamenti à 5 000 di l'studienti scelta, mentre que l'altre 5 000 studienti eranu in u gruppu di cuntrollu è ùn hanu micca sottoskrizzione. Dudu mesi dopu, un insegnamentu di seguitu (cun ​​senza risposte) amenu chì, in i gruppi di trattamentu è di cuntrollu, u 70% di i studienti anu assicuratu u travagliu full-time in u so campu sceltu (taula 4.6). Cusì, pareva chì u serviziu a basa di a basa ùn avia nuddu effettu.

    Tuttavia, un intelligente scientistu di dati à l'università hà guardatu à e dati un pocu più vicinu è truvaru chì solu u 20% di i studienti in u gruppu di trattamentu hà mai registratu in u cuntu dopu avè ricivutu u mail. Aghjustassi è quarchi surprisingly, frà quelli chì avete firmatu à u situ web, solu u 60% avianu assicuratu u travagliu di full-time in u so campu chjamatu, chì era più bassa di a tarifa per i persone chì ùn hà micca firmatu è più bassa di a tarifa per i persone in a cundizione di cuntrollu (tavulinu 4.7).

    1. Fate una spiegazione per ciò chì deve succorsu.
    2. Quale sò dui modi diffirenti di calculà l'effettu di u trattamentu in stu sperimentu?
    3. Dû tali risultatu, avete a furnisce stu serviziu à tutti l'studienti? Solu à esse chjappu, ùn hè micca una quistione cù una risposta simplice.
    4. Chì avete da fà?

    Hint: Questa pregunta hè allora di u materialu chjudeu in stu capitulu, ma diriveranu e prublemi in esperimenti. Stu tipu di prughjettu sperimentale sò in qualchì tempu chjamatu un disenfranchiziu chì i participanti sò stimulati à participà à u trattamentu. Stu prublema hè un esempiu di ciò chì chjamatu un incascidimentu unilatariu (vede u capitu 5 di Gerber and Green (2012) ).

26. [ ] Dopu dopu studiu di più, analizò chì l'esperimentu scrittu in a prelata era ancu complicata. Ci hè caputu chì u 10% di e persone in u gruppu di cuntrollu paghendu per accessu à u serviziu, è finiscinu cu una rata di travagghiu in u 65% (table 4.8).

    1. Scrivite un email chì sia summatu ciò chì pensate chì hè succorsu è ricumandarà un cursu di accionu.

    Hint: Questa pregunta hè allora di u materialu chjudeu in stu capitulu, ma diriveranu e prublemi in esperimenti. Stu prublema hè un esempiu di ciò chì si chjamava duoppu à non cumplimentu (vede u capitulu 6 di Gerber and Green (2012) ).