attivitajiet

• grad ta 'diffikultà: faċli , medju , iebsa , tqila ħafna
• teħtieġ matematika ( )
• teħtieġ kodifikazzjoni ( )
• ġbir ta 'data ( )
• Favourites tiegħi ( )

1. [ , ] Berinsky u l-kollegi (2012) evalwaw MTurk parzjalment billi jirreplikaw tliet esperimenti klassiċi. Irriproduċi l-esperiment ta 'tfassil tal-Marda tal-Ażja klassika minn Tversky and Kahneman (1981) . Ir-riżultati tiegħek jaqblu ma 'Tversky u ma' Kahneman? Ir-riżultati tiegħek jaqblu ma 'dawk il-Berinsky u l-kollegi? X'jiġri jekk xejn - dan jgħallimna dwar l-użu ta 'MTurk għal esperimenti ta' stħarriġ?

2. [ , ] F'karta kemmxejn tal-ilsien bil-ilsien bit-titlu "Irridu nikkissru", il-psikologu soċjali Robert Cialdini, wieħed mill-awturi ta ' Schultz et al. (2007) , kiteb li kien qed jirtira kmieni mix-xogħol tiegħu bħala professur, parzjalment minħabba l-isfidi li ffaċċja jagħmel esperimenti fuq il-post f'dixxiplina (psikoloġija) li prinċipalment iwettaq esperimenti tal-laboratorju (Cialdini 2009) . Aqra l-karta ta 'Cialdini, u ikteblek email billi tħeġġeġ biex terġa' tikkunsidra t-tkissir tiegħu fid-dawl tal-possibbiltajiet ta 'esperimenti diġitali. Uża eżempji speċifiċi ta 'riċerka li jindirizzaw it-tħassib tiegħu.

3. [ ] Sabiex jiġi determinat jekk suċċessi inizjali żgħar jagħlqux jew jisparixxewx, van de Rijt u u kollegi (2014) intervjenew f'erba 'sistemi differenti li jagħtu suċċess lil parteċipanti magħżula b'mod każwali, u mbagħad kejlu l-impatti fit-tul ta' dan is-suċċess arbitrarju. Tista 'taħseb ta' sistemi oħra li fihom tista 'taħdem esperimenti simili? Evalwa dawn is-sistemi f'termini ta 'kwistjonijiet ta' valur xjentifiku, konfużjoni algoritmika (ara l-kapitolu 2), u l-etika.

4. [ , ] Ir-riżultati ta 'esperiment jistgħu jiddependu fuq il-parteċipanti. Oħloq esperiment u imbagħad imexxuh fuq MTurk billi tuża żewġ strateġiji differenti ta 'reklutaġġ. Ipprova jagħżel l-esperiment u l-istrateġiji tar-reklutaġġ sabiex ir-riżultati jkunu kemm jista 'jkun differenti . Pereżempju, l-istrateġiji tar-reklutaġġ tiegħek jistgħu jkunu li jimpjegaw parteċipanti filgħodu u filgħaxija jew biex jikkumpensaw lill-parteċipanti bi ħlas għoli u baxx. Dawn it-tipi ta 'differenzi fl-istrateġija ta' reklutaġġ jistgħu jwasslu għal ġabriet differenti ta 'parteċipanti u riżultati sperimentali differenti. Kif differenti rriżultaw ir-riżultati tiegħek? X'jagħmel dak li jiżvela dwar l-esperimenti ta 'running fuq MTurk?

5. [ , , ] Immaġina li kont qed tippjana l-esperiment ta 'Konġunazzjoni Emozzjonali (Kramer, Guillory, and Hancock 2014) . Uża r-riżultati minn studju ta 'osservazzjoni ta' qabel minn Kramer (2012) biex jiddeċiedi n-numru ta 'parteċipanti f'kull kundizzjoni. Dawn iż-żewġ studji ma jaqblux perfettament sabiex ikun żgur li espliċitament telenka l-assunzjonijiet kollha li tagħmel:

   1. Mexxi simulazzjoni li tiddeċiedi kemm parteċipanti kienu jkunu meħtieġa biex jidentifikaw effett kbir daqs l-effett Kramer (2012) ma ' \(\alpha = 0.05\) u \(1 - \beta = 0.8\) .
   2. Agħmel analitikament l-istess kalkolu.
   3. Minħabba r-riżultati minn Kramer (2012) kien il-Kollettur Emozzjonali (Kramer, Guillory, and Hancock 2014) mħaddem iżżejjed (jiġifieri, kellu iktar parteċipanti milli kien meħtieġ)?
   4. Ta 'l-assunzjonijiet li għamilt, li għandhom l-akbar effett fuq il-kalkolu tiegħek?

6. [ , , ] Tweġiba mill-ġdid il-mistoqsija preċedenti, iżda din id-darba minflok tuża l-istudju ta 'osservazzjoni ta' qabel minn Kramer (2012) , uża r-riżultati minn esperiment naturali preċedenti minn Lorenzo Coviello et al. (2014) .

7. [ ] Kemm Margetts et al. (2011) u van de Rijt et al. (2014) għamel esperimenti li jistudjaw il-proċess ta 'nies li ffirmaw petizzjoni. Qabbel u kuntrast id-disinji u s-sejbiet ta 'dawn l-istudji.

8. [ ] Dwyer, Maki, and Rothman (2015) wettqu żewġ esperimenti fuq il-post dwar ir-relazzjoni bejn in-normi soċjali u l-imġiba favur l-ambjent. Hawn hu l-astratt tal-karta tagħhom:

   "Kif tista 'tintuża x-xjenza psikoloġika biex tinkoraġġixxi l-imġiba tal-ambjent? F'żewġ studji, interventi mmirati biex jippromwovu imġieba ta 'konservazzjoni tal-enerġija fil-kmamar tal-banju pubbliċi eżaminat l-influwenzi tan-normi deskrittivi u r-responsabbiltà personali. Fl-Istudju 1, l-istatus tad-dawl (jiġifieri, mixgħul jew mitfi) ġie manipulat qabel ma xi ħadd daħal f'banju pubbliku mhux okkupat, u indika n-norma deskrittiva għal dak l-issettjar. Il-parteċipanti kienu ferm aktar probabbli li jdawwar id-dwal jekk kienu mitfija meta daħlu. Fl-Istudju 2, ġiet inkluża kundizzjoni addizzjonali fejn in-norma tat-tifi tad-dawl intweriet minn confederate, iżda l-parteċipanti ma kinux responsabbli għar-rilaxx. Ir-responsabbiltà personali moderat l-influwenza tan-normi soċjali fuq l-imġiba; meta l-parteċipanti ma kinux responsabbli għat-tidwir tad-dawl, l-influwenza tan-norma tnaqqset. Dawn ir-riżultati jindikaw kif in-normi deskrittivi u r-responsabbiltà personali jistgħu jirregolaw l-effettività tal-interventi ambjentali. "

   Aqra l-karta tagħhom u ddisinja replikazzjoni ta 'studju 1.

9. [ , ] Ibni fuq il-mistoqsija ta 'qabel, issa qed iwettaq id-disinn tiegħek.

   1. Kif jitqabblu r-riżultati?
   2. X'tista 'tispjega dawn id-differenzi?

10. [ ] Kien hemm dibattitu sostanzjali dwar esperimenti bl-użu ta 'parteċipanti rreklutati minn MTurk. B'mod parallel, kien hemm ukoll dibattitu sostanzjali dwar esperimenti bl-użu ta 'parteċipanti rreklutati minn popolazzjonijiet ta' studenti li għadhom ma ggradwawx. Ikteb memo ta 'żewġ paġni li jqabbel u jikkuntrasta t-Turkers u l-istudenti li għadhom ma ggradwawx bħala parteċipanti fir-riċerka. Il-paragun tiegħek għandu jinkludi diskussjoni ta 'kwistjonijiet kemm xjentifiċi kif ukoll loġistiċi.

11. [ ] Il-ktieb ta 'Jim Manzi mhux ikkontrollat (2012) huwa introduzzjoni mill-isbaħ għall-poter ta' esperimentazzjoni fin-negozju. Fil-ktieb ħarġet l-istorja li ġejja:

    "Jiena darba f'laqgħa b'ġenju ġenwin tan-negozju, biljunarju li għamel lilu nnifsu li kellu profonda, intuwittivi li tiddikjara l-qawwa tal-esperimenti. Il-kumpanija tiegħu nefqet riżorsi sinifikanti li jippruvaw joħolqu wirjiet kbar tat-tieqa tal-maħżen li jattiraw il-konsumaturi u żżid il-bejgħ, kif għerf konvenzjonali qal li għandhom. L-esperti ttestjaw bir-reqqa d-disinn wara d-disinn, u f'sessjonijiet ta 'reviżjoni tat-test individwali fuq perjodu ta' snin ma wrew l-ebda effett kawżali sinifikanti ta 'kull disinn ġdid tal-wiri fuq il-bejgħ. Eżekuttivi ta 'kummerċjalizzazzjoni u merchandising anzjani ltaqgħu mal-Kap Eżekuttiv biex jirrevedu dawn ir-riżultati tat-testijiet storiċi kollha. Wara li ppreżentaw id-data sperimentali kollha, huma kkonkludew li l-għerf konvenzjonali kien ħażin - li d-dehriet tat-twieqi ma jmexxux il-bejgħ. L-azzjoni rakkomandata tagħhom kienet li tnaqqas l-ispejjeż u l-isforz f'dan il-qasam. Dan wera b'mod drammatiku l-kapaċità ta 'l-esperimentazzjoni li tinqered l-għerf konvenzjonali. Ir-rispons tas-CEO kien sempliċi: "Il-konklużjoni tiegħi hi li d-disinjaturi tiegħek mhumiex tajbin ħafna". Is-soluzzjoni tiegħu kienet li żżid l-isforz fid-disinn tal-wirja tal-maħżen, u li tikseb nies ġodda biex jagħmlu dan. " (Manzi 2012, 158–9)

    Liema tip ta 'validità huwa t-tħassib tal-CEO?

12. [ ] Bini fuq il-mistoqsija ta 'qabel, nimmaġina li ġejt fil-laqgħa fejn ġew diskussi r-riżultati tal-esperimenti. X'inhuma erba 'mistoqsijiet li tista' tistaqsi-waħda għal kull tip ta 'validità (statistika, kostruzzjoni, interna u esterna)?

13. [ ] Bernedo, Ferraro, and Price (2014) studjaw l-effett ta 'seba' snin tal-intervent li jiffranka l-ilma deskritt fi Ferraro, Miranda, and Price (2011) (ara l-figura 4.11). F'dan id-dokument, Bernedo u l-kollegi fittxew ukoll li jifhmu l-mekkaniżmu wara l-effett billi qabblu l-imġiba tad-djar li spiċċaw u ma rċevewx wara li t-trattament ingħata. Jiġifieri, bejn wieħed u ieħor, huma ppruvaw jaraw jekk it-trattament taffettwax id-dar jew l-dar.

    1. Aqra l-karta, iddeskrivi d-disinn tagħhom, u tagħti sommarju tas-sejbiet tagħhom.
    2. Is-sejbiet tagħhom għandhom impatt kif għandek tevalwa l-kost-effettività ta 'interventi simili? Jekk iva, għaliex? Jekk le, għaliex le?

14. [ ] Fi segwitu għal Schultz et al. (2007) , Schultz u kollegi wettqu sensiela ta 'tliet esperimenti dwar l-effett ta' normi deskrittivi u mandatorji fuq imġiba ambjentali differenti (użu mill-ġdid ta 'xugamani) f'żewġ kuntesti (lukanda u condominium ta' timeshare) (Schultz, Khazian, and Zaleski 2008) .

    1. Sommarju tad-disinn u s-sejbiet ta 'dawn it-tliet esperimenti.
    2. Kif, jekk xejn, ibiddlu l-interpretazzjoni tiegħek ta ' Schultz et al. (2007) ?

15. [ ] Bi tweġiba għal Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) mexxa sensiela ta 'esperimenti simili għall-laboratorju biex jistudja d-disinn tal-kontijiet elettriċi. Hawn huma kif jiddeskrivuh b'mod astratt:

    "Fi esperiment ibbażat fuq stħarriġ, kull parteċipant raw kont ta 'elettriku ipotetiku għal familja b'użu ta' elettriku relattivament għoli, li tkopri informazzjoni dwar (a) użu storiku, (b) paraguni ma 'ġirien, u (ċ) użu storiku bi tqassim ta' appliance. Il-parteċipanti raw it-tipi kollha ta 'informazzjoni f'wieħed minn tliet formati inklużi (a) tabelli, (b) graffs tal-bar, u (ċ) graffs tal-ikoni. Aħna nirrapportaw dwar tliet sejbiet ewlenin. L-ewwelnett, il-konsumaturi fehmu kull tip ta 'informazzjoni dwar l-użu ta' l-elettriku l-aktar meta ġiet ippreżentata f'tabella, forsi minħabba li t-tabelli jiffaċilitaw qari sempliċi tal-punti. It-tieni, il-preferenzi u l-intenzjonijiet biex tiġi ffrankata l-elettriku kienu l-aktar qawwija għall-informazzjoni dwar l-użu storiku, indipendenti mill-format. It-tielet, individwi b'livell ta 'litteriżmu enerġetiku anqas mifhum l-informazzjoni kollha inqas. "

    B'differenza minn studji oħra ta 'segwitu, ir-riżultat ewlieni ta' interess Canfield, Bruin, and Wong-Parodi (2016) huwa mġieba rrappurtata, mhux imġieba attwali. X'inhuma l-qawwiet u n-nuqqasijiet ta 'dan it-tip ta' studju fi programm ta 'riċerka usa' li jippromwovi l-iffrankar ta 'l-enerġija?

16. [ , ] Smith and Pell (2003) ippreżentaw meta-analiżi satirika ta 'studji li juru l-effettività tal-paraxuts. Huma kkonkludew:

    "Bħal bosta interventi maħsuba biex jipprevjenu mard, l-effikaċja tal-paraxuts ma ġietx soġġetta għal evalwazzjoni rigoruża bl-użu ta 'provi kontrollati randomised. L-avukati tal-mediċina bbażata fuq l-evidenza kkritikaw l-adozzjoni ta 'interventi evalwati bl-użu ta' dejta osservatorja biss. Aħna naħsbu li kulħadd jista 'jibbenefika jekk il-protagonisti l-aktar radikali tal-mediċina bbażata fuq l-evidenza jkunu organizzati u pparteċipaw fi prova double blind, randomised, ikkontrollata bil-plaċebo, ta' qsim tal-paraxut. "

    Ikteb op-ed adattat għal gazzetta tal-qarrejja ġenerali, bħal New York Times , li jargumenta kontra l-fetishizzazzjoni ta 'evidenza sperimentali. Ipprovdi eżempji speċifiċi u konkreti. Ħjiel: Ara wkoll Deaton (2010) u Bothwell et al. (2016) .

17. [ , , ] Stimi ta 'differenzi fid-differenzi ta' effett ta 'trattament jistgħu jkunu aktar preċiżi minn stimaturi ta' differenza fil-medja. Ikteb memo lil inġinier inkarigat mill-ittestjar A / B f'kumpanija tal-midja soċjali tal-bidu li tispjega l-valur tal-approċċ tad-differenza fid-differenzi għat-tmexxija ta 'esperiment fuq l-internet. Il-memo għandu jinkludi dikjarazzjoni tal-problema, xi intuwizzjoni dwar il-kundizzjonijiet li taħthom l-istima tal-differenza fid-differenza se tegħleb l-istima ta 'differenza fil-medja, u studju ta' simulazzjoni sempliċi.

18. [ , ] Gary Loveman kien professur fl-Iskola tan-Negozju ta 'Harvard qabel ma sar il-Kap Eżekuttiv ta' Harrah's, waħda mill-ikbar kumpaniji tal-każinò fid-dinja. Meta mċaqilqa għal Harrah's, Loveman ittrasforma l-kumpanija bi programm ta 'lealtà ta' frekwenza simili li jġib miegħu ammonti kbar ta 'dejta dwar l-imġiba tal-klijent. Minbarra din is-sistema ta 'kejl dejjem fuq, il-kumpanija bdiet topera esperimenti. Pereżempju, huma jistgħu jmexxu esperiment biex jevalwaw l-effett ta 'kupun għal lejl ta' lukanda b'xejn għal klijenti bi mudell speċifiku ta 'logħob tal-azzard. Ara kif Loveman iddeskriva l-importanza tal-esperimentazzjoni għall-prattiki tan-negozju ta 'kuljum ta' Harrah:

    "Hu bhalma ma toqghodx lin-nisa, m'intix steal u ghandek ghandek grupp ta 'kontroll. Din hija waħda mill-affarijiet li tista 'titlef ix-xogħol tiegħek għal Harrah's-li ma tmexxix grupp ta' kontroll. " (Manzi 2012, 146)

    Ikteb email lil impjegat ġdid li jispjega għaliex Loveman jaħseb li huwa tant importanti li jkun hemm grupp ta 'kontroll. Int għandek tipprova tinkludi eżempju - jew reali jew magħmul biex turi l-punt tiegħek.

19. [ , ] Esperiment ġdid għandu l-għan li jistma l-effett li jirċievi tfakkiriet tal-messaġġi tat-test dwar it-teħid ta 'tilqim. Mija u ħamsin klinika, kull waħda b'600 pazjent eliġibbli, huma lesti li jipparteċipaw. Hemm spiża fissa ta '$ 100 għal kull klinika li trid taħdem ma', u tiswa $ 1 għal kull messaġġ ta 'test li trid tibgħat. Barra minn hekk, kwalunkwe klinika li qed taħdem magħha se tkejjel ir-riżultat (jekk xi ħadd irċieva tilqim) b'xejn. Assumi li għandek baġit ta '$ 1,000.

    1. Taħt liema kundizzjonijiet jista 'jkun aħjar li tiffoka r-riżorsi tiegħek fuq numru żgħir ta' kliniċi u taħt liema kundizzjonijiet jista 'jkun aħjar li jinxterduhom b'mod aktar wiesa'?
    2. Liema fatturi jiddeterminaw l-iżgħar daqs ta 'l-effett li inti tkun tista' tidentifika b'mod affidabbli mal-baġit tiegħek?
    3. Ikteb memo li tispjega dawn il-kompromessi lil fondatur potenzjali.

20. [ , ] Problema ewlenija bil-korsijiet onlajn hija l-attrizzjoni: bosta studenti li jibdew korsijiet jispiċċaw jitilqu. Immaġina li qed taħdem fuq pjattaforma ta 'tagħlim onlajn, u disinjatur fuq il-pjattaforma ħoloq tabella tal-progress viżwali li hi taħseb li tgħin biex l-istudenti ma jħallewx joħorġu' l barra mill-kors. Trid tittestja l-effett tal-bar tal-progress fuq l-istudenti f'kors ta 'xjenzi soċjali komputazzjonali kbar. Wara li tindirizza kwalunkwe kwistjoni etika li tista 'tinqala' fl-esperiment, int u l-kollegi tiegħek inkwetati li l-kors jista 'ma jkollux studenti biżżejjed biex jidentifika b'mod affidabbli l-effetti tal-progress bar. Fil-kalkoli li ġejjin, tista 'tassumi li nofs l-istudenti jirċievu l-progress bar u nofshom mhux. Barra minn hekk, tista 'tassumi li m'hemmx interferenza. Fi kliem ieħor, tista 'tassumi li l-parteċipanti huma affettwati biss jekk irċevewx it-trattament jew il-kontroll; dawn ma jiġux effettwati jekk in-nies l-oħra rċevewx it-trattament jew il-kontroll (għal definizzjoni aktar formali, ara l-kapitolu 8 ta ' Gerber and Green (2012) ). Żomm kont ta 'suppożizzjonijiet addizzjonali li tagħmel.

    1. Ejja ngħidu li l-bar tal-progress huwa mistenni li jżid il-proporzjon ta 'studenti li jispiċċaw il-klassi b'punt perċentwali wieħed; X'inhu d-daqs tal-kampjun meħtieġ biex jidentifika b'mod affidabbli l-effett?
    2. Ejja ngħidu li l-progress bar huwa mistenni li jżid il-proporzjon ta 'studenti li jispiċċaw il-klassi b'10 punti perċentwali; X'inhu d-daqs tal-kampjun meħtieġ biex jidentifika b'mod affidabbli l-effett?
    3. Imbagħad nimmaġina li għandek tmexxi l-esperiment, u l-istudenti li temmew il-materjal kollu tal-kors ħadu eżami finali. Meta tqabbel il-punteġġi ta 'l-eżami finali ta' studenti li rċivew il-bar ta 'progress mal-punteġġi ta' dawk li ma kinux, issib ħafna sorpriża tiegħek li l-istudenti li ma rċevewx il-bar tal-progress attwalment marru ogħla. Dan ifisser li l-progress bar ikkawża lill-istudenti biex jitgħallmu inqas? X'tista 'titgħallem minn din id-dejta tal-eżitu? (Ħjiel: Ara l-kapitolu 7 ta ' Gerber and Green (2012) )

21. [ , , ] Immaġina li qed taħdem bħala xjenzat tad-dejta f'kumpanija ta 'teknoloġija. Xi ħadd mid-dipartiment tal-marketing jitlob l-għajnuna tiegħek fl-evalwazzjoni ta 'esperiment li qed jippjana biex ikejjel ir-redditu fuq l-investiment (ROI) għal kampanja ad online ġdida. L-ROI huwa definit bħala l-profitt nett mill-kampanja diviż bl-ispiża tal-kampanja. Pereżempju, kampanja li ma kellha l-ebda effett fuq il-bejgħ ikollha ROI ta '-100%; kampanja fejn il-profitti ġġenerati kienu daqs l-ispejjeż ikollhom ROI ta '0; u kampanja fejn il-profitti ġġenerati kienu d-doppju ta 'l-ispiża jkollhom ROI ta' 200%.

    Qabel ma tniedi l-esperiment, id-dipartiment tal-kummerċjalizzazzjoni jipprovdilek l-informazzjoni li ġejja bbażata fuq ir-riċerka preċedenti tagħhom (fil-fatt, dawn il-valuri huma tipiċi tal-kampanji pubbliċitarji onlajn irrappurtati f'Lewis u Rao (2015) ):

    • Il-bejgħ medju għal kull klijent isegwi distribuzzjoni log-normali b'medja ta '$ 7 u devjazzjoni standard ta' $ 75.
    • Il-kampanja hija mistennija li żżid il-bejgħ b'0.35 $ kull klijent, li jikkorrispondi għal żieda fil-profitt ta '$ 0.175 għal kull klijent.
    • Id-daqs ippjanat ta 'l-esperiment huwa ta' 200,000 persuna: nofs il-grupp ta 'trattament u nofs fil-grupp ta' kontroll.
    • L-ispiża tal-kampanja hija ta '$ 0.14 għal kull parteċipant.
    • L-ROI mistenni għall-kampanja huwa ta '25% [[ \((0.175 - 0.14)/0.14\) ] \((0.175 - 0.14)/0.14\) . Fi kliem ieħor, id-dipartiment tal-kummerċjalizzazzjoni jemmen li għal kull 100 dollaru li jintefqu fuq il-marketing, il-kumpanija se taqla '$ 25 addizzjonali fil-profitt.

    Ikteb memo li tevalwa dan l-esperiment propost. Il-memo tiegħek għandu juża evidenza minn simulazzjoni li toħloq, u għandha tindirizza żewġ kwistjonijiet ewlenin: (1) Trid tirrakkomanda li nidħlu dan l-esperiment kif ippjanat? Jekk iva, għaliex? Jekk le, għaliex le? Kun żgur li jkun ċar dwar il-kriterji li qed tuża biex tieħu din id-deċiżjoni. (2) Liema daqs tal-kampjun tirrakkomanda għal dan l-esperiment? Għal darb'oħra kun żgur li jkun ċar dwar il-kriterji li qed tuża biex tieħu din id-deċiżjoni.

    Nota tajba se tindirizza dan il-każ speċifiku; nota aħjar se tiġġeneralizza minn dan il-każ b'xi mod (eż., turi kif id-deċiżjoni tinbidel bħala funzjoni tad-daqs tal-effett tal-kampanja); u nota kbira se tippreżenta riżultat kompletament ġeneralizzat. Il-memo tiegħek għandu juża graffs biex jgħinek turi r-riżultati tiegħek.

    Hawn huma żewġ ideat. L-ewwelnett, id-dipartiment tal-kummerċjalizzazzjoni jista 'jkun ipprovdalek xi informazzjoni mhux meħtieġa, u dawn setgħu naqsu milli jagħtuk xi informazzjoni meħtieġa. It-tieni nett, jekk qed tuża R, kun af li l-funzjoni rnnorm () ma taħdimx il-mod li ħafna nies jistennew.

    Din l-attività ser ttik prattika bl-analiżi tal-poter, toħloq simulazzjonijiet, u tikkomunika r-riżultati tiegħek bil-kliem u graffs. Għandek tgħinek tagħmel analiżi ta 'l-enerġija għal kull tip ta' esperiment, mhux biss esperimenti mfassla biex jistmaw ir-ROI. Din l-attività tassumi li għandek xi esperjenza bl-ittestjar statistiku u l-analiżi tal-poter. Jekk m'intix familjari mal-analiżi tal-poter, nirrakkomanda li taqra "A Power Primer" minn Cohen (1992) .

    Din l-attività kienet ispirata minn karta sabiħa minn RA Lewis and Rao (2015) , li turi b'mod ċar il-limitazzjoni statistika fundamentali ta 'esperimenti massivi anke. Il-karta tagħhom li oriġinarjament kellha t-titlu provokattiv "Fuq l-Impossibbiltà Qarib ta 'Kejl tar-Ritorn għar-Reklamar" turi kemm huwa diffiċli li jitkejjel ir-ritorn fuq investiment ta' reklami online, anke b'esperimenti diġitali li jinvolvu miljuni ta 'klijenti. B'mod aktar ġenerali, RA Lewis and Rao (2015) juru fatt statistiku fundamentali li huwa partikolarment importanti għall-esperimenti b'età diġitali: huwa diffiċli li jiġu stmati effetti żgħar ta 'trattament f'nofs data ta' riżultat storbjuż.

22. [ , ] Tagħmel l-istess bħall-mistoqsija preċedenti, iżda, minflok is-simulazzjoni, għandek tuża riżultati analitiċi.

23. [ , , ] Tagħmel l-istess bħall-mistoqsija preċedenti, iżda tuża kemm riżultati ta 'simulazzjoni kif ukoll analitiċi.

24. [ , , ] Immaġina li ktibt il-memo deskritt hawn fuq, u xi ħadd mid-dipartiment tal-kummerċjalizzazzjoni jipprovdi biċċa informazzjoni ġdida: jistennew korrelazzjoni ta '0.4 bejn il-bejgħ qabel u wara l-esperiment. Kif tinbidel din ir-rakkomandazzjoni fil-memo tiegħek? (Ħjiel: ara sezzjoni 4.6.2 għal aktar dwar l-istimatur ta 'differenza tal-mezzi u l-istimatur tad-differenza fid-differenzi).

25. [ , ] Sabiex tevalwa l-effettività ta 'programm ġdid ta' għajnuna għall-impjiegi bbażat fuq il-web, università wettqet prova ta 'kontroll randomised fost 10,000 student li daħlu fl-aħħar sena tal-iskola. Sottoskrizzjoni b'xejn b'informazzjoni unika ta 'reġistrazzjoni ġiet mibgħuta permezz ta' stedina ta 'posta elettronika esklussiva lil 5,000 mill-istudenti magħżula b'mod każwali, filwaqt li l-5,000 student oħra kienu fil-grupp ta' kontroll u ma kellhomx abbonament. Tnax-il xahar wara, stħarriġ ta 'segwitu (mingħajr ebda risposta) wera li fiż-żewġ gruppi ta' trattament u kontroll, 70% tal-istudenti kienu assigurati impjieg full-time fil-qasam magħżul tagħhom (tabella 4.6). Għalhekk, deher li s-servizz ibbażat fuq il-web ma kellu l-ebda effett.

    Madankollu, xjenzat għaqli tad-dejta fl-università ħares lejn id-dejta ftit aktar mill-qrib u sab li 20% biss tal-istudenti fil-grupp ta 'kura qatt daħlu fil-kont wara li rċivew l-email. Barra minn hekk, u kemmxejn sorprendenti, fost dawk li daħlu fil-websajt, 60% biss kienu assigurati impjieg full-time fil-qasam magħżul tagħhom, li kien iktar baxx mir-rata għal persuni li ma rreġistrawx u inqas mir-rata għan-nies fil-kundizzjoni ta 'kontroll (tabella 4.7).

    1. Ipprovdi spjegazzjoni għal dak li seta 'ġara.
    2. X'inhuma żewġ modi differenti biex jikkalkulaw l-effett tat-trattament f'dan l-esperiment?
    3. Minħabba dan ir-riżultat, għandu jipprovdi dan is-servizz lill-istudenti kollha? Biss biex tkun ċara, din mhix kwistjoni b'risposta sempliċi.
    4. X'għandhom jagħmlu li jmiss?

    Ħjiel: Din il-mistoqsija tmur lil hinn mill-materjal kopert f'dan il-kapitolu, iżda tindirizza kwistjonijiet komuni fl-esperimenti. Dan it-tip ta 'disinn sperimentali xi kultant jissejjaħ disinn ta' inkoraġġiment għax il-parteċipanti huma mħeġġa jidħlu fit-trattament. Din il-problema hija eżempju ta 'dak li jissejjaħ nuqqas ta' konformità fuq naħa waħda (ara l-kapitolu 5 ta ' Gerber and Green (2012) ).

26. [ ] Wara aktar eżami, irriżulta li l-esperiment deskritt fil-mistoqsija ta 'qabel kien aktar ikkumplikat. Irriżulta li 10% tan-nies fil-grupp ta 'kontroll ħallsu għal aċċess għas-servizz, u spiċċaw b'rata ta' impjieg ta '65% (tabella 4.8).

    1. Ikteb email li jiġbor fil-qosor dak li taħseb li qed jiġri u jirrakkomanda kors ta 'azzjoni.

    Ħjiel: Din il-mistoqsija tmur lil hinn mill-materjal kopert f'dan il-kapitolu, iżda tindirizza kwistjonijiet komuni fl-esperimenti. Din il-problema hija eżempju ta 'dak li jissejjaħ nuqqas ta' konformità fuq żewġ naħat (ara l-kapitolu 6 ta ' Gerber and Green (2012) ).