אַקטיוויטעטן

• גראַד פון שוועריקייט: גרינג , מיטל , שווער , זייער שווער
• ריקווייערז מאַט ( )
• ריקווייערז קאָדירונג ( )
• דאַטן זאַמלונג ( )
• מיין פאַוואָריטעס ( )

1. [ , ] Berinsky און חברים (2012) עוואַלואַטעד MTurk אין טייל דורך רעפּליקייטינג דרייַ קלאַסיש יקספּעראַמאַנץ. רעפּלאַקייט די קלאַסיש אַסיאַן דיסעאַסע פראַמינג עקספּערימענט דורך Tversky and Kahneman (1981) . צי אייער רעזולטאַטן גלייַכן טווערסקי און קאַהןמאַן ס? צי דיין רעזולטאַטן גלייַכן די בערינסקי און חברים? וואָס-אויב עפּעס-טוט דאָס לערנען אונדז וועגן ניצן MTurk פֿאַר יבערבליק יקספּעראַמאַנץ?

2. [ , ] אין אַ עפּעס צונג-אין-באַק פּאַפּיר טייטאַלד "מיר האָבן צו ברעכן אַרויף," די געזעלשאַפטלעך סייקאַלאַדזשאַסט ראבערט סיאַלדיני, איינער פון די מחברים פון Schultz et al. (2007) , האָט ער געשריבן אַז ער איז צוריקגעקומען פון זיין אַרבעט ווי אַ פּראָפעסאָר, אין וועלכן ער האָט אָנגעפירט די פּראָבלעמען וואָס ער האָט אָנגעקלאַפּט אין אַ דיסציפּלין (פסיכאלאגיע), וואָס האָט דער הויפּט פאָרשטעלונג פון לאַב עקספּערימענטן (Cialdini 2009) . לייענען סיאַלדיני ס פּאַפּיר, און שרייַבן אים אַ בליצפּאָסט דרינגלעך אים צו יבערקלערן זיין ברעכן-אַרויף אין ליכט פון די פּאַסאַבילאַטיז פון דיגיטאַל יקספּעראַמאַנץ. ניצן ספּעציפיש ביישפילן פון פאָרשונג אַז אַדרעס זייַן קאַנסערנז.

3. [ ] אין סדר צו באַשטימען צי די קלענסטער ערשט סוקסעססעס שלאָס אין אָדער וועלקן אַוועק, Van de Rijt און קאָללאַגס (2014) ינטערווינד אין פיר פאַרשידענע סיסטעמען וואָס באקומט הצלחה אויף ראַנדאַמלי אויסגעקליבן פּאַרטיסאַפּאַנץ, און דעמאָלט מעמערייז די לאַנג-טערמין ימפּאַקץ פון דעם אַרביטראַריש הצלחה. קענען איר טראַכטן פון אנדערע סיסטעמס וואָס איר קען לויפן ענלעך יקספּעראַמאַנץ? אָפּשאַצן די סיסטעמען אין טערמינען פון וויסנשאפטלעכע ווערט, אַלגאָריטהמיק קאַנפאַונדינג (זען קאַפּיטל 2), און עטיקס.

4. [ , ] די רעזולטאטן פון אַן עקספּערימענט קענען אָפענגען אויף די פּאַרטיסאַפּאַנץ. שאַפֿן אַ עקספּערימענט און דעריבער לויפן עס אויף MTurk ניצן צוויי פאַרשידענע רעקרויטמענט סטראַטעגיעס. פּרובירן צו קלייַבן די עקספּערימענט און רעקרויטמענט סטראַטעגיעס אַזוי אַז די רעזולטאַטן וועלן זיין ווי אַנדערש ווי מעגלעך. פֿאַר בייַשפּיל, דיין רעקרוטמאַנט סטראַטעגיע קען זיין צו רעקרוט פּאַרטיסאַפּאַנץ אין דער מאָרגן און די אָוונט אָדער צו פאַרגיטיקן פּאַרטיסאַפּאַנץ מיט הויך און נידעריק באַצאָלן. די מינים פון דיפעראַנסיז אין ראַקרוטמאַנט סטראַטעגיע קען פירן צו פאַרשידענע פּאָאָלס פון פּאַרטיסאַפּאַנץ און פאַרשידענע יקספּערמענאַל רעזולטאטן. ווי אַנדערש האט דיין רעזולטאטן זיך אויסגעדרייט? וואָס טוט דעם אַנטדעקן וועגן פליסנדיק יקספּעראַמאַנץ אויף מטורק?

5. [ , , ] ימאַגינע אַז איר האָט פּלאַנירונג די עמאָציאָנעל קאָנטאַגיאָן עקספּערימענט (Kramer, Guillory, and Hancock 2014) . ניצן די רעזולטאַטן פון אַן פריער אָביעקטיישאַנאַל לערנען דורך Kramer (2012) צו באַשליסן די נומער פון פּאַרטיסאַפּאַנץ אין יעדער צושטאַנד. די צוויי שטודיום טאָן ניט גלייַכן בישליימעס אַזוי זיין זיכער צו יקספּליסלי רשימה אַלע אַסעמבלי אַז איר מאַכן:

   1. לויף אַ סימיאַליישאַן אַז וועט באַשליסן ווי פילע פּאַרטיסאַפּאַנץ וואָלט האָבן שוין דארף צו דעטעקט אַ ווירקונג ווי גרויס ווי די ווירקונג אין Kramer (2012) מיט \(\alpha = 0.05\) און \(1 - \beta = 0.8\) .
   2. טאָן די זעלבע חשבון אַנאַליזירט.
   3. געגעבן די רעזולטאַטן פון Kramer (2012) איז געווען עמאָציאָנעל קאָנטאַגיאָן (Kramer, Guillory, and Hancock 2014) איבער-פּאַוערד (ד"ה, האט עס האָבן מער פּאַרטיסאַפּאַנץ ווי דארף)?
   4. פון די אַסאַמפּשאַנז אַז איר געמאכט, וואָס האָבן די ביגאַסט ווירקונג אויף דיין חשבון?

6. [ , , ] ענטפֿערן די פריערדיקע קשיא ווידער, אָבער דאָס מאָל אלא ווי ניצן די פריער אָביעקטיישאַנאַל לערנען דורך Kramer (2012) , נוצן די רעזולטאַטן פון אַ פריער נאַטירלעך עקספּערימענט דורך Lorenzo Coviello et al. (2014) .

7. [ ] ביידע Margetts et al. (2011) און פון די ריד עט. (2014) געטאן יקספּעראַמאַנץ לערנען די פּראָצעס פון מענטשן סיינינג אַ פּעטיציע. פאַרגלייַכן און קאַנטראַסט די דיזיינז און פיינדינגז פון די שטודיום.

8. [ ] Dwyer, Maki, and Rothman (2015) געפירט צוויי פעלד יקספּעראַמאַנץ אויף די שייכות צווישן געזעלשאַפטלעך נאָרמז און פּראָ-ינווייראַנמענאַל נאַטור. דאָ ס דער אַבסטראַקט פון זייער פּאַפּיר:

   "ווי קען פסיכאלאגישן וויסנשאַפֿט ווערן יוטאַלייזד צו מוטיקן פּראָעניריאַלאַל נאַטור? אין צוויי שטודיום, ינערווענטשאַנז אַימעד בייַ פּראַמאָוטינג ענערגיע קאַנסערוויישאַן נאַטור אין ציבור באַטרומז יגזאַמאַנד די ינפלואַנסיז פון דעסקריפּטיווע נאָרמז און פּערזענלעך פֿאַראַנטוואָרטלעכקייט. אין לערנען 1, די ליכט סטאַטוס (י.ע., אויף אָדער אַוועק) איז געווען מאַניפּיאַלייטיד איידער עמעצער איז אריין אַ אַנאַקיאַפּייד ציבור קלאָזעט, סיגנאַלינג די דעסקריפּטיווע קלאַל פֿאַר אַז באַשטעטיקן. פּאַרטיסיפּאַנץ זענען באטייטיק מער מסתּמא צו ווענדן די לייץ אַוועק אויב זיי זענען אַוועק ווען זיי זענען אריין. אין לערנען 2, אַן נאָך צושטאַנד איז געווען אַרייַנגערעכנט אין וואָס די נאָרמל פון אויסגעדרייט אַוועק די ליכט איז געווען דעמאַנסטרייטיד דורך אַ קאָנפעדעראַטע, אָבער פּאַרטיסאַפּאַנץ זענען נישט זיך פאַראַנטוואָרטלעך פֿאַר אויסגעדרייט עס. פערזענלעכע פֿאַראַנטוואָרטלעכקייט מאַדערייטיד דער השפּעה פון געזעלשאַפטלעך נאָרמז אויף נאַטור; ווען פּאַרטיסאַפּאַנץ זענען נישט פאַראַנטוואָרטלעך פֿאַר אויסגעדרייט אויף די ליכט, די השפּעה פון די קלאַל איז דימינישט. די רעזולטאַטן ווייַזן ווי דיסקריפּטיוו נאָרמז און פּערזענלעך פֿאַראַנטוואָרטלעכקייט קען רעגולירן די יפעקטיוונאַס פון פּראָענוויראָנאַל ינערווענטשאַנז. "

   לייענען זייער פּאַפּיר און פּלאַן אַ רעפּלאַקיישאַן פון לערנען 1.

9. [ , ] בנין אויף די פריערדיקע קשיא, איצט פירן דיין פּלאַן.

   1. ווי טאָן די רעזולטאַטן פאַרגלייַכן?
   2. וואָס קען דערקלערן די דיפעראַנסיז?

10. [ ] עס איז געווען היפּש דעבאַטע וועגן יקספּעראַמאַנץ ניצן פּאַרטיסאַפּאַנץ רעקרויטעד פון מטורק. אין פּאַראַלעל, עס איז געווען אויך היפּש דעבאַטע וועגן יקספּעראַמאַנץ ניצן פּאַרטיסאַפּאַנץ רעקרויטעד פון ונדערגראַדואַטע תּלמיד פּאַפּיאַליישאַנז. שרייב אַ צוויי-בלאַט מעמאָ קאַמפּערינג און קאַנטראַסטינג טורקערס און ונדערגראַדואַטעס ווי פאָרשונג פּאַרטיסאַפּאַנץ. דיין פאַרגלייַך זאָל אַרייַננעמען אַ דיסקוסיע וועגן ביידע וויסנשאפטלעכע און לאַדזשיסטיש פּראָבלעמס.

11. [ ] Jim Manzi ס בוך Uncontrolled (2012) איז אַ ווונדערלעך הקדמה צו דער מאַכט פון עקספּערימענטאַטיאָן אין געשעפט. אין דעם בוך, ער רילייד די פאלגענדע געשיכטע:

    "איך איז געווען אַמאָל אין אַ באַגעגעניש מיט אַ אמת געשעפט זשעני, אַ זיך-געמאכט ביליאַנער וואס האט אַ טיף, ינטואַטיוו אַנדערסטאַטינג פון די מאַכט פון יקספּעראַמאַנץ. זיין פירמע פארבראכט באַטייַטיק רעסורסן טריינג צו שאַפֿן גרויס קראָם פֿענצטער דיספּלייז וואָס וואָלט צוציען קאָנסומערס און ינקריסיז פארקויפונג, ווי קאַנווענשאַנאַל חכמה האט זיי זאָל. עקספּערץ קערפאַלי טעסטעד פּלאַן נאָך פּלאַן, און אין יחיד פּרובירן באריכטן סעשאַנז איבער אַ צייַט פון יאָרן געהאלטן ווייזונג קיין באַטייַטיק קאַוסאַל ווירקונג פון יעדער נייַ אַרויסווייַזן פּלאַן אויף פארקויפונג. עלטער אָפּזעצערייַ און מערטשאַנדייזינג יגזעקיאַטיווז באגעגנט מיט די סעאָ צו באריכטן די היסטארישע פּרובירן רעזולטאַטן אין טאָטאָ. נאָך פּרעזענטינג אַלע די יקספּערמענאַל דאַטע, זיי געפונען אַז די קאַנווענשאַנאַל חכמה איז פאַלש-אַז פֿענצטער דיספּלייז טאָן ניט פאָרן פארקויפונג. זייער רעקאמענדירטע קאַמף איז געווען צו רעדוצירן קאָס און מי אין דעם שטח. דעם דראַמאַטיקלי דעמאַנסטרייטיד די פיייקייַט פון יקספּעראַמאַנטיישאַן צו יבערקערן קאַנווענשאַנאַל חכמה. דער ענטפֿער פון דער סעאָ איז געווען פּשוט: 'מייַן חודש איז אַז דיין דיזיינערז זענען נישט זייער גוט.' זיין לייזונג איז געווען צו פאַרגרעסערן מי אין קראָם אַרויסווייַזן פּלאַן, און צו באַקומען נייַע מענטשן צו טאָן עס. " (Manzi 2012, 158–9)

    וואָס טיפּ פון גילטיקייַט איז די דייַגע פון ​​די סעאָ?

12. [ ] בנין אויף די פריערדיקע קשיא, ימאַדזשאַן אַז איר געווען אין דער באַגעגעניש ווו די רעזולטאַטן פון די יקספּעראַמאַנץ זענען דיסקאַסט. וואָס זענען פיר שאלות אַז איר קען פרעגן-איינער פֿאַר יעדער טיפּ פון גילטיקייַט (סטאַטיסטיש, בויען, ינערלעך, און פונדרויסנדיק)?

13. [ ] Bernedo, Ferraro, and Price (2014) געלערנט די זיבן-יאָר ווירקונג פון די וואַסער שפּאָרן אריינמישונג דיסקרייבד אין Ferraro, Miranda, and Price (2011) (זען פיגורע 4.11). אין דעם פּאַפּיר, בערנידע און חברים אויך געזוכט צו פֿאַרשטיין די מעקאַניזאַם הינטער די ווירקונג דורך קאַמפּערינג די נאַטור פון כאַוסכאָולדז וואָס האָבן און האָבן נישט אריבערגעפארן נאָך די באַהאַנדלונג איז געווען איבערגעגעבן. דעריבער, בעערעך, זיי געפרוווט צו זען צי די באַהאַנדלונג ימפּרוווד דער היים אָדער די כאָומאָונער.

    1. לייענען די פּאַפּיר, באַשרייַבן זייער פּלאַן, און סאַמערייז זייער פיינדינגז.
    2. טאָן זייער פיינדינגז פּראַל ווי איר זאָל אַססעסס די פּרייַז יפעקטיוונאַס פון ענלעך ינטערווענטשאַנז? אויב אַזוי, פארוואס? אויב נישט, פארוואס נישט?

14. [ ] אין אַ נאָכפאָלגן צו Schultz et al. (2007) (Schultz, Khazian, and Zaleski 2008) , האָט דער שולטז און חברים פאָרגעשטעלט אַ סעריע פון ​​דריי יקספּעראַמאַנץ אויף די ווירקונג פון דיסקריפּטיוו און ינדזשעקטיוולי נאָרמז אויף אַ אַנדערש ינווייראַנמענאַל נאַטור (האַנטעך רייוס) אין צוויי קאַנטיקס (אַ האָטעל און אַ טימעשאַרע קאָנדאָמיניום (Schultz, Khazian, and Zaleski 2008) .

    1. סאַמערייז די פּלאַן און פיינדינגז פון די דרייַ יקספּעראַמאַנץ.
    2. ווי, אויב בייַ אַלע, זיי טוישן דיין ינטערפּריטיישאַן פון Schultz et al. (2007) ?

15. [ ] אין ענטפער צו Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) געלאפן אַ סעריע פון ​​לאַב-ווי יקספּעראַמאַנץ צו לערנען די פּלאַן פון עלעקטריש ביללס. דאָ ס ווי זיי באַשרייַבן עס אין די אַבסטראַקט:

    "אין אַן אָפּמאַך-באזירט עקספּערימענט, יעדער באַטייליקטער געזען אַ היפּאָטעטיקאַל עלעקטראָניש רעכענונג פֿאַר אַ משפּחה מיט לעפיערעך הויך עלעקטרע נוצן, קאַווערינג אינפֿאָרמאַציע וועגן (אַ) היסטארישע נוצן, (ב) קאַמפּעראַסאַנז צו שכנים, און (C) היסטאָריש נוצן מיט אַפּפּליאַנסע ברייקדאַון. פּאַרטיסיפּאַנץ געזען אַלע אינפֿאָרמאַציע טייפּס אין איינער פון דרייַ פאָרמאַץ אַרייַנגערעכנט (אַ) טישן, (b) באַר גראַפס, און (C) ייקאַן גראַפס. מיר באַריכט אויף דרייַ הויפּט פיינדינגז. ערשטער, קאָנסומערס פארשטאנען יעדער טיפּ פון עלעקטרע-נוצן אינפֿאָרמאַציע די מערסט ווען עס איז דערלאנגט אין אַ טיש, טאָמער ווייַל טישן פאַסילאַטייט פּשוט פונט לייענען. רגע, פּרעפֿערענצן און ינטענטשאַנז צו ראַטעווען עלעקטרע זענען די סטראָנגעסט פֿאַר די היסטארישע נוצן אינפֿאָרמאַציע, פרייַ פון פֿאָרמאַט. דריט, מענטשן מיט נידעריקער ענערגיע ליטעראַסי פארשטאנען אַלע אינפֿאָרמאַציע ווייניקער. "

    ניט ענלעך אנדערע נאָכפאָלגן סטודענטן, דער הויפּט רעזולטאַט פון אינטערעס אין Canfield, Bruin, and Wong-Parodi (2016) איז געמאלדן אָפּפירונג, ניט פאַקטיש נאַטור. וואָס זענען די סטרענגקטס און וויקנאַסאַז פון דעם טיפּ פון לערנען אין אַ ברייטערער פאָרשונג פּראָגראַם פּראַמאָוטינג ענערגיע סייווינגז?

16. [ , ] Smith and Pell (2003) דערלאנגט אַ סאַטיריקאַל מעטאַ-אַנאַליז פון סטודענטן דעמאַנסטרייטינג די יפעקטיוונאַס פון פּעראַשוץ. זיי געפונען:

    "ווי מיט פילע ינערווענטשאַנז בדעה צו פאַרמייַדן קראַנקייַט געזונט, די ווירקונג פון פּעראַשוץ איז נישט אונטערטעניק צו שטרענג אַסעסמאַנט דורך ניצן ראַנדאַמייזד קאָנטראָל טריאַלס. אַדוואָקאַטעס פון זאָגן באזירט מעדיצין האָבן קריטיקירט דעם אַדישאַן פון ינטערווענטשאַנז עוואַלואַטעד דורך ניצן בלויז אָבסערוואַטיאָנאַל דאַטע. מיר טראַכטן אַז אַלעמען קען נוץ אויב די מערסט ראַדיקאַל פּראָטאַגאָניסץ פון זאָגן באזירט מעדיצין אָרגאַניזירט און אנטייל אין אַ טאָפּל בלינד, ראַנדאַמייזד, פּלאַסבאָ קאַנטראָולד, קראָסאָוווער פּראָצעס פון די פּאַראַשוט. "

    שרייב אַ אָפּ-עד פּאַסיק פֿאַר אַ גענעראַל-לייענערשאַפט צייַטונג, אַזאַ ווי די New York Times , אַרגיוינג קעגן די פעטישיזיישאַן פון יקספּערמענאַל זאָגן. צושטעלן ספּעציפיש, באַטאָנען ביישפילן. הינט: זען אויך Deaton (2010) און Bothwell et al. (2016) .

17. [ , , ] דיפפערענסע-אין-דיפעראַנסיז עסטייטערז פון אַ באַהאַנדלונג ווירקונג קענען זיין מער גענוי ווי חילוק-אין-מיינען עסטייטערז. שרייַבן אַ מעמאָ צו אַ ינזשעניר אין באַשולדיקונג פון א / ב טעסטינג אין אַ אָנהייב-אַרויף געזעלשאַפטלעך מידיאַ פירמע יקספּליינינג די ווערט פון די חילוק-אין-דיפעראַנסיז צוגאַנג פֿאַר פליסנדיק אַ אָנליין עקספּערימענט. דער מעמאָ זאָל אַרייַננעמען אַ דערקלערונג פון דעם פּראָבלעם, עטלעכע ינטוישאַן וועגן די באדינגונגען אונטער וואָס די חילוק-אין-חילוק עסטימאַטאָר וועט אַוטפּערפאָרם די חילוק-אין-מיינען עסטייטערז, און אַ פּשוט סימיאַליישאַן לערנען.

18. [ , ] הארי לאָוועמאַן איז געווען אַ פּראָפעסאָר אין האַרוואַרד ביזנעס שולע איידער ער איז געווארן דער סעאָ פון האַרראַה ס, איינער פון די גרעסטער קאַסינאָ קאָמפּאַניעס אין דער וועלט. ווען ער אריבערגעפארן צו האַרראַה ס, לאַוומאַן טראַנספאָרמז די פירמע מיט אַ אָפט-פליער-ווי לויאַלטי פּראָגראַם אַז געזאמלט ריזיק אַמאַונץ פון דאַטן וועגן קונה אָפּפירונג. אויף דעם שטענדיק-אויף מעאַסורעמענט סיסטעם, די פירמע אנגעהויבן פליסנדיק יקספּעראַמאַנץ. למשל, זיי זאלן לויפן אַן עקספּערימענט צו אָפּשאַצן די ווירקונג פון אַ קופּאָן פֿאַר אַ פֿרייַ האָטעל נאַכט פֿאַר קאַסטאַמערז מיט אַ ספּעציפיש גאַמבלינג מוסטער. דאָ ס ווי לאַוומאַן דיסקרייבד די וויכטיקייט פון יקספּעראַמאַנטיישאַן צו האַרראַה ס וואָכעדיק געשעפט פּראַקטאַסאַז:

    "עס איז ווי איר טאָן ניט טראַכטן פרויען, איר טאָן ניט גאַנווענען, און איר האָבן צו האָבן אַ קאָנטראָל גרופּע. דאס איז איינער פון די זאכן וואָס איר קענען פאַרלאָזן דיין אַרבעט פֿאַר האַרראַה'ס-נישט פליסנדיק אַ קאָנטראָל גרופּע " (Manzi 2012, 146)

    שרייַבן אַ בליצפּאָסט צו אַ נייַ אָנגעשטעלטער וואָס דערציילט לאָוומאַן אַז עס איז אַזוי וויכטיק צו האָבן אַ קאָנטראָל גרופּע. איר זאָל פּרובירן צו אַרייַננעמען אַ בייַשפּיל, אָדער פאַקטיש אָדער געמאכט אַרויף-צו אילוסטרירן דיין פונט.

19. [ , ] א נייַע עקספּערימענט יימז צו אָפּשאַצן די ווירקונג פון ריסיווינג טעקסט אָנזאָג רימיינדערז אויף וואַקסאַניישאַן אַפּטייק. איין הונדערט און פופציק קליניקס, יעדער מיט 600 פּאַסיק פּאַטיענץ, זענען גרייט צו אָנטייל נעמען. עס איז אַ פאַרפעסטיקט פּרייַז פון $ 100 פֿאַר יעדער קליניק איר ווילן צו אַרבעטן מיט, און עס קאָס $ 1 פֿאַר יעדער טעקסט אָנזאָג וואָס איר ווילן צו שיקן. ווייַטער, קיין קליניקס אַז איר אַרבעט מיט וועט מעסטן די אַוטקאַם (צי עמעצער באקומען אַ וואַקסאַניישאַן) פֿאַר פֿרייַ. אָננעמען אַז איר האָבן אַ בודזשעט פון $ 1,000.

    1. אונטער וואָס טנאָים קען זיין בעסער צו פאָקוס דיין רעסורסן אויף אַ קליין נומער פון קליניקס און אונטער וואָס טנאָים קען זיין בעסער צו פאַרשפּרייטן זיי מער וויידלי?
    2. וואָס סיבות וואָלט באַשטימען די סמאָלאַסט ווירקונג גרייס וואָס איר וועט קענען צו רילייאַבלי דעטעקט מיט דיין בודזשעט?
    3. שרייב אַ מעמאָו יקספּליינינג די האַנדל-אָפס צו אַ פּאָטענציעל פאָנדער.

20. [ , ] א הויפּט פּראָבלעם מיט אָנליין קאָרסיז איז אַטטרישאַן: פילע סטודענטן וואס אָנהייב קאָרסאַז סוף אַרויף דראַפּינג אויס. ימאַדזשאַן אַז איר זענט ארבעטן אין אַ אָנליין לערנען פּלאַטפאָרמע, און אַ דיזיינער אין די פּלאַטפאָרמע האט באשאפן אַ וויזשאַוואַל פּראָגרעס באַר אַז זי מיינט וועט העלפן צו פאַרמייַדן סטודענטן פון דראַפּינג אויס פון די לויף. איר ווילן צו פּרובירן די ווירקונג פון די פּראָגרעס באַר אויף סטודענטן אין אַ גרויס קאַמפּיוטיישאַנאַל געזעלשאַפטלעך וויסנשאַפֿט לויף. נאָך אַדישנינג קיין עטישע פּראָבלעמס אַז קענען אויפשטיין אין דער עקספּערימענט, איר און אייערע חברים באַקומען באַזאָרגט אַז דער קורס קען נישט האָבן גענוג סטודענטן צו רילייאַבלי דיטעקשאַן פון די פּראָגרעס באַר. אין די פאלגענדע חשבונות, איר קענען יבערנעמען אַז האַלב פון די סטודענטן וועט באַקומען די פּראָגרעס באַר און האַלב נישט. ווייַטער, איר קענען יבערנעמען אַז עס איז קיין ינטערפיראַנס. אין אנדערע ווערטער, איר קענען אָננעמען אַז פּאַרטיסאַפּאַנץ זענען בלויז אַפעקטאַד דורך צי זיי באקומען די באַהאַנדלונג אָדער קאָנטראָל; זיי זענען נישט דורכגעפירט דורך צי אנדערע מענטשן באקומען די באַהאַנדלונג אָדער קאָנטראָל (פֿאַר אַ מער פאָרמאַל דעפֿיניציע, זען קאַפּיטל 8 פון Gerber and Green (2012) ). האַלטן שפּור פון קיין נאָך אַסאַמפּשאַנז אַז איר מאַכן.

    1. רעכן די פּראָגרעס באַר איז געריכט צו פאַרגרעסערן די פּראָפּאָרציע פון ​​סטודענטן וואס ענדיקן דעם קלאַס דורך 1 פּראָצענט פונט; וואָס איז דער מוסטער גרייס דארף צו רילייאַבלי דעטעקט די ווירקונג?
    2. רעכענען די פּראָגרעס באַר איז דערוואַרט צו פאַרגרעסערן די פּראָפּאָרציע פון ​​סטודענטן וואס ענדיקן דעם קלאַס דורך 10 פּראָצענט פונקטן; וואָס איז דער מוסטער גרייס דארף צו רילייאַבלי דעטעקט די ווירקונג?
    3. איצט ימאַדזשאַן אַז איר האָט לויפן די עקספּערימענט, און די סטודענטן וואָס האָבן פארענדיקט אַלע די לויף מאַטעריאַלס האָבן גענומען אַ לעצט יגזאַם. ווען איר פאַרגלייַכן די לעצט יגזאַם סקאָרז פון סטודענטן וואס באקומען די פּראָגרעס באַר מיט די סקאָרז פון די וואס האבן ניט, איר געפֿינען, פיל צו דיין יבערראַשן אַז סטודענטן וואס האבן נישט באַקומען די פּראָגרעס באַר פאקטיש סקאָרד העכער. טוט דאָס מיינען אַז די פּראָגרעס באַר געפֿירט סטודענטן צו לערנען ווייניקער? וואָס קענען איר לערנען פון דעם רעזולטאַט דאַטן? (הינט: זען פּרק 7 פון Gerber and Green (2012) )

21. [ , , ] ימאַגינע אַז איר זענט ארבעטן ווי אַ דאַטן געלערנטער אין אַ טעק פירמע. עמעצער פון דעם אָפּזעצערייַ אָפּטיילונג פרעגט פֿאַר דיין הילף אין יוואַליוייטינג אַן עקספּערימענט אַז זיי זענען פּלאַנירונג צו מעסטן די צוריקקער אויף ינוועסמאַנט (ראָי) פֿאַר אַ נייַ אָנליין אַד קאמפאניע. ראָי איז דיפיינד ווי די נעץ נוץ פון די קאמפאניע צעטיילט דורך די פּרייַז פון די קאמפאניע. למשל, אַ קאמפאניע וואָס האט קיין ווירקונג אויף פארקויפונג וואָלט האָבן אַ ראָי פון -100%; אַ קאמפאניע ווו פּראַפיץ דזשענערייטאַד זענען גלייַך צו קאָס וואָלט האָבן אַ ראָי פון 0; און אַ קאמפאניע ווו פּראַפיץ דזשענערייטאַד זענען טאָפּל די פּרייַז וואָלט האָבן אַ ראָי פון 200%.

    איידער די יקספּיריאַנסט יקספּיריאַנסיז, די אָפּזעצערייַ אָפּטיילונג גיט איר די פאלגענדע אינפֿאָרמאַציע באזירט אויף זייער פריער פאָרשונג (אין פאַקט, די וואַלועס זענען טיפּיש פון די פאַקטיש אָנליין אַד קאַמפּיינז געמאלדן אין לויס און ראַאָ (2015) ):

    • דער דורכשניטלעך פארקויפונג פּער קונה גייט אַ לאָג-נאָרמאַל פאַרשפּרייטונג מיט אַ דורכשניטלעך פון $ 7 און אַ נאָרמאַל דיווייישאַן פון $ 75.
    • די קאמפאניע איז געריכט צו פאַרגרעסערן פארקויפונג דורך $ 0.35 פּער קונה, וואָס קאָראַספּאַנדז צו אַ פאַרגרעסערן אין נוץ פון $ 0.175 פּער קונה.
    • די פּלאַננעד גרייס פון דער עקספּערימענט איז 200,000 מענטשן: האַלב אין די באַהאַנדלונג גרופּע און האַלב אין די קאָנטראָל גרופּע.
    • דער פּרייַז פון די קאמפאניע איז $ 0.14 פּער באַטייליקטער.
    • די דערוואַרט ראָי פֿאַר די קאמפאניע איז 25% [ \((0.175 - 0.14)/0.14\) ]. אין אנדערע ווערטער, די אָפּזעצערייַ אָפּטיילונג גלויבט אַז פֿאַר יעדער 100 דאָללאַרס פארבראכט אויף פֿאַרקויף, די פירמע וועט פאַרדינען אַן נאָך $ 25 אין נוץ.

    שרייב אַ מעמאָו עוואַלואַטינג דעם פארגעלייגט עקספּערימענט. דיין מעמאָ זאָל נוצן זאָגן פון אַ סימיאַליישאַן אַז איר שאַפֿן, און עס זאָל אַדרעס צוויי הויפּט ישוז: (1) וואָלט איר רעקאָמענדירן לאָנטשינג דעם עקספּערימענט ווי פּלאַננעד? אויב אַזוי, פארוואס? אויב נישט, פארוואס נישט? זייט זיכער צו זיין קלאָר וועגן די קרייטיריאַ אַז איר זענט ניצן צו מאַכן דעם באַשלוס. (2) וואָס מוסטער גרייס וואָלט איר רעקאָמענדירן פֿאַר דעם עקספּערימענט? ווידער ביטע זיין זיכער צו זיין קלאָר וועגן די קרייטיריאַ אַז איר זענט ניצן צו מאַכן דעם באַשלוס.

    א גוט מעמאָ וועט אַדרעס דעם ספּעציפיש פאַל; אַ בעסער מעמאָ וועט דערשייַנען פון דעם פאַל אין איין וועג (למשל, ווייַזן ווי די באַשלוס ענדערונגען ווי אַ פונקציאָנירן פון די גרייס פון דער ווירקונג פון די קאמפאניע); און אַ גרויס מעמאָ וועט פאָרשטעלן אַ גאָר גענעראַליזעד רעזולטאַט. דיין מעמאָ זאָל נוצן גראַפס צו העלפן אילוסטרירן דיין רעזולטאַטן.

    דאָ זענען צוויי הינץ. ערשטער, דער אָפּזעצערייַ אָפּטיילונג זאל האָבן צוגעשטעלט איר מיט עטלעכע ומנייטיק אינפֿאָרמאַציע, און זיי קען האָבן ניט אַנדערש צו צושטעלן איר מיט עטלעכע נייטיק אינפֿאָרמאַציע. רגע, אויב איר זענט ניצן R, זיין אַווער אַז די רלנאָרם () פֿונקציע טוט ניט אַרבעט די וועג אַז פילע מענטשן דערוואַרטן.

    דעם טעטיקייט וועט געבן איר פיר מיט מאַכט אַנאַליסיס, שאפן סימיאַליישאַנז, און קאַמיונאַקייטינג דיין רעזולטאַטן מיט ווערטער און גראַפס. עס זאָל העלפן איר אָנפירן מאַכט אַנאַליסיס פֿאַר קיין מין פון עקספּערימענט, נישט בלויז יקספּעראַמאַנץ דיזיינד צו אָפּשאַצן ראָי. דעם טעטיקייט אַסומז אַז איר האָבן עטלעכע דערפאַרונג מיט סטאַטיסטיש טעסטינג און מאַכט אַנאַליסיס. אויב איר זענט נישט באַקאַנט מיט מאַכט אַנאַליסיס, איך רעקאָמענדירן איר לייענען "א מאַכט אָנפאַנגער" דורך Cohen (1992) .

    דעם טעטיקייט איז ינספּייערד דורך אַ שיינע פּאַפּיר דורך RA Lewis and Rao (2015) , וואָס וויידלי ילימאַנייץ אַ פונדאַמענטאַל סטאַטיסטיש באַגרענעצונג פון אַפֿילו מאַסיוו יקספּעראַמאַנץ. די פּאַפּיר וואָס איז געווען אָוקיישאַנאַל דורך די פּראָוואָקאַטיווע טיטל "אויף דער נאָענט ימפּאָססיביליטי פון מעאַסורינג די רעטורנס צו גאַנצע" - ווייַזן ווי שווער עס איז מעגלעך צו מעסטן די צוריקקער אויף ינוועסמאַנט פון אָנליין אַדס, אַפֿילו מיט דיגיטאַל יקספּעראַמאַנץ ינוואַלווינג מיליאַנז פון קאַסטאַמערז. מער בכלל, RA Lewis and Rao (2015) ימפּלייז אַ פונדאַמענטאַל סטאַטיסטיש פאַקט אַז איז הויפּט וויכטיק פֿאַר דיגיטאַל-עלטער יקספּעראַמאַנץ: עס איז שווער צו אָפּשאַצן קליין באַהאַנדלונג יפעקס אַמידסט טומלדיק רעזולטאַט דאַטן.

22. [ , ] צי די זעלבע ווי די פֿריִערדיקע קשיא, אָבער, אלא ווי סימיאַליישאַן, איר זאָל נוצן אַנאַליסיס רעזולטאַטן.

23. [ , , ] טאָן די זעלבע ווי די פֿריִערדיקע קשיא, אָבער נוצן ביידע סימיאַליישאַן און אַנאַליסיס רעזולטאַטן.

24. [ , , ] ימאַגינע אַז איר האָט געשריבן די מעמאָ דיסקרייבד אויבן, און עמעצער פון די פֿאַרקויף אָפּטיילונג גיט אַ נייַע נייַע אינפֿאָרמאַציע: זיי דערוואַרטן אַ 0.4 קאָראַליישאַן צווישן פארקויפונג פֿאַר און נאָך דער עקספּערימענט. ווי אַזוי קען דאָס טוישן די רעקאַמאַנדיישאַנז אין דיין מעמאָו? (היט: זען אָפּטיילונג 4.6.2 פֿאַר מער אויף די חילוק-פון-מיטל עסטייטערז און די חילוק-אין-דיפעראַנסיז עסטימאַטאָר.)

25. [ , ] אין סדר צו אָפּשאַצן די יפעקטיוונאַס פון אַ נייַ וועב-באזירט באַשעפטיקונג-הילף פּראָגראַם, אַ אוניווערסיטעט געפירט אַ ראַנדאַמייזד קאָנטראָל פּראָצעס צווישן 10,000 סטודענטן קומט זייער לעצט יאָר פון שולע. א פֿרייַ אַבאָנעמענט מיט יינציק לאָג-אין אינפֿאָרמאַציע איז געשיקט דורך אַ ויסשליסיק email ינווייטינג צו 5,000 פון די ראַנדאַמלי אויסגעקליבן סטודענטן, בשעת די אנדערע 5,000 סטודענטן זענען אין די קאָנטראָל גרופּע און האט נישט האָבן אַ אַבאָנעמענט. צוועלף חדשים שפּעטער, אַ נאָכפאָלגן סומע (מיט קיין נאַן רעספּאָנסע) האט געוויזן אַז אין ביידע באַהאַנדלונג און קאָנטראָל גרופּעס, 70% פון די סטודענטן האט סיקיוראַטעד פול-צייַט באַשעפטיקונג אין זייער אויסגעקליבן פעלד (טיש 4.6). אזוי עס איז געווען אַז די וועב-באזירט דינסט האט קיין ווירקונג.

    אָבער, אַ קלוג דאַטן געלערנטער אין דער אוניווערסיטעט האט געקוקט אין די דאַטן אַ ביסל מער און געפונען אַז בלויז 20% פון די סטודענטן אין די באַהאַנדלונג גרופּע אלץ אַרייַנלאָגירן אין די חשבון נאָך באקומען די Email. ווייַטערדיק, און עפּעס סאַפּרייזינגלי, צווישן די וואס האבן זיך אַרייַנלאָגירן אין די וועבזייטל, בלויז 60% האט סיקיוראַטיד פול-צייַט באַשעפטיקונג אין זייער אויסדערוויילט פעלד, וואָס איז געווען נידעריקער ווי די קורס פֿאַר מענטשן וואס האט נישט אַרייַנשרייַב און נידעריקער ווי די קורס פֿאַר מענטשן אין די קאָנטראָל טנאָים (טיש 4.7).

    1. צושטעלן אַ דערקלערונג פֿאַר וואָס קען זיין געטראפן.
    2. וואָס זענען צוויי פאַרשידענע וועגן צו רעכענען די ווירקונג פון די באַהאַנדלונג אין דעם עקספּערימענט?
    3. געגעבן דעם רעזולטאַט, זאָל דער צושטעלן דעם דינסט צו אַלע סטודענטן? נאָר צו זיין קלאָר, דאָס איז נישט אַ פּראָבלעם מיט אַ פּשוט ענטפֿערן.
    4. וואָס זאָל זיי טאָן ווייַטער?

    אָנצוהערעניש: די קשיא גייט ווייַטער פון די מאַטעריאַל באהאנדלט אין דעם קאַפּיטל, אָבער אַדישאַנז ישוז פּראָסט אין יקספּעראַמאַנץ. דעם טיפּ פון יקספּערמענאַל פּלאַן איז מאל גערופן אַ ענקערידזשמאַנט פּלאַן ווייַל פּאַרטיסאַפּאַנץ זענען ינקעראַדזשד צו דינגען אין די באַהאַנדלונג. דעם פּראָבלעם איז אַ בייַשפּיל פון וואָס איז גערופן איינער-סיידאַד נעקאָמפּליאַנסע (זען קאַפּיטל 5 פון Gerber and Green (2012) ).

26. [ ] נאָך ווייַטער דורכקוק, עס פארקערט אויס אַז דער עקספּערימענט דיסקרייבד אין די פריערדיקע קשיא איז אַפֿילו מער קאָמפּליצירט. עס פארקערט אויס אַז 10% פון די מענטשן אין דער קאָנטראָל גרופּע באַצאָלט צוטריט צו די דינסט, און זיי ענדיקן אַרויף מיט אַ באַשעפטיקונג קורס פון 65% (טיש 4.8).

    1. שרייב אַ בליצפּאָסט סאַמערייזינג וואָס איר טראַכטן איז געשעעניש און רעקאָמענדירן אַ קורס פון קאַמף.

    אָנצוהערעניש: די קשיא גייט ווייַטער פון די מאַטעריאַל באהאנדלט אין דעם קאַפּיטל, אָבער אַדישאַנז ישוז פּראָסט אין יקספּעראַמאַנץ. דעם פּראָבלעם איז אַ בייַשפּיל פון וואָס איז גערופן צוויי-סיידאַד נעקאָמפּליאַנסע (זען קאַפּיטל 6 פון Gerber and Green (2012) ).