4.6.2 בויען עטיקס אין אייער פּלאַן: פאַרבייַטן, ראַפינירן און רעדוצירן

מאַכן דיין עקספּערימענט מער מענטשלעך דורך ריפּלייסינג יקספּעראַמאַנץ מיט גויים-יקספּערמענאַל שטודיום, רעפינינג די טריטמאַנץ, און רידוסינג די נומער פון פּאַרטיסאַפּאַנץ.

די רגע שטיק פון עצה אַז איך וואָלט ווי צו פאָרשלאָגן דיגיטאַל יקספּעראַמאַנץ וועגן עטיקס. ווי די רעסטיוואָ און פון די רייעט עקספּערימענט אויף באַרנסטאַרס אין וויקיפעדיע ווייזט, דיקריסט קאָסטן מיטל אַז עטיקס וועט ווערן אַ ינקריסינגלי וויכטיק טייל פון פאָרשונג פּלאַן. אין דערצו צו די עטישע פראַמעוואָרקס וואָס פירן מענטשן סאַבדזשעקס פאָרשונג אַז איך וועל דיסקרייבד אין פּרק 6, ריסערטשערז דיזיינינג דיגיטאַל יקספּעראַמאַנץ קענען אויך ציען אויף עטישע געדאנקען פון אַ אַנדערש מקור: די עטישע פּרינציפּן דעוועלאָפּעד צו פירן יקספּעראַמאַנץ ינוואַלווינג אַנימאַלס. אין באַזונדער, אין זייער לאַנדמאַרק בוך פּרינציפּן פון הומאַן עקספּערימענטאַל טעכניק , Russell and Burch (1959) פארגעלייגט דרייַ פּרינציפּן וואָס זאָל פירן כייַע פאָרשונג: פאַרבייַטן, ראַפינירן, און רעדוצירן. איך'ד ווי צו פאָרשלאָגן אַז די דרייַ ר 'ס קענען אויך זיין געניצט - אין אַ ביסל מאַדאַפייד פאָרעם - צו פירן די פּלאַן פון מענטש יקספּעראַמאַנץ. אין באַזונדער,

  • רעפּלאַסע: רעפּלאַסע יקספּעראַמאַנץ מיט ווייניקער ינווייסיוו מעטהאָדס אויב מעגלעך.
  • ראַפינירן: ריפייני די באַהאַנדלונג צו מאַכן עס ווי ומשעדלעך ווי מעגלעך.
  • רעדוצירן: רעדוצירן די נומער פון פּאַרטיסאַפּאַנץ אין דיין עקספּערימענט ווי פיל ווי מעגלעך.

אין סדר צו מאַכן די דרייַ ר באַטאָנען און ווייַזן ווי זיי קענען פּאַטענטשאַלי פירן צו בעסער און מער מענטשלעך יקספּערמענאַל פּלאַן, איך וועט באַשרייַבן אַן אָנליין פעלד עקספּערימענט אַז דזשענערייטאַד עטישע דעבאַטע. דעריבער, איך וועט באַשרייַבן ווי די דרייַ R ס פֿאָרשלאָגן באַטאָנען און פּראַקטיש ענדערונגען צו די פּלאַן פון די עקספּערימענט.

איינער פון די מערסט עטיקלי דעבייטיד דיגיטאַל פעלד יקספּעראַמאַנץ איז געווען געפירט דורך אַדאַם קראַמער, דזשאַמיע גוילרילוי, און דזשעפרי האַנקאָקק (2014) און איז גערופן "עמאָציאָנעל קאָנטאַגיאָן." דער עקספּערימענט איז גענומען אויף פאַסעבאָאָק און איז געווען מאָוטאַווייטאַד דורך אַ מישן פון וויסנשאפטלעכע און פּראַקטיש שאלות. אין דער צייַט, די דאָמינאַנט וועג אַז וסערס ינטעראַקטיד מיט פאַסעבאָאָק איז געווען די נייַעס פיד, אַ אַלגערידאַמיק קעראָודיד שטעלן פון פאַסעבאָאָק סטאַטוס דערהייַנטיקונגען פון אַ פריינט 's פאַסעבאָאָק פריינט. עטלעכע קריטיקס פון פאַסעבאָאָק האט סאַגדזשעסטיד אַז ווייַל די נייַעס פיוס האט רובֿ positive פּאָסטן-פריינט ווייַזונג אַוועק זייער לעצט פּאַרטיי, עס קען פאַרשאַפן ניצערס צו פילן טרויעריק ווייַל זייער לעבן איז געווען ווייניקער יקסייטינג אין פאַרגלייַך. אויף די אנדערע האַנט, אפֿשר די ווירקונג איז פּונקט דער פאַרקערט: אפֿשר געזען דיין פרייַנד, וואס האט אַ גוט צייַט, וואָלט איר פילן צופרידן. אין סדר צו אַדמיטאַד די קאָנקורסינג כייפּאַטיזיז און צו פאָרשטעלן אונדזער פארשטאנד פון ווי אַ מענטש ס ימאָושאַנז זענען ימפּאָוזד דורך איר פריינט 'ימאָושאַנז-קראַמער און קאָלעגז געלאפן אַן עקספּערימענט. זיי שטעלן וועגן 700,000 ניצערס אין פיר גרופּעס פֿאַר אַ וואָך: אַ "נעגאַטיוויטי-רידוסט" גרופּע, פֿאַר וואָס הודעות מיט נעגאַטיווע ווערטער (למשל, "טרויעריק") זענען ראַנדאַמלי אפגעשטעלט פון די נייַעס פיוס; אַ "פּאָסיטיוויטי-רידוסט" גרופּע פֿאַר וואָס הודעות מיט positive ווערטער (למשל, "גליקלעך") זענען ראַנדאַמלי אפגעשטעלט; און צוויי קאָנטראָל גרופּעס. אין די קאָנטראָל גרופע פֿאַר די "נעגאַטיוולי-רידוסט" גרופּע, די אַרטיקלען זענען אָפט פאַרשפּרייטן אין די זעלבע קורס ווי די "נעגאַטיוויטי-רידוסט" גרופּע, אָבער אָן די עמאָציאָנעל צופרידן. די קאָנטראָל גרופּע פֿאַר די "פּאָסיטיוויטי-רידוסט" גרופּע איז געבויט אין אַ פּאַראַלעל שניט. דער פּלאַן פון דעם עקספּערימענט ילאַסטרייץ אַז די צונעמען קאָנטראָל גרופּע איז ניט שטענדיק איינער מיט קיין ענדערונגען. דעריבער, דער קאָנטראָל גרופּע באקומט אַ באַהאַנדלונג אין סדר צו מאַכן די גענוי פאַרגלייַך אַז ריקווייערז אַ פאָרשונג. אין אַלע קאַסעס, די הודעות וואָס זענען אפגעשטעלט פון די נייַעס פיטער זענען נאָך בנימצא פֿאַר וסערס דורך אנדערע טיילן פון די וועבזייטל פאַסעבאָאָק.

קראַמער און קאָלעגעס געפונען אַז פֿאַר פּאַרטיסאַפּאַנץ אין די פּאָסיטיוויטי-רידוסט צושטאַנד, די פּראָצענט פון positive ווערטער אין זייער סטאַטוס דערהייַנטיקונגען דיקריסט און די פּראָצענט פון נעגאַטיוו ווערטער געוואקסן. אויף די אנדערע האַנט, פֿאַר פּאַרטיסאַפּאַנץ אין דער נעגאַטיוויטי-רידוסט צושטאַנד, דער פּראָצענט פון positive ווערטער געוואקסן און אַז פון נעגאַטיוו ווערטער דיקריסט (פיגורע 4.24). אָבער, די יפעקס זענען גאַנץ קליין: די חילוק אין positive און נעגאַטיוו ווערטער צווישן טריטמאַנץ און קאָנטראָלס איז וועגן 1 אין 1,000 ווערטער.

ציפער 4.24: עווידענסע פון ​​עמאָציאָנעל קאַנטאַגיי (קראַמער, גוילאָראָרי, און האַנקאָקק 2014). פּאַרטיסיפּאַנץ אין דער נעגאַטיוויטי-רידוסט צושטאַנד געניצט ווייניקערע נעגאַטיווע ווערטער און מער positive ווערטער, און פּאַרטיסאַפּאַנץ אין די פּאָסיטיוויטי-רידוסט צושטאַנד געניצט מער נעגאַטיוו ווערטער און ווייניקערע positive ווערטער. באַרס רעפּראַזענץ עסטימאַטעד נאָרמאַל ערראָרס. Adapted from Kramer, Guillory, and Hancock (2014), figure 1.

ציפער 4.24: עווידענסע פון ​​עמאָציאָנעל קאַנטאַגיי (Kramer, Guillory, and Hancock 2014) . פּאַרטיסיפּאַנץ אין דער נעגאַטיוויטי-רידוסט צושטאַנד געניצט ווייניקערע נעגאַטיווע ווערטער און מער positive ווערטער, און פּאַרטיסאַפּאַנץ אין די פּאָסיטיוויטי-רידוסט צושטאַנד געניצט מער נעגאַטיוו ווערטער און ווייניקערע positive ווערטער. באַרס רעפּראַזענץ עסטימאַטעד נאָרמאַל ערראָרס. Adapted from Kramer, Guillory, and Hancock (2014) , figure 1.

איידער דיסקוטירן די עטישע פּראָבלעמס אויפגעהויבן דורך דעם עקספּערימענט, איך וואָלט ווי צו באַשרייַבן דרייַ וויסנשאפטלעכע ישוז ניצן עטלעכע פון ​​די געדאנקען פון פריער אין דעם קאַפּיטל. ערשטער, עס איז נישט קלאָר ווי די פאַקטיש פרטים פון דער עקספּערימענט פאַרבינדן צו די טעאָרעטיש קליימז; אין אנדערע ווערטער, עס זענען פראגעס וועגן בויען גילטיקייַט. עס איז נישט קלאָר אַז די positive און נעגאַטיוו וואָרט קאַונץ זענען פאקטיש אַ גוט גראדן פון די עמאָציאָנעל שטאַט פון פּאַרטיסאַפּאַנץ ווייַל (1) עס איז נישט קלאָר אַז די ווערטער וואָס מענטשן פּאָסטן זענען אַ גוט גראדן פון זייער ימאָושאַנז און (2) עס איז נישט קלאָר אַז די באַזונדער סענטימענט אַנאַליסיס טעכניק אַז די ריסערטשערז געניצט איז ביכולת צו רילייאַבלי אַרייַנשטויסן ימאָושאַנז (Beasley and Mason 2015; Panger 2016) . אין אנדערע ווערטער, עס קען זיין אַ שלעכט מעסטן פון אַ בייאַסט סיגנאַל. רגע, דער פּלאַן און אַנאַליסיס פון דער עקספּערימענט דערציילט אונדז גאָרנישט וועגן ווער איז געווען רובֿ ימפּרעסט (ד"ה עס איז קיין אַנאַליסיס פון העטעראָגענעיטי פון באַהאַנדלונג יפעקץ) און וואָס די מעקאַניזאַם זאל זיין. אין דעם פאַל, די ריסערטשערז האבן גורל פון אינפֿאָרמאַציע וועגן די פּאַרטיסאַפּאַנץ, אָבער זיי זענען ימפּרוווד ווי ווידזשיץ אין די אַנאַליסיס. דריט, די ווירקונג גרייס אין דעם עקספּערימענט איז געווען זייער קליין; דער חילוק צווישן די באַהאַנדלונג און קאָנטראָל טנאָים איז וועגן 1 אין 1,000 ווערטער. אין זייער פּאַפּיר, קראַמער און חברים מאַכן דעם פאַל אַז אַ ווירקונג פון דעם גרייס איז וויכטיק ווייַל הונדערטער פון מיליאַנז פון מענטשן צוטריט זייער נייַעס פיטער יעדער טאָג. אין אנדערע ווערטער זיי טייַנען אַז אַפֿילו אויב די יפעקס זענען קליין פֿאַר יעדער מענטש, זיי זענען גרויס אין אַ גאַנץ. אפילו אויב איר געווען צו אָננעמען דעם אַרגומענט, עס איז נאָך ניט קלאָר אויב אַ ווירקונג פון דעם גרייס איז וויכטיק פֿאַר די מער גענעראַל וויסנשאפטלעכע קשיא וועגן די פאַרשפּרייטן פון עמאָציע (Prentice and Miller 1992) .

אין דערצו צו די וויסנשאפטלעכע פֿראגן, בלויז טעג נאָך דעם פּאַפּיר איז ארויס אין פּראָזעעסינגס פון די נאַשאַנאַל אַקאַדעמי פון ססיענסעס , עס איז געווען אַ ריזיק אַוטקיי פון ביידע פאָרשער און די דרוק (איך וועט באַשרייַבן די אַרמאַמאַנץ אין דעם דעבאַטע אין מער דעטאַל אין קאַפּיטל 6 ). די פּראָבלעמס אויפצושטעלן אין דעם דעבאַטע האָט אַרויסגעוויזן דעם זשורנאַל צו אַרויסרופן אַ זעלטן "רעדאקציע פון ​​דער דאָקטער" וועגן די עטיקס און די עטישע איבערבליק פּראָצעס פֿאַר דער פאָרשונג (Verma 2014) .

איך האָב איצט געוויזן אַז דער הינטערגרונד פון עמאָציאָנעל קאָנטאַגיאָן, אַז איך קען איצט ווייַזן אַז די דרייַ R ס קענען באַטראַכטן באַטאָנען, פּראַקטיש ימפּרווומאַנץ פֿאַר פאַקטיש שטודיום (וואָס איר האָט פּערסאַנאַלי טראַכטן וועגן די עטיקס פון דעם באַזונדער עקספּערימענט). דער ערשטער ר איז פאַרבייַטן : פאָרשער זאָל זוכן צו פאַרבייַטן יקספּעראַמאַנץ מיט ווייניקער ינווייסיוו און ריזיקאַליש טעקניקס, אויב מעגלעך. למשל, אלא ווי פליסנדיק אַ ראַנדאַמייזד קאַנטראָולד עקספּערימענט, די ריסערטשערז קען האָבן עקספּלויטאַד אַ נאַטירלעך עקספּערימענט . ווי דיסקרייבד אין קאַפּיטל 2, נאַטירלעך יקספּעראַמאַנץ זענען סיטואַטיאָנס ווו עפּעס כאַפּאַנז אין דער וועלט אַז אַפּראָוטשיז די טראַפ - אַסיינמאַנט פון טריטמאַנץ (למשל, אַ לאָטעריע צו באַשליסן וואָס וועט זיין דראַמאַטאַד אין די מיליטעריש). די עטישע פאָרויס פון אַ נאַטירלעך עקספּערימענט איז אַז די פאָרשער טוט נישט האָבן צו באַפרייַען טריטמאַנץ: די סוויווע טוט אַז פֿאַר איר. פֿאַר בייַשפּיל, כּמעט קאַנקעראַנטלי מיט די עמאָציאָנעל קאָנטאַגיאָן עקספּערימענט, Lorenzo Coviello et al. (2014) זענען עקספּלויטינג וואָס קען זיין גערופן אַ עמאָציאָנעל קאָנטאַגיאָן נאַטירלעך עקספּערימענט. קאָוויעללאָ און חברים דיסקאַווערד אַז מענטשן פּאָסטן מער נעגאַטיוו ווערטער און ווייניקערע positive ווערטער אויף טעג ווו עס איז ריינינג. דעריבער, דורך ניצן וואַגאָן ווערייישאַן אין דעם וועטער, זיי זענען ביכולת צו לערנען די ווירקונג פון ענדערונגען אין די נייַעס פיטער אָן די נויט צו ינערווין בייַ אַלע. עס איז געווען ווי אויב די וועטער איז געווען פליסנדיק זייער עקספּערימענט פֿאַר זיי. די פרטים פון זייער פּראָצעדור זענען אַ ביסל קאָמפּליצירט, אָבער די מערסט וויכטיק פונט פֿאַר אונדזער צוועקן דאָ איז אַז ניצן אַ נאַטירלעך עקספּערימענט, קאָוויעללאָ און קאָללאַריעס זענען ביכולת צו לערנען וועגן פאַרשפּרייטן פון ימאָושאַנז אָן די דאַרפֿן צו לויפן זייער אייגן עקספּערימענט.

די רגע פון ​​די דרייַ רס איז ראַפינירט : ריסערטשערז זאָל זיין זוכט צו ראַפינירן זייער טריטמאַנץ צו מאַכן זיי ווי ומשעדלעך ווי מעגלעך. פֿאַר בייַשפּיל, אלא ווי בלאַקינג צופרידן וואָס איז געווען positive אָדער נעגאַטיוו, די פאָרשער קענען האָבן בוסטיד צופרידן אַז איז positive אָדער נעגאַטיוו. דאס בוסטינג פּלאַן וואָלט האָבן געביטן דעם עמאָציאָנעל צופרידן פון די נייַעס פידז פּאַרטיסאַפּאַנץ, אָבער עס וואָלט האָבן אַדרעסד איינער פון די קאַנסערנז אַז קריטיקערס אויסגעדריקט: אַז די יקספּעראַמאַנץ קען האָבן געפֿירט פּאַרטיסאַפּאַנץ צו פאַרפירן וויכטיק אינפֿאָרמאַציע אין זייער נייַעס פיטער. מיט דעם פּלאַן געניצט דורך קראַמער און חברים, אַ אָנזאָג אַז איז וויכטיק איז ווי מסתּמא צו זיין אפגעשטעלט ווי איינער וואָס איז נישט. אָבער, מיט אַ בוסטינג פּלאַן, די אַרטיקלען אַז וואָלט זיין דיספּלייסט וואָלט זיין די וואָס זענען ווייניקער וויכטיק.

צום סוף, די דריט ר איז רעדוצירן : פאָרשער זאָל דאַרפֿן צו רעדוצירן די נומער פון פּאַרטיסאַפּאַנץ אין זייער עקספּערימענט צו די מינימום דארף צו דערגרייכן זייער וויסנשאפטלעכע אָביעקטיוו. אין אַנאַלאָג יקספּעראַמאַנץ, דאָס איז געווען געוויינטלעך ווייַל פון די הויך בייַטעוודיק קאָס פון פּאַרטיסאַפּאַנץ. אבער אין דיגיטאַל יקספּעראַמאַנץ, ספּעציעל די מיט נול בייַטעוודיק פּרייַז, ריסערטשערז טאָן ניט אַנטקעגנשטעלנ זיך אַ פּרייַז קאַנסטריינד אויף די גרייס פון זייער עקספּערימענט, און דאָס האט די פּאָטענציעל צו פירן צו אַננעסאַסעראַלי גרויס יקספּעראַמאַנץ.

פֿאַר בייַשפּיל, קראַמער און חברים קען האָבן געניצט פאַר - באַהאַנדלונג אינפֿאָרמאַציע וועגן זייער פּאַרטיסאַפּאַנץ - אַזאַ ווי פאַר - באַהאַנדלונג פּאָוסטינג נאַטור - צו מאַכן זייער אַנאַליסיס מער עפעקטיוו. מער ספעציעל, ווי קאַמפּערד די פּראָפּאָרציע פון ​​positive ווערטער אין די באַהאַנדלונג און קאָנטראָל טנאָים, קראַמער און חברים קען האָבן קאַמפּערד די ענדערונג אין די פּראָפּאָרציע פון ​​positive ווערטער צווישן באדינגונגען; אַ צוגאַנג וואָס איז מאל גערופן אַ געמישט פּלאַן (פיגור 4.5) און מאל גערופן אַ חילוק-אין-דיפעראַנסיז עסטימאַטאָר. דעריבער, פֿאַר יעדער באַטייליקטער, די ריסערטשערז קען האָבן באשאפן אַ ענדערונג כעזשבן (פּאָסטן-באַהאַנדלונג אָפּפירונג \(-\) פאַר-באַהאַנדלונג אָפּפירונג) און דעמאָלט קאַמפּערד די ענדערונג סקאָרז פון פּאַרטיסאַפּאַנץ אין די באַהאַנדלונג און קאָנטראָל טנאָים. דעם חילוק-אין-דיפעראַנסיז צוגאַנג איז מער עפעקטיוו סטאַטיסטיש, וואָס מיטל אַז ריסערטשערז קענען דערגרייכן די זעלבע סטאַטיסטיש צוטרוי ניצן פיל קלענערער סאַמפּאַלז.

אָן בעת ​​די רוי דאַטע, עס איז שווער צו וויסן פּונקט ווי פיל מער עפעקטיוו אַ חילוק-אין-דיפעראַנסיז עסטימאַטאָר וואָלט געווען אין דעם פאַל. אָבער מיר קענען קוקן אין אנדערע פֿאַרבונדענע יקספּעראַמאַנץ פֿאַר אַ פּראָסט געדאַנק. Deng et al. (2013) געמאלדן אַז דורך ניצן אַ פאָרעם פון די חילוק-אין-דיפעראַנסיז עסטימאַטאָר, זיי זענען ביכולת צו רעדוצירן די בייַטנ לויט דער ריי פון זייער עסטאַמאַץ דורך וועגן 50% אין דרייַ פאַרשידענע אָנליין יקספּעראַמאַנץ; ענלעכע רעזולטאַטן האָבן שוין געמאלדן דורך Xie and Aurisset (2016) . דעם 50% אָפּזוך רעדוקציע מיטל אַז די עמאָציאָנעל קאָנטאַגיאָן ריסערטשערז זאל האָבן שוין קענען צו שנייַדן זייער מוסטער אין העלפט אויב זיי האבן געניצט אַ ביסל אַנדערש אַנאַליסיס אופֿן. אין אנדערע ווערטער, מיט אַ קליינטשיק ענדערונג אין די אַנאַליסיס, 350.000 מענטשן זאלן האָבן ספּערד אָנטייל אין די עקספּערימענט.

אין דעם פאַל, איר קען זיין וואַנדערינג וואָס פאָרשער זאָל זאָרגן אויב 350.000 מענטשן זענען אין עמאָציאָנעל קאָנטאַגיאָן אַננעסאַסעראַלי. עס זענען צוויי באַזונדער פֿעיִקייטן פון עמאָציאָנעל קאָנטאַגיאָן וואָס מאַכן דייַגע מיט ויסווייניקסט גרייס צונעמען, און די פֿעיִקייטן זענען שערד דורך פילע דיגיטאַל פעלד יקספּעראַמאַנץ: (1) עס איז אַנסערטאַנטי וועגן צי די עקספּערימענט וועט פאַרשאַפן שעדיקן צו בייַ מינדסטער עטלעכע פּאַרטיסאַפּאַנץ און (2) אָנטייל איז נישט וואַלאַנטערי. עס מיינט גלייַך צו פּרובירן צו האַלטן יקספּעראַמאַנץ וואָס האָבן די פֿעיִקייטן ווי קליין ווי מעגלעך.

צו זיין קלאָר, דער פאַרלאַנג צו רעדוצירן די גרייס פון דיין עקספּערימענט טוט נישט מיינען אַז איר זאָל נישט לויפן גרויס, נול בייַטעוודיק פּרייַז יקספּעראַמאַנץ. עס פּונקט מיטל אַז דיין יקספּעראַמאַנץ זאָל נישט זיין קיין גרעסער ווי איר דאַרפֿן צו דערגרייכן דיין וויסנשאפטלעכע אָביעקטיוו. איינער וויכטיק וועג צו מאַכן זיכער אַז אַ עקספּערימענט איז אַפּראָופּרייטלי סייזד איז צו אָנפירן אַ מאַכט אַנאַליסיס (Cohen 1988) . אין די אַנאַלאָג עלטער, ריסערטשערז בכלל האָבן מאַכט אַנאַליסיס צו מאַכן זיכער אַז זייער לערנען איז נישט צו קליין (ד"ה, אונטער-Powered). איצט, אָבער, פאָרשער זאָל טאָן מאַכט אַנאַליסיס צו מאַכן זיכער אַז זייער לערנען איז נישט צו גרויס (ד"ה, איבער-מאַכט).

אין פאָרשונג, די דרייַ ר'ס-פאַרבייַטן, ראַפינירן, און פאַרמינערן-צושטעלן פּרינציפּן וואָס קענען העלפן ריסערטשערז בויען עטיקס אין זייער יקספּערמענאַל דיזיינז. פון קורס, יעדער פון די מעגלעך ענדערונגען צו עמאָטיאָנאַל קאָנטראַגיאָן ינטראַדוסיז האַנדל-אָפס. פֿאַר בייַשפּיל, זאָגן פון נאַטירלעך יקספּעראַמאַנץ איז ניט שטענדיק ווי ריין ווי אַז פון ראַנדאַמייזד יקספּעראַמאַנץ, און בוסטינג צופרידן קען האָבן געווען לאַדזשיסטיקאַלי מער שווער צו ינסטרומענט ווי בלאַקינג צופרידן. אַזוי, דער ציל פון סאַגדזשעסטינג די ענדערונגען איז נישט צו צווייט-טרעפן די דיסיזשאַנז פון אנדערע ריסערטשערז. אלא, עס איז געווען צו ימפּלייז ווי די דרייַ R ס קען זיין געווענדט אין אַ רעאַליסטיש סיטואַציע. אין פאַקט, די אַרויסגעבן פון האַנדל-אָפס קומט אַרויף אַלע די צייַט אין פאָרשונג פּלאַן, און אין די דיגיטאַל-עלטער, די די האַנדל-אָפס וועט ינקריסינגלי אַרייַנציען עטישע באַטראַכטונגען. שפּעטער, אין קאַפּיטל 6, איך וועט פאָרשלאָגן עטלעכע פּרינציפּן און עטישע פראַמעוואָרקס אַז קענען העלפן ריסערטשערז פֿאַרשטיין און דיסקוטירן די האַנדל-אָפס.