4.3 שני ממדים של ניסויים: שדה-מעבדה-דיגיטלי אנלוגי
ניסויי מעבדה להציע שליטה, ניסוי שדה להציע ריאליזם, ניסויי שדה דיגיטליים לשלב מלאי ריאליזם בקנה המידה נרחב.
ניסויים לבוא בהרבה צורות וגדלים שונים. אבל, למרות הבדלים אלו, החוקרים מצאו שתוכנית זו יעילה לארגן ניסויים על רצף בין ניסויי מעבדה וניסויים בשטח. עכשיו, עם זאת, חוקרים צריכים גם לארגן ניסויים על רצף בין ניסויים אנלוגיים וניסויים דיגיטליים. עיצוב חלל דו מימדי זה יעזור לך להבין את נקודות החוזק והחולשה של גישות שונות ולהציע תחומי ההזדמנות הגדולה ביותר (איור 4.1).
איור 4.1: סכמטי של מרחב תכנון לניסויים. בעבר, ניסויים מגוונים לאורך מימד מעבדה בתחום. עכשיו, הם גם להשתנות על המימד אנלוגי-דיגיטלי. לדעתי, בתחום ההזדמנות הגדולה ביותר הוא ניסויים בתחום הדיגיטל.
בעבר, הדרך העיקרית שחוקרים מאורגנים ניסויים הייתה לאורך ממד מעבדה בתחום. רוב הניסויים במדעי החברה הם ניסויי מעבדה שבו סטודנטים לתואר ראשון לבצע משימות מוזרות במעבדה לאשראי כמובן. סוג זה של ניסוי שולט מחקר בפסיכולוגיה משום שהיא מאפשרת לחוקרים ליצור טיפולים מאוד ספציפיים שנועדו לבחון תאוריות ספציפיות מאוד על התנהגות חברתית. עבור בעיות מסוימות, לעומת זאת, משהו מרגיש קצת מוזר מלהסיק מסקנות חזקות על התנהגות אנושית מאנשים כאלה חריגים ביצוע משימות יוצאות דופן כזה בסביבה יוצאת דופן כזה. חששות אלו הובילו תנועה לכיוון ניסויי שדה. ניסויי שדה לשלב את העיצוב החזק של ניסויי שליטה אקראיים עם קבוצות מייצגות בצורה טובות יותר משתתפים, ביצוע משימות נפוצות יותר, בסביבה טבעית יותר.
למרות שחלק מהאנשים רואים ניסויי מעבדה ושדה כמתחרים שיטות, עדיף לחשוב עליהם כעל שיטות משלימות עם עוצמות וחולשות שונות. לדוגמא, Correll, Benard, and Paik (2007) משמש הוא ניסוי מעבדה וניסוי שדה בניסיון למצוא את המקורות של "עונש האמהות." בארצות הברית, אמהות להרוויח פחות כסף מאשר נשים ללא ילדים, גם כאשר נשי השוואה עם כישורים דומים בעבודות דומות. ישנם הסברים רבים אפשריים לתופעה, ואחד הוא שמעסיק מוטה נגד אמהות. (מעניין לציין, כי ההפך נראה נכון גם לגבי אבות: הם נוטים להרוויח יותר מגברים ערירי מקבילים). על מנת להעריך הטיה אפשרית נגד אמהות, קורל ועמיתיו רצים שני ניסויים: אחד במעבדה ואחד בתחום.
ראשית, בניסוי מעבדה קורל ועמיתיו אמר למשתתפים, שהיו סטודנטים לצפות, כי חברת תקשורת סטארט-אפ מקליפורניה ניהל חיפוש תעסוקה לאדם להוביל מחלקת השיווק החוף המזרחי החדש שלה. סטודנטים נאמרו כי החברה רצתה עזרו בתהליך הקבלה והם התבקשו לסקור את קורות חיים של מועמדים כמה פוטנציאל לדרג את המועמדים על מספר הממדים כגון המודיעין, חום, ומחויבותם לעבוד. יתר על כן, התלמידים נשאלו האם הם ימליצו שכירה המבקש ומה הם ימליצו כמו שכר התחלתי. בלי להכיר את התלמידים, לעומת זאת, קורות החיים נבנו במיוחד כדי להיות דומה, למעט דבר אחד: כמה קורות חי סימן אמהות (על ידי הוספה במעורבות ארגון הורים-מורים) וחלק לא. קורל מצא שתלמידים נטו פחות להמליץ שכירת האמהות והציעו להם משכורת התחלתית נמוכה יותר. יתר על כן, באמצעות ניתוח סטטיסטי של שני דירוגים וההחלטות קשורים לעבודה, קורל מצא כי החסרונות של האמהות הוסברו בעיקר בשל העובדה כי אמהות דורגו נמוכות במונחים של יכולת ומחויבת. במילים אחרות, קורל טוען כי תכונות אלה הן המנגנון שדרכו אמהות הן מוחלשות. לכן, ניסוי במעבדה זו אפשר קורל ועמיתיו למדוד השפעה סיבתי ולספק הסבר אפשרי לכך.
כמובן, אפשר להיות סקפטי לגבי הסקת מסקנות לגבי שוק העבודה האמריקאי כולו מבוסס על ההחלטות של כמה מאה סטודנטים שיש להם כנראה אף פעם לא היו לי עבודה במשרה מלאה, שלא לדבר על שכר אנשים. לכן, קורל ועמיתיו ערכו גם ניסוי שדה משלימים. החוקרים הגיבו מאות משרות המפורסם על ידי שליחת מכתבים נלווים זיוף קורות חיים. בדומה החומרים המוצגים על סטודנטים, כמה קורות חיים סימן האמהות וחלק לא. קורל ועמיתיו מצאו כי אמהות היו פחות צפויות לקבל התקשרתי שוב לראיונות מנשימים ללא ילדים מוכשרים במידה שווה. במילים אחרות, מעסיקים אמיתי בקבלת החלטות בסביבה טבעית התנהג ממש כמו סטודנטים. האם הם מקבלים החלטות דומות מאותה הסיבה? למרבה הצער, אנחנו לא יודעים. החוקרים לא היו מסוגלים לשאול את המעסיקים כדי לדרג את המועמדים או להסביר את החלטותיהם.
זוג ניסויים זה חושף הרבה על ניסויי מעבדה ושדה בכלל. ניסויי מעבדה מציעים החוקרים ליד שליטה מוחלטת של הסביבה בה המשתתפים מקבלים החלטות. כך, למשל, בניסוי המעבדה, קורל הצליח להבטיח כי כל קורות החיים הוקראו בסביבה שקטה; בניסוי השדה, חלק קורות החיים אולי אפילו לא נקרא. יתרה מזאת, מאחר המשתתפים בתנאי מעבדה יודעים שהם הנלמד, החוקרים מצליחים לאסוף נתונים נוספים שיכולים לעזור להם להבין מדוע המשתתפים מקבלים החלטות שלהם. לדוגמא, קורל שאל משתתפים בניסוי המעבדה לדרג את המועמדים על ממדים שונים. סוג זה של נתוני תהליך יכול לסייע לחוקרים להבין את המנגנונים מאחורי ההבדלים באופן שבו המשתתף לטפל קורות החיים.
מצד השני, אותם מאפיינים אלה גובים כי רק תארתי כמו יתרונות שאמורים גם לפעמים נחשבו חסרונות. חוקרים המעדיפים ניסויי שדה טוענים כי המשתתפים בניסויים במעבדה יכול להתנהג באופן שונה מאוד כאשר הם נמצאים נצפו מקרוב. לדוגמה, במעבדה משתתפי הניסוי שניתן לנחש את מטרת המחקר שינו את התנהגותם כדי לא להופיע מוטה. יתר על כן, חוקרים המעדיפים ניסוי שדה עשוי לטעון פער קטן בקורות חיים יכולים להתבלט רק בסביבת מעבדה מאוד נקיה, סטרילי, ובכך הניסוי במעבדה יהיה יתר לאמוד את השפעת אמהות על החלטות שכירה אמיתית. לבסוף, חסידים רבים של ניסויי שדה הביקורת ניסויי מעבדת הסתמכות על משתתפי WEIRD: בעיקר סטודנטים מן המערב, משכיל, מתועש, ריץ ', ומדינות דמוקרטיות (Henrich, Heine, and Norenzayan 2010) . הניסויים על ידי קורל ועמיתיו (2007) ממחישים את שני הקצוות על רצף מעבדה בתחום. בין שני הקצוות הללו יש מגוון של עיצובים היברידיים כוללים גישות כגון הבאה שאינם סטודנטים למעבדה או לצאת לשדה אבל אתה עדיין נתקלת המשתתף לבצע משימה יוצאת דופן.
בנוסף לממד מעבדה בתחום שהיה קיים בעבר, בעידן הדיגיטלי אומר שעכשיו יש חוקרי ממד עיקרי שני שלאורכו ניסויים יכולים להשתנות: אנלוגי, דיגיטלי. בדיוק כפי שיש ניסויי מעבדה טהורים, ניסוי שדה טהור, וכן מגוון של מכוניות היברידיות בין, ישנם ניסויים אנלוגיים טהורים, ניסויים דיגיטליים טהורים, וכן מגוון של מכוניות היברידיות. זה מסובך להציע הגדרה פורמלית של הממד הזה, אבל הגדרת עבודה שימושית היא שניסויים דיגיטליים מלא הם ניסויים העושים שימוש בתשתית דיגיטלית לגייס משתתפים, באקראי, לספק טיפולים, ולמדוד את תוצאות. לדוגמה, ךסטיבו ו של ואן דה Rijt (2012) חקר barnstars וויקיפדיה היה ניסוי דיגיטלי מלא כי זה משמש מערכת דיגיטלית של כל ארבעת השלבים הבאים. כמו כן באופן מלא ניסויים אנלוגיים הם ניסויים שאינם עושים שימוש בתשתית דיגיטלית עבור כל אחד מארבעה השלבים הבאים. רבים מן הניסויים הקלסיים בפסיכולוגיה הם ניסויים אנלוגיים. בין שני הקצוות הללו ישנם ניסויים דיגיטליים חלקית כי להשתמש בשילוב של מערכות אנלוגיות ודיגיטליות עבור הארבעה השלבים.
האנושות, ההזדמנויות לרוץ ניסויים דיגיטליים הם לא רק באינטרנט. חוקרים יכולים להריץ ניסויים דיגיטליים חלקית באמצעות מכשירים דיגיטליים בעולם הפיזי כדי לספק טיפולים או למדוד תוצאות. לדוגמא, חוקרים יכלו להשתמש בטלפונים חכמים כדי לספק טיפולים או חיישני הסביבה הבנויה למדוד תוצאות. למעשה, כפי שנראה בהמשך הפרק, החוקרים כבר השתמשו מטרים חשמל ביתי למדידת התוצאות בניסויים על נורמות חברתיות וצריכת אנרגיה, הכרוך 8.5 מיליון משקי הבית (Allcott 2015) . כמו מכשירים דיגיטליים להתערות יותר ויותר לתוך חייהם של אנשים וחיישנים להשתלב הסביבה הבנויה, הזדמנויות אלה כדי להריץ ניסויים דיגיטלי חלקית בעולם הפיזי יגדל באופן דרמטי. במילים אחרות, ניסויים דיגיטלי לא רק ניסויים באינטרנט.
מערכת דיגיטלית ליצור אפשרויות חדשות עבור ניסויים בכל מקום לאורך רצף מעבדה בתחום. בניסויים במעבדה טהורים, למשל, חוקרים יכולים להשתמש במערכות דיגיטליות למדידה עדינה של ההתנהגות של המשתתפים; דוגמא אחת של סוג זה של מדידת משופר ציוד העוקב אחר תנועת עין מספק אמצעים מדויקים ורציפים של מיקום מבט. העידן הדיגיטלי גם יוצר את האפשרות להריץ ניסויים דמויי מעבדה באינטרנט. לדוגמא, חוקרים אמצו במהירות אמזון מכונה טורק (MTurk) כדי לגייס משתתפים לניסויים מקוונים (איור 4.2). MTurk תואם "מעסיק" שיש להם משימות שצריכות להסתיים עם "עובדים" המבקשים להשלים משימות אלה תמורת כסף. בניגוד שוקי עבודה מסורתיים, לעומת זאת, עם מטלות בדרך כלל רק לדרוש כמה דקות כדי להשלים את האינטראקציה כולו בין מעביד לעובד היא וירטואלית. בגלל היבטים מחק MTurk של ניסויים משלמים במעבדה מסורתיות לאנשים להשלים משימות שהם לא יעשו בחינם-הוא מתאים באופן טבעי עבור סוגים מסוימים של ניסויים. בעיקרו של דבר, MTurk יצרה תשתית לניהול מאגר של משתתפים בגיוס אנשים משלמים-וחוקרים נצלו תשתית להתחבר אל ברכה תמיד זמינה של משתתפים.
איור 4.2: מאמרים שפורסמו באמצעות נתונים של אמזון מכונות טורק (MTurk) (Bohannon 2016) . MTurk ושווקי עבודה מקוונים אחרים מציעים חוקרים דרך נוחה לגייס משתתפים לניסויים.
ניסויים דיגיטליים ליצור עוד יותר אפשרויות ניסוייות שדה דמוי. ניסויי שדה דיגיטליים יכולים להציע נתונים מלאי תהליך חזקים להבין מנגנונים אפשריים (כמו ניסויים במעבדה) ומשתתף מגוונים יותר בקבלת החלטות אמיתיות בסביבה טבעית (כמו ניסויי שדה). בנוסף השילוב הזה של תכונות טובות של ניסויים קודמים, ניסויים בתחום הדיגיטל להציע גם שלוש הזדמנויות שהיו קשים בניסויי מעבדה ושדה אנלוגיים.
ראשית, בעוד ניסויים אנלוגי מעבדה ושדה ביותר שיש מאות משתתפים, ניסויי שדה דיגיטלי יכול להיות מיליוני משתתפים. שינוי זה קנה המידה הוא כי ניסויים דיגיטליים מסוימים יכולים לייצר נתונים בעלות משתנה אפס. כלומר, פעם החוקרים יצרו תשתית ניסיוני, הגדלת מספר המשתתפים בדרך כלל אינו מעלה את העלות. הגדלת מספר המשתתפים בפקטור של 100 או יותר הוא לא רק שינוי כמוני, הוא שינוי איכותי, משום שהוא מאפשר לחוקרים ללמוד דברים שונים מניסויים (למשל, ההטרוגניות של שפעות טיפול) ולהפעיל עיצובים ניסיוניים שונים לחלוטין ( למשל, ניסויי קבוצה גדולים). נקודה זו היא כל כך חשובה, אני אחזור אליו לקראת סוף הפרק כשאני מציעה ייעוץ על יצירת ניסויים דיגיטליים.
שנית, בעוד ניסויים אנלוגי מעבדה ושדה ביותר לטפל המשתתפים כמו יישומונים נבדל, ניסויים בתחום הדיגיטל מרבים להשתמש מידע רקע על המשתתפים בשלבי התכנון וניתוח של מחקר. מידע רקע זה, אשר נקרא מידע טרום טיפול, הוא לעתים קרובות זמין בניסויים דיגיטליים כי הן מתרחשות בסביבות נמדדו באופן מלא. לדוגמא, חוקר פייסבוק יש הרבה יותר מידע טרום טיפול מאשר חוקר מתכנן ניסוי מעבדה סטנדרטי עם סטודנטים. מידע טרום טיפול זה מאפשר לחוקרים להתקדם מעבר לטיפול המשתתפים יישומונים כמו נבדל. באופן ספציפי יותר, מידע טרום טיפול מאפשר עיצובים כאלה ניסיוני יעילים יותר כמו חסימה (Higgins, Sävje, and Sekhon 2016) וגיוס ממוקד של משתתפים (Eckles, Kizilcec, and Bakshy 2016) -ואז ניתוח כזה תובנה יותר להערכת ההטרוגניות שפעות טיפול (Athey and Imbens 2016a) וכוונון covariate עבור דיוק משופר (Bloniarz et al. 2016) .
שלישית, בעוד ניסויי מעבדה ושדה אנלוגיים רבים לספק טיפולים ותוצאות מדד בסכום דחוס יחסי של זמן, כמה ניסויים בתחום הדיגיטל לערב טיפולים שיכולים להיות מועבר לאורך זמן ואת ההשפעות ניתן גם למדוד לאורך זמן. לדוגמא, ו ךסטיבו הניסוי של ואן דה Rijt יש את התוצאה נמדדת יומי למשך 90 יום, ואחד הניסויים אני אגיד לך על בהמשך הפרק (Ferraro, Miranda, and Price 2011) עוקב אחר תוצאות במשך 3 שנים בבית בעצם לא עֲלוּת. הזדמנויות בגודל שלושה אלה, מידע טרום טיפול, וטיפול ותוצאת אורך הנתונים הם נפוצים ביותר, כאשר ניסויים מנוהלים על גבי מערכות מדידות תמיד-על (ראה פרק 2 עבור יותר על תמיד על מערכות מדידה).
בעוד ניסויים בתחום הדיגיטל להציע אפשרויות רבות, הם גם חולקים כמה חולשים בשתי מעבדה אנלוגית ניסויי שדה. לדוגמה, ניסויים לא יכול לשמש כדי לחקור את העבר, והם רק יכולים להעריך את ההשפעות של טיפולים שניתן לטפל בו. כמו כן, למרות ניסויים הם ללא ספק שימושיים להנחות מדיניות, הדרכתו המדויקת שהם יכולים להציע הוא מוגבל למדי בשל סיבוכים כמו תלות סביבתית, בעיות תאימות, ואפקטי שיווי משקל (Banerjee and Duflo 2009; Deaton 2010) . לבסוף, ניסויים בתחום הדיגיטל להגדיל את הדאגות האתיות נוצרו על ידי ניסויי שדה. חסידי ניסויי שדה החצוצרה יכל בלא הפרעה אקראית להתערב בהחלטות תוצאתי שנעשו על ידי מיליוני אנשים. תכונות אלה מציעות יתרונות מדעיים מסוימים, אך הם יכולים גם לעשות ניסויי תחום מורכבים מבחינה אתית (חושב על זה כחוקרים לטיפול באנשים כמו "עכבר מעבדה" בקנה מידה עצום). יתר על כן, בנוסף סכנות אפשריות למשתתפים, ניסויים בתחום הדיגיטל, כי לגודל שלהם, יכולים גם להעלות חששות לגבי השיבוש של עבודת מערכות חברתיות (למשל, חששות לגבי שיבוש מערכת הגמול של ויקיפדיה אם ךסטיבו ואת ואן דר Rijt נתנו יותר מדי barnstars) .
