4.3 प्रयोगों के दो आयाम: लैब-क्षेत्र और एनालॉग से डिजिटल

प्रयोगशाला प्रयोगों नियंत्रण प्रदान करते हैं, क्षेत्र प्रयोगों यथार्थवाद की पेशकश करते हैं, और डिजिटल क्षेत्र प्रयोगों पैमाने पर नियंत्रण और यथार्थवाद गठबंधन।

प्रयोग कई अलग-अलग आकार और आकार में आते हैं। अतीत में, शोधकर्ताओं ने लैब प्रयोगों और क्षेत्र प्रयोगों के बीच निरंतरता के साथ प्रयोगों को व्यवस्थित करने में मददगार पाया है। अब, हालांकि, शोधकर्ताओं को एनालॉग प्रयोगों और डिजिटल प्रयोगों के बीच एक दूसरे निरंतरता के साथ प्रयोगों को व्यवस्थित करना चाहिए। यह द्वि-आयामी डिज़ाइन स्पेस आपको विभिन्न दृष्टिकोणों की ताकत और कमजोरियों को समझने में मदद करेगा और सबसे बड़े अवसरों (आकृति 4.1) को हाइलाइट करेगा।

चित्रा 4.1: प्रयोगों के लिए डिजाइन अंतरिक्ष के योजनाबद्ध। अतीत में प्रयोगशाला-क्षेत्र आयाम के साथ प्रयोग भिन्न थे। अब, वे एनालॉग-डिजिटल आयाम पर भी भिन्न होते हैं। इस द्वि-आयामी डिजाइन स्थान को इस अध्याय में वर्णित चार प्रयोगों द्वारा चित्रित किया गया है। मेरी राय में, महान अवसर का क्षेत्र डिजिटल क्षेत्र प्रयोग है।

एक आयाम जिसके साथ प्रयोगों का आयोजन किया जा सकता है वह लैब-फील्ड आयाम है। सामाजिक विज्ञान में कई प्रयोग प्रयोगशाला प्रयोग हैं जहां स्नातक छात्र कोर्स क्रेडिट के लिए प्रयोगशाला में अजीब कार्य करते हैं। इस प्रकार का प्रयोग मनोविज्ञान में अनुसंधान पर हावी है क्योंकि यह शोधकर्ताओं को सामाजिक व्यवहार के बारे में विशिष्ट सिद्धांतों को सटीक रूप से अलग करने और परीक्षण करने के लिए अत्यधिक नियंत्रित सेटिंग्स बनाने में सक्षम बनाता है। कुछ समस्याओं के लिए, हालांकि, असामान्य सेटिंग में ऐसे असामान्य कार्यों को करने वाले असामान्य लोगों से मानव व्यवहार के बारे में मजबूत निष्कर्ष निकालने के बारे में कुछ अजीब लगता है। इन चिंताओं ने क्षेत्र प्रयोगों की ओर एक आंदोलन का नेतृत्व किया है। क्षेत्र प्रयोग अधिक यादृच्छिक नियंत्रण प्रयोगों के मजबूत डिज़ाइन को जोड़ते हैं, जिसमें प्रतिभागियों के अधिक प्रतिनिधि समूह अधिक प्राकृतिक सेटिंग्स में अधिक सामान्य कार्य करते हैं।

यद्यपि कुछ लोग प्रतिस्पर्धी तरीकों के रूप में प्रयोगशाला और क्षेत्र प्रयोगों के बारे में सोचते हैं, लेकिन विभिन्न शक्तियों और कमजोरियों के साथ पूरक के रूप में उनके बारे में सोचना सबसे अच्छा है। उदाहरण के लिए, Correll, Benard, and Paik (2007) ने "मातृत्व दंड" के स्रोतों को खोजने के प्रयास में प्रयोगशाला प्रयोग और एक क्षेत्र प्रयोग दोनों का उपयोग किया। संयुक्त राज्य अमेरिका में, मां बेघर महिलाओं की तुलना में कम पैसे कमाती हैं, भले ही समान नौकरियों में काम कर रहे समान कौशल वाले महिलाओं की तुलना करना। इस पैटर्न के लिए कई संभावित स्पष्टीकरण हैं, जिनमें से एक यह है कि नियोक्ता माताओं के खिलाफ पक्षपाती हैं। (दिलचस्प बात यह है कि विपरीत पिता के लिए सच साबित होते हैं: वे तुलनीय बेकार पुरुषों से अधिक कमाते हैं।) माताओं के खिलाफ संभावित पूर्वाग्रह का आकलन करने के लिए, कोरेल और सहयोगियों ने दो प्रयोग किए: एक प्रयोगशाला में और एक क्षेत्र में।

सबसे पहले, एक प्रयोगशाला प्रयोग में उन्होंने प्रतिभागियों को बताया, जो कॉलेज के स्नातक थे, कि एक कंपनी अपने नए ईस्ट कोस्ट मार्केटिंग विभाग का नेतृत्व करने के लिए एक व्यक्ति के लिए रोजगार खोज कर रही थी। छात्रों को बताया गया कि कंपनी भर्ती प्रक्रिया में उनकी मदद चाहती है, और उनसे कई संभावित उम्मीदवारों के रिज्यूमे की समीक्षा करने और उम्मीदवारों को उनकी बुद्धि, गर्मी और काम करने की प्रतिबद्धता जैसे कई आयामों पर रेट करने के लिए कहा गया। इसके अलावा, छात्रों से पूछा गया कि क्या वे आवेदक को भर्ती करने की सलाह देंगे और वे एक प्रारंभिक वेतन के रूप में क्या सिफारिश करेंगे। छात्रों के लिए अज्ञात, हालांकि, फिर से शुरू किए जाने के लिए एक ही चीज़ को छोड़कर समान रूप से निर्माण किया गया था: उनमें से कुछ ने मातृत्व को संकेत दिया (माता-पिता-शिक्षक संघ में भागीदारी सूचीबद्ध करके) और कुछ नहीं। कोरेल और सहयोगियों ने पाया कि छात्रों को माताओं को भर्ती करने की सिफारिश करने की संभावना कम थी और उन्होंने उन्हें कम शुरूआती वेतन की पेशकश की। इसके अलावा, दोनों रेटिंग और भर्ती से संबंधित निर्णयों के सांख्यिकीय विश्लेषण के माध्यम से, कोरेल और सहयोगियों ने पाया कि माताओं के नुकसान को इस तथ्य से काफी हद तक समझाया गया था कि उन्हें क्षमता और प्रतिबद्धता के मामले में कम मूल्यांकन किया गया था। इस प्रकार, इस प्रयोगशाला प्रयोग ने कोरेल और सहयोगियों को एक कारक प्रभाव को मापने और उस प्रभाव के लिए संभावित स्पष्टीकरण प्रदान करने की अनुमति दी।

बेशक, कुछ अमेरिकी स्नातक के फैसलों के आधार पर पूरे अमेरिकी श्रम बाजार के बारे में निष्कर्ष निकालने के बारे में संदेह हो सकता है, जिनके पास कभी पूर्णकालिक नौकरी नहीं थी, अकेले किसी को किराए पर लेना चाहिए। इसलिए, कोरेल और सहयोगियों ने एक पूरक क्षेत्र प्रयोग भी आयोजित किया। उन्होंने फर्जी कवर अक्षरों और फिर से शुरू किए गए सैकड़ों विज्ञापित नौकरी खोलने का जवाब दिया। स्नातक को दिखाए गए सामग्रियों के समान, कुछ संकेतित मातृत्व को फिर से शुरू करते हैं और कुछ नहीं करते हैं। कोरेल और सहयोगियों ने पाया कि समान रूप से योग्य बालहीन महिलाओं की तुलना में माताओं को साक्षात्कार के लिए वापस बुलाया जाने की संभावना कम थी। दूसरे शब्दों में, वास्तविक नियोक्ता ने प्राकृतिक सेटिंग में परिणामी निर्णय लेने के लिए स्नातक की तरह व्यवहार किया। क्या उन्होंने इसी कारण से समान निर्णय किए? दुर्भाग्य से, हम नहीं जानते। शोधकर्ता नियोक्ता से उम्मीदवारों को रेट करने या अपने फैसलों की व्याख्या करने में सक्षम नहीं थे।

प्रयोगों की यह जोड़ी सामान्य रूप से प्रयोगशाला और क्षेत्र प्रयोगों के बारे में बहुत कुछ बताती है। लैब प्रयोग पर्यावरण के निकट नियंत्रण के शोधकर्ताओं को प्रदान करते हैं जिसमें प्रतिभागी निर्णय ले रहे हैं। इसलिए, उदाहरण के लिए, प्रयोगशाला प्रयोग में, कोरेल और सहयोगी यह सुनिश्चित करने में सक्षम थे कि सभी रेज़्यूमे एक शांत सेटिंग में पढ़े गए थे; क्षेत्र प्रयोग में, कुछ रिज्यूमे भी पढ़ा नहीं जा सकता है। इसके अलावा, क्योंकि प्रयोगशाला सेटिंग में प्रतिभागियों को पता है कि उनका अध्ययन किया जा रहा है, शोधकर्ता अक्सर अतिरिक्त डेटा एकत्र करने में सक्षम होते हैं जो यह समझाने में सहायता कर सकते हैं कि प्रतिभागी अपने निर्णय क्यों ले रहे हैं। उदाहरण के लिए, कोरेल और सहयोगियों ने विभिन्न आयामों पर उम्मीदवारों को रेट करने के लिए प्रयोगशाला प्रयोग में प्रतिभागियों से पूछा। इस तरह की प्रक्रिया डेटा शोधकर्ताओं को मतभेदों का इलाज करने में अंतर के पीछे तंत्र को समझने में मदद कर सकता है।

दूसरी तरफ, इन सटीक विशेषताओं जिन्हें मैंने अभी फायदे के रूप में वर्णित किया है, कभी-कभी नुकसान भी माना जाता है। क्षेत्रीय प्रयोगों को पसंद करने वाले शोधकर्ताओं का तर्क है कि प्रयोगशाला प्रयोगों में प्रतिभागी बहुत अलग तरीके से कार्य कर सकते हैं क्योंकि उन्हें पता है कि उनका अध्ययन किया जा रहा है। उदाहरण के लिए, प्रयोगशाला प्रयोग में, प्रतिभागियों ने अनुसंधान के लक्ष्य का अनुमान लगाया होगा और उनके व्यवहार को बदल दिया है ताकि पक्षपातपूर्ण न दिखाई दे। इसके अलावा, शोधकर्ता जो फील्ड प्रयोगों को प्राथमिकता देते हैं, वे तर्क दे सकते हैं कि रेज़्यूमे में छोटे अंतर केवल एक बहुत साफ, बाँझ लैब पर्यावरण में खड़े हो सकते हैं, और इस प्रकार प्रयोगशाला प्रयोग असली भर्ती निर्णयों पर मातृत्व के प्रभाव को अधिक महत्व देगा। अंत में, क्षेत्र प्रयोगों के कई समर्थक WEIRD प्रतिभागियों पर प्रयोगशाला प्रयोगों की निर्भरता की आलोचना करते हैं: मुख्य रूप से पश्चिमी, शिक्षित, औद्योगिक, रिच, और डेमोक्रेटिक देशों के छात्र (Henrich, Heine, and Norenzayan 2010a) । कोरेल और सहयोगियों (2007) के प्रयोग प्रयोगशाला क्षेत्र निरंतरता पर दो चरम सीमाओं को चित्रित करते हैं। इन दो चरम सीमाओं के बीच में कई प्रकार के हाइब्रिड डिज़ाइन भी हैं, जिनमें गैर-छात्रों को प्रयोगशाला में लाने या मैदान में जाने जैसे दृष्टिकोण शामिल हैं लेकिन अभी भी प्रतिभागी एक असामान्य कार्य करते हैं।

अतीत में मौजूद लैब-फील्ड आयाम के अलावा, डिजिटल युग का अर्थ है कि शोधकर्ताओं के पास अब दूसरा बड़ा आयाम है जिसके साथ प्रयोग भिन्न हो सकते हैं: एनालॉग-डिजिटल। जैसे ही शुद्ध प्रयोगशाला प्रयोग, शुद्ध क्षेत्र प्रयोग, और बीच में विभिन्न प्रकार के संकर होते हैं, शुद्ध एनालॉग प्रयोग, शुद्ध डिजिटल प्रयोग, और विभिन्न प्रकार के संकर होते हैं। इस आयाम की औपचारिक परिभाषा प्रदान करना मुश्किल है, लेकिन एक उपयोगी कामकाजी परिभाषा यह है कि पूरी तरह से डिजिटल प्रयोग ऐसे प्रयोग हैं जो प्रतिभागियों की भर्ती, यादृच्छिक बनाने, उपचार देने और परिणामों को मापने के लिए डिजिटल आधारभूत संरचना का उपयोग करते हैं। उदाहरण के लिए, रेस्टिवो और वैन डी रिजेट्स (2012) बर्नस्टार और विकिपीडिया का अध्ययन पूरी तरह से डिजिटल प्रयोग था क्योंकि यह इन सभी चार चरणों के लिए डिजिटल सिस्टम का उपयोग करता था। इसी प्रकार, पूरी तरह से एनालॉग प्रयोग इन चार चरणों में से किसी के लिए डिजिटल आधारभूत संरचना का उपयोग नहीं करते हैं। मनोविज्ञान में कई क्लासिक प्रयोग पूरी तरह से एनालॉग प्रयोग हैं। इन दो चरम सीमाओं के बीच, आंशिक रूप से डिजिटल प्रयोग हैं जो एनालॉग और डिजिटल सिस्टम के संयोजन का उपयोग करते हैं।

जब कुछ लोग डिजिटल प्रयोगों के बारे में सोचते हैं, तो वे तुरंत ऑनलाइन प्रयोगों के बारे में सोचते हैं। यह दुर्भाग्यपूर्ण है क्योंकि डिजिटल प्रयोग चलाने के अवसर सिर्फ ऑनलाइन नहीं हैं। उपचार या उपाय परिणामों को वितरित करने के लिए शोधकर्ता भौतिक दुनिया में डिजिटल उपकरणों का उपयोग करके आंशिक रूप से डिजिटल प्रयोग चला सकते हैं। उदाहरण के लिए, शोधकर्ता परिणामों को मापने के लिए निर्मित वातावरण में उपचार या सेंसर देने के लिए स्मार्टफोन का उपयोग कर सकते हैं। वास्तव में, जैसा कि हम बाद में इस अध्याय में देखेंगे, शोधकर्ताओं ने 8.5 मिलियन परिवारों (Allcott 2015) जुड़े ऊर्जा खपत के प्रयोगों में परिणामों को मापने के लिए पहले ही घरेलू बिजली मीटर का उपयोग किया है। चूंकि डिजिटल डिवाइसेज लोगों के जीवन में तेजी से एकीकृत हो जाते हैं और सेंसर निर्मित वातावरण में एकीकृत हो जाते हैं, इसलिए शारीरिक दुनिया में आंशिक रूप से डिजिटल प्रयोग चलाने के अवसर नाटकीय रूप से बढ़ जाएंगे। दूसरे शब्दों में, डिजिटल प्रयोग केवल ऑनलाइन प्रयोग नहीं हैं।

डिजिटल सिस्टम लैब-फील्ड निरंतरता के साथ हर जगह प्रयोगों के लिए नई संभावनाएं पैदा करते हैं। शुद्ध प्रयोगशाला प्रयोगों में, उदाहरण के लिए, शोधकर्ता प्रतिभागियों के व्यवहार के बेहतर माप के लिए डिजिटल सिस्टम का उपयोग कर सकते हैं; इस प्रकार के बेहतर माप का एक उदाहरण आंखों के ट्रैकिंग उपकरण है जो नजर रखने के स्थान के सटीक और निरंतर उपाय प्रदान करता है। डिजिटल युग भी प्रयोगशाला जैसे प्रयोगों को ऑनलाइन चलाने की संभावना बनाता है। उदाहरण के लिए, शोधकर्ताओं ने ऑनलाइन प्रयोगों (आकृति 4.2) के लिए प्रतिभागियों की भर्ती के लिए अमेज़ॅन मैकेनिकल तुर्क (एमटीर्क) को तेजी से अपनाया है। एमटीर्क "नियोक्ता" से मेल खाता है जिनके पास ऐसे कार्य हैं जिन्हें "श्रमिक" के साथ पूरा करने की आवश्यकता है जो पैसे के लिए उन कार्यों को पूरा करना चाहते हैं। पारंपरिक श्रम बाजारों के विपरीत, हालांकि, शामिल कार्यों को आम तौर पर पूरा करने के लिए केवल कुछ मिनट की आवश्यकता होती है, और नियोक्ता और कार्यकर्ता के बीच संपूर्ण बातचीत ऑनलाइन होती है। चूंकि एमटीर्क पारंपरिक प्रयोगशाला प्रयोगों के पहलुओं की नकल करता है-जो लोगों को उन कार्यों को पूरा करने के लिए भुगतान करता है जो वे मुफ्त में नहीं करेंगे-यह स्वाभाविक रूप से कुछ प्रकार के प्रयोगों के लिए उपयुक्त है। अनिवार्य रूप से, एमटीर्क ने प्रतिभागियों के एक पूल के प्रबंधन के लिए आधारभूत संरचना बनाई है- भर्ती और लोगों को भुगतान करना- और शोधकर्ताओं ने प्रतिभागियों के हमेशा उपलब्ध पूल में टैप करने के लिए उस आधारभूत संरचना का लाभ उठाया है।

चित्रा 4.2: अमेज़ॅन मैकेनिकल तुर्क (एमटीर्क) से डेटा का उपयोग करके प्रकाशित पत्र। एमटीर्क और अन्य ऑनलाइन श्रम बाजार शोधकर्ताओं को प्रयोगों के लिए प्रतिभागियों की भर्ती के लिए एक सुविधाजनक तरीका प्रदान करते हैं। Bohannon (2016) से अनुकूलित।

डिजिटल सिस्टम फ़ील्ड जैसे प्रयोगों के लिए और भी अधिक संभावनाएं पैदा करते हैं। विशेष रूप से, वे शोधकर्ताओं को कड़े नियंत्रण और प्रक्रिया डेटा को जोड़ते हैं जो प्रयोगशाला प्रयोगों से जुड़े होते हैं और अधिक विविध प्रतिभागियों और प्रयोगशाला प्रयोगों से जुड़े अधिक प्राकृतिक सेटिंग्स के साथ होते हैं। इसके अलावा, डिजिटल फ़ील्ड प्रयोग भी तीन अवसर प्रदान करते हैं जो एनालॉग प्रयोगों में मुश्किल होती हैं।

सबसे पहले, जबकि अधिकांश एनालॉग प्रयोगशाला और क्षेत्र प्रयोगों में सैकड़ों प्रतिभागी हैं, डिजिटल फ़ील्ड प्रयोगों में लाखों प्रतिभागी हो सकते हैं। पैमाने में यह परिवर्तन इसलिए है क्योंकि कुछ डिजिटल प्रयोग शून्य परिवर्तनीय लागत पर डेटा उत्पन्न कर सकते हैं। यही है, एक बार शोधकर्ताओं ने एक प्रयोगात्मक आधारभूत संरचना बनाई है, प्रतिभागियों की संख्या में वृद्धि आमतौर पर लागत में वृद्धि नहीं करती है। 100 या उससे अधिक के कारक द्वारा प्रतिभागियों की संख्या में वृद्धि केवल मात्रात्मक परिवर्तन नहीं है; यह गुणात्मक परिवर्तन है, क्योंकि यह शोधकर्ताओं को प्रयोगों से अलग-अलग चीजों को सीखने में सक्षम बनाता है (उदाहरण के लिए, उपचार प्रभावों की विषमता) और पूरी तरह से विभिन्न प्रयोगात्मक डिज़ाइन (उदाहरण के लिए, बड़े समूह प्रयोग) चलाने के लिए। यह बिंदु इतना महत्वपूर्ण है, जब मैं डिजिटल प्रयोग बनाने के बारे में सलाह देता हूं तो मैं अध्याय के अंत में इसे वापस कर दूंगा।

दूसरा, जबकि अधिकांश एनालॉग लैब और फील्ड प्रयोग प्रतिभागियों को अलग-अलग विजेट के रूप में देखते हैं, डिजिटल फ़ील्ड प्रयोग अक्सर शोध के डिजाइन और विश्लेषण चरणों में प्रतिभागियों के बारे में पृष्ठभूमि की जानकारी का उपयोग करते हैं। यह पृष्ठभूमि जानकारी, जिसे पूर्व-उपचार जानकारी कहा जाता है, अक्सर डिजिटल प्रयोगों में उपलब्ध होता है क्योंकि वे हमेशा माप प्रणाली के शीर्ष पर चलते हैं (अध्याय 2 देखें)। उदाहरण के लिए, फेसबुक के एक शोधकर्ता के पास अपने डिजिटल क्षेत्र प्रयोग में लोगों के बारे में बहुत अधिक पूर्व-उपचार जानकारी है, विश्वविद्यालय के शोधकर्ता के पास उनके एनालॉग क्षेत्र प्रयोग में लोगों के बारे में है। यह प्री-ट्रीटमेंट अधिक कुशल प्रयोगात्मक डिज़ाइन-जैसे अवरुद्ध (Higgins, Sävje, and Sekhon 2016) और प्रतिभागियों (Eckles, Kizilcec, and Bakshy 2016) (Higgins, Sävje, and Sekhon 2016) भर्ती की भर्ती सक्षम बनाता है - और अधिक अंतर्दृष्टिपूर्ण विश्लेषण - जैसे उपचार प्रभावों की विषमता का आकलन (Athey and Imbens 2016a) और बेहतर परिशुद्धता के लिए (Bloniarz et al. 2016) समायोजन (Bloniarz et al. 2016) ।

तीसरा, जबकि कई एनालॉग लैब और फील्ड प्रयोग समय-समय पर अपेक्षाकृत संपीड़ित मात्रा में उपचार और माप परिणामों को वितरित करते हैं, कुछ डिजिटल फ़ील्ड प्रयोग बहुत अधिक समय-समय पर होते हैं। उदाहरण के लिए, रेस्टिवो और वैन डी रिजेट के प्रयोग के परिणाम 90 दिनों के लिए दैनिक रूप से मापा गया था, और प्रयोगों में से एक मैं बाद में अध्याय (Ferraro, Miranda, and Price 2011) आपको बताऊंगा (Ferraro, Miranda, and Price 2011) मूल रूप से तीन वर्षों में नतीजे लागत। इन तीन अवसरों के आकार, पूर्व-उपचार की जानकारी, और अनुदैर्ध्य उपचार और परिणाम डेटा-आमतौर पर जब माप माप प्रणालियों के शीर्ष पर प्रयोग चलाए जाते हैं (हमेशा माप प्रणाली पर अधिक के लिए अध्याय 2 देखें)।

जबकि डिजिटल क्षेत्र के प्रयोग कई संभावनाएं प्रदान करते हैं, वे एनालॉग लैब और एनालॉग फील्ड प्रयोगों दोनों के साथ कुछ कमजोरियों को भी साझा करते हैं। उदाहरण के लिए, अतीत का अध्ययन करने के लिए प्रयोगों का उपयोग नहीं किया जा सकता है, और वे केवल उन उपचारों के प्रभावों का अनुमान लगा सकते हैं जिन्हें छेड़छाड़ की जा सकती है। इसके अलावा, हालांकि प्रयोग नीति को मार्गदर्शन करने के लिए निस्संदेह उपयोगी हैं, लेकिन वे सटीक मार्गदर्शन प्रदान कर सकते हैं जो पर्यावरणीय निर्भरता, अनुपालन समस्याओं (Banerjee and Duflo 2009; Deaton 2010) प्रभाव (Banerjee and Duflo 2009; Deaton 2010) जैसी जटिलताओं के कारण सीमित है। डिजिटल क्षेत्र के प्रयोग क्षेत्र प्रयोगों द्वारा बनाई गई नैतिक चिंताओं को भी बढ़ाते हैं- एक विषय जिसे मैं बाद में इस अध्याय में और अध्याय 6 में संबोधित करूंगा।