4.3 प्रयोगों के दो आयाम: लैब-क्षेत्र और एनालॉग से डिजिटल

प्रयोगशाला प्रयोगों नियंत्रण प्रदान करते हैं, क्षेत्र प्रयोगों यथार्थवाद की पेशकश करते हैं, और डिजिटल क्षेत्र प्रयोगों पैमाने पर नियंत्रण और यथार्थवाद गठबंधन।

प्रयोगों से कई अलग अलग आकृति और आकार में आते हैं। लेकिन, इन मतभेदों के बावजूद, शोधकर्ताओं ने यह मददगार प्रयोगशाला प्रयोगों और क्षेत्र प्रयोगों के बीच एक निरंतरता के साथ प्रयोगों का आयोजन करने के लिए मिल गया है। अब, तथापि, शोधकर्ताओं ने यह भी प्रयोगों एनालॉग और डिजिटल प्रयोगों प्रयोगों के बीच एक निरंतरता के साथ आयोजन करना चाहिए। यह दो आयामी डिजाइन अंतरिक्ष आप शक्तियों और अलग अलग दृष्टिकोण की कमजोरियों (चित्रा 4.1) सबसे बड़ा अवसर के क्षेत्रों को समझते हैं और सुझाव है कि मदद मिलेगी।

चित्रा 4.1: प्रयोगों के लिए डिजाइन अंतरिक्ष के योजनाबद्ध। अतीत में, प्रयोगों प्रयोगशाला क्षेत्र आयाम के साथ विविध। अब, वे भी एनालॉग से डिजिटल आयाम पर बदलती हैं। मेरी राय में, सबसे बड़ा अवसर के क्षेत्र में डिजिटल क्षेत्र प्रयोगों है।

चित्रा 4.1: प्रयोगों के लिए डिजाइन अंतरिक्ष के योजनाबद्ध। अतीत में, प्रयोगों प्रयोगशाला क्षेत्र आयाम के साथ विविध। अब, वे भी एनालॉग से डिजिटल आयाम पर बदलती हैं। मेरी राय में, सबसे बड़ा अवसर के क्षेत्र में डिजिटल क्षेत्र प्रयोगों है।

अतीत में, मुख्य रास्ता है कि शोधकर्ताओं ने प्रयोगों का आयोजन प्रयोगशाला क्षेत्र आयाम के साथ किया गया था। सामाजिक विज्ञान में प्रयोगों के बहुमत प्रयोगशाला प्रयोगों जहां स्नातक छात्रों के पाठ्यक्रम क्रेडिट के लिए एक प्रयोगशाला में अजीब कार्य करने होते हैं। इस प्रकार के प्रयोग मनोविज्ञान के क्षेत्र में अनुसंधान हावी है क्योंकि यह सामाजिक व्यवहार के बारे में बहुत विशिष्ट सिद्धांतों का परीक्षण करने के लिए डिजाइन बहुत ही विशेष उपचार बनाने के लिए शोधकर्ताओं सक्षम बनाता है। कुछ समस्याओं के लिए, हालांकि, कुछ ऐसी असामान्य लोग इस तरह के एक असामान्य सेटिंग में इस तरह के असामान्य कार्य प्रदर्शन से मानव व्यवहार के बारे में मजबूत निष्कर्ष ड्राइंग के बारे में थोड़ा अजीब लगता है। इन चिंताओं क्षेत्र प्रयोगों की ओर एक आंदोलन का नेतृत्व किया है। फील्ड प्रयोगों, और अधिक प्राकृतिक सेटिंग्स में भाग लेने वालों के अधिक प्रतिनिधि समूहों के साथ बेतरतीब नियंत्रण प्रयोगों के मजबूत डिजाइन गठबंधन और अधिक सामान्य कार्यों का प्रदर्शन।

हालांकि कुछ लोगों के तरीकों प्रतिस्पर्धा के रूप में प्रयोगशाला और क्षेत्र प्रयोगों के बारे में सोचना, यह अलग शक्तियों और कमजोरियों के साथ पूरक तरीके के रूप में उनमें से सोचने के लिए सबसे अच्छा है। उदाहरण के लिए, Correll, Benard, and Paik (2007) दोनों एक प्रयोगशाला प्रयोग और के सूत्रों का कहना है "मातृत्व दंड।" संयुक्त राज्य अमेरिका में मिल करने की कोशिश में एक क्षेत्र प्रयोग के लिए इस्तेमाल किया, माताओं निःसंतान महिलाओं की तुलना में कम पैसा कमाते हैं, तब भी जब इसी तरह की इसी तरह की नौकरियों में काम करने के कौशल के साथ तुलना की औरतें। इस पैटर्न के लिए कई संभावित व्याख्या कर रहे हैं, और एक है कि नियोक्ताओं माताओं के खिलाफ पक्षपाती रहे हैं। (दिलचस्प है, विपरीत पिता के लिए सच हो रहा है: वे तुलनीय निःसंतान पुरुषों की तुलना में अधिक कमाने के लिए करते हैं)। प्रयोगशाला में एक और क्षेत्र में एक: आदेश के खिलाफ माताओं संभव पूर्वाग्रह का आकलन करने के लिए, Correll और उनके सहयोगियों के दो प्रयोगों से भाग गया।

सबसे पहले, एक प्रयोगशाला प्रयोग में Correll और उनके सहयोगियों, प्रतिभागियों, जो कॉलेज के स्नातक से नीचे थे बताया कि एक कैलिफोर्निया स्थित स्टार्ट-अप संचार कंपनी के एक व्यक्ति ने अपनी नई पूर्वी तट विपणन विभाग का नेतृत्व करने के लिए एक रोजगार खोज का आयोजन किया गया था। छात्रों को बताया गया कि कंपनी की भर्ती प्रक्रिया में उनकी मदद करना चाहता था और वे कई संभावित उम्मीदवारों की को फिर से समीक्षा करने के लिए और इस तरह अपनी बुद्धि, गर्मी, और प्रतिबद्धता के रूप में काम करने के लिए आयामों के एक नंबर पर उम्मीदवारों दर करने के लिए कहा गया। इसके अलावा, छात्रों को अगर वे आवेदक और क्या वे एक प्रारंभिक वेतन के रूप में की सिफारिश करेंगे काम पर रखने की सिफारिश करेंगे कहा गया। छात्रों के लिए अनजान, हालांकि, शुरू के लिए विशेष रूप से एक बात के अलावा समान होने के लिए निर्माण किया गया: शुरू के कुछ मातृत्व का संकेत (एक माता पिता, शिक्षक संघ में शामिल होने की लिस्टिंग से) और कुछ नहीं किया। Correll में पाया गया कि छात्रों को कम माताओं को काम पर रखने की सिफारिश की संभावना थे और उन्हें कम शुरू वेतन की पेशकश की। इसके अलावा, दोनों रेटिंग और काम पर रखने संबंधी फैसले के एक सांख्यिकीय विश्लेषण के माध्यम से, Correll में पाया गया कि 'मां नुकसान काफी हद तक सच है कि मां क्षमता और प्रतिबद्धता के मामले में कम मूल्यांकन किया गया द्वारा समझाया गया। दूसरे शब्दों में, Correll का तर्क है कि इन तत्वों व्यवस्था है जिसके माध्यम से माताओं से वंचित हो रहे हैं। इस प्रकार, इस प्रयोगशाला प्रयोग एक कारण प्रभाव को मापने और उस प्रभाव के लिए एक संभावित व्याख्या प्रदान करने के लिए Correll और उनके सहयोगियों की अनुमति दी।

बेशक, एक कुछ सौ स्नातक से नीचे के हैं, जो शायद कभी एक पूर्णकालिक काम पड़ा है, अकेले जाने से लोगों को काम पर रखा के निर्णयों के आधार पर पूरे अमेरिका के श्रम बाजार के बारे में निष्कर्ष ड्राइंग के बारे में संदेह हो सकता है। इसलिए, Correll और सहयोगियों ने भी एक पूरक क्षेत्र प्रयोग का आयोजन किया। शोधकर्ताओं ने नकली कवर पत्र और शुरू में भेजने के द्वारा विज्ञापित नौकरी के उद्घाटन के सैकड़ों के लिए प्रतिक्रिया व्यक्त की। सामग्री स्नातक से नीचे के लिए दिखाया लिए इसी प्रकार, कुछ को फिर मातृत्व का संकेत है और कुछ नहीं किया। Correll और उनके सहयोगियों ने पाया कि माताओं कम समान रूप से योग्य निःसंतान महिलाओं की तुलना में साक्षात्कार के लिए वापस बुलाया हो जाने की संभावना थी। दूसरे शब्दों में, वास्तविक एक प्राकृतिक सेटिंग में परिणामी निर्णय लेने नियोक्ताओं ज्यादा स्नातक से नीचे की तरह व्यवहार किया। वे एक ही कारण के लिए इसी तरह के निर्णय लेने के लिए किया है? दुर्भाग्य से, हम नहीं जानते। शोधकर्ताओं ने उम्मीदवारों दर करने के लिए या अपने फैसले समझाने नियोक्ताओं पूछने के लिए सक्षम नहीं थे।

प्रयोगों की यह जोड़ी सामान्य में प्रयोगशाला और क्षेत्र प्रयोगों के बारे में बहुत कुछ पता चलता है। प्रयोगशाला प्रयोगों पर्यावरण जिसमें प्रतिभागियों निर्णय कर रहे हैं की कुल नियंत्रण के पास शोधकर्ताओं प्रदान करते हैं। तो, उदाहरण के लिए, प्रयोगशाला प्रयोग में, Correll सुनिश्चित करने के लिए कि सभी को फिर एक शांत सेटिंग में पढ़ रहे थे सक्षम था; क्षेत्र प्रयोग में, शुरू के कुछ भी पढ़ा नहीं हो सकता है। इसके अलावा, क्योंकि प्रयोगशाला की स्थापना में भाग लेने वालों को पता है कि वे अध्ययन किया जा रहा है, शोधकर्ताओं अक्सर अतिरिक्त डेटा मदद कर सकते हैं कि उन्हें समझ में क्यों प्रतिभागियों ने अपने निर्णय कर रहे हैं इकट्ठा करने के लिए सक्षम हैं। उदाहरण के लिए, Correll विभिन्न आयामों पर उम्मीदवारों दर करने के लिए प्रयोगशाला प्रयोग में प्रतिभागियों से पूछा। प्रक्रिया डेटा की इस तरह की मदद कर सकता शोधकर्ताओं कैसे प्रतिभागियों को फिर इलाज में मतभेद के पीछे तंत्र को समझते हैं।

दूसरी ओर, इन सटीक एक ही विशेषताओं है कि मैं सिर्फ लाभ के रूप में वर्णित भी कभी कभी नुकसान माना जाता है। शोधकर्ताओं ने क्षेत्र प्रयोगों पसंद करते हैं कि प्रयोगशाला प्रयोगों में प्रतिभागियों को बहुत अलग ढंग से कार्य कर सकता है, जब वे बारीकी से मनाया जा रहा है बहस। उदाहरण के लिए, प्रयोगशाला में प्रयोग के प्रतिभागियों को शोध का लक्ष्य अनुमान लगाया और उनके व्यवहार को बदल तो नहीं के रूप में दिखाई देते हैं पक्षपाती हो सकता है। इसके अलावा, शोधकर्ताओं, जो क्षेत्र के प्रयोगों के लिए पसंद करते हैं शुरू पर कि छोटे मतभेदों बहस हो सकती है केवल एक बहुत साफ, बाँझ प्रयोगशाला वातावरण में बाहर खड़े हो सकते हैं, और इस तरह प्रयोगशाला प्रयोग वास्तविक काम पर रखने के फैसले पर मातृत्व का असर खत्म अनुमान जाएगा। अंत में, क्षेत्र प्रयोगों के कई समर्थकों की आलोचना अजीब प्रतिभागियों पर प्रयोगशाला प्रयोगों रिलायंस: मुख्य रूप से पश्चिमी, शिक्षित, औद्योगिक, रिच से छात्रों, और लोकतांत्रिक देशों (Henrich, Heine, and Norenzayan 2010) । Correll और उनके सहयोगियों द्वारा प्रयोगों (2007) प्रयोगशाला क्षेत्र सातत्य पर दो चरम सीमाओं को दर्शाते हैं। इन दो चरम सीमाओं के बीच में इस तरह के एक प्रयोगशाला में गैर छात्रों को लाने या क्षेत्र में जा रहा है, लेकिन अभी भी प्रतिभागियों को एक असामान्य कार्य को करने वाले के रूप में दृष्टिकोण सहित संकर डिजाइन की एक किस्म है।

प्रयोगशाला क्षेत्र आयाम है कि अतीत में ही अस्तित्व में है के अलावा, डिजिटल युग का मतलब है कि शोधकर्ताओं ने अब एक दूसरे प्रमुख आयाम है जो साथ प्रयोगों से भिन्न हो सकते हैं: एनालॉग से डिजिटल। बस के रूप में शुद्ध प्रयोगशाला प्रयोगों, शुद्ध क्षेत्र प्रयोगों, और बीच में संकर की एक किस्म है, वहाँ शुद्ध अनुरूप प्रयोगों, शुद्ध डिजिटल प्रयोगों, और संकर की एक किस्म है। यह इस आयाम का औपचारिक परिभाषा पेशकश करने के लिए मुश्किल है, लेकिन एक उपयोगी काम परिभाषा यह है कि पूरी तरह से डिजिटल प्रयोगों प्रयोगों है कि डिजिटल बुनियादी सुविधाओं के उपयोग प्रतिभागियों को भर्ती करने के लिए, randomize, उपचार देने, और परिणामों को मापने बना रहे हैं। उदाहरण के लिए, Restivo और वैन डे Rijt के (2012) barnstars के अध्ययन और विकिपीडिया एक पूरी तरह से डिजिटल प्रयोग क्योंकि यह इन सभी चरणों के चार के लिए डिजिटल प्रणाली का इस्तेमाल किया था। इसी तरह पूरी तरह से अनुरूप प्रयोगों प्रयोगों है कि इन चार चरणों में से किसी के लिए डिजिटल बुनियादी सुविधाओं का उपयोग नहीं करते हैं। मनोविज्ञान में क्लासिक प्रयोगों के कई अनुरूप प्रयोग कर रहे हैं। इन दो चरम सीमाओं के बीच में वहाँ आंशिक रूप से डिजिटल प्रयोगों है कि चार चरणों के लिए एनालॉग और डिजिटल प्रणाली के संयोजन का उपयोग कर रहे हैं।

गंभीर, अवसरों के डिजिटल प्रयोगों नहीं हैं चलाने के लिए सिर्फ ऑनलाइन। शोधकर्ताओं क्रम में भौतिक दुनिया में डिजिटल उपकरणों का उपयोग कर उपचार देने या परिणामों को मापने के लिए आंशिक रूप से डिजिटल प्रयोगों चला सकते हैं। उदाहरण के लिए, शोधकर्ताओं ने स्मार्ट फोन का उपयोग परिणामों को मापने के लिए बनाया गया वातावरण में उपचार या सेंसर वितरित करने के लिए कर सकता है। वास्तव में, के रूप में हम इस अध्याय में बाद में देखेंगे, शोधकर्ताओं ने पहले से ही घर में बिजली मीटर का इस्तेमाल किया है सामाजिक मानदंडों और ऊर्जा परिवारों के 85 लाख से जुड़े खपत के बारे में प्रयोगों में परिणामों को मापने के लिए (Allcott 2015) । के रूप में डिजिटल उपकरणों के तेजी से लोगों के जीवन में एकीकृत हो जाते हैं और सेंसर निर्मित पर्यावरण में एकीकृत हो जाते हैं, इन अवसरों भौतिक दुनिया में आंशिक रूप से डिजिटल प्रयोगों को चलाने के लिए नाटकीय रूप से वृद्धि होगी। दूसरे शब्दों में, डिजिटल प्रयोगों सिर्फ ऑनलाइन प्रयोगों नहीं हैं।

डिजिटल सिस्टम हर जगह प्रयोगशाला क्षेत्र निरंतरता के साथ प्रयोगों के लिए नई संभावनाएं पैदा करते हैं। शुद्ध प्रयोगशाला प्रयोगों में, उदाहरण के लिए, शोधकर्ताओं ने प्रतिभागियों के व्यवहार की बारीकियों माप के लिए डिजिटल सिस्टम का उपयोग कर सकते हैं; सुधार माप के इस प्रकार का एक उदाहरण नेत्र ट्रैकिंग उपकरण है जो टकटकी स्थान की सटीक और सतत उपाय प्रदान करता है। डिजिटल युग में भी प्रयोगशाला की तरह के प्रयोगों को चलाने के लिए ऑनलाइन संभावना बनाता है। उदाहरण के लिए, शोधकर्ताओं ने तेजी से ऑनलाइन प्रयोगों के लिए प्रतिभागियों (चित्रा 4.2) की भर्ती के लिए अमेज़न मैकेनिकल तुर्क (Mturk) को अपनाया है। Mturk "नियोक्ताओं" जो कार्य "श्रमिकों" जो पैसे के लिए उन कार्यों को पूरा करने की इच्छा के साथ पूरा हो जाने की जरूरत है कि मेल खाता है। परंपरागत श्रम बाजार के विपरीत, तथापि, कार्य आम तौर पर शामिल केवल कुछ ही मिनट पूरा करने के लिए आवश्यकता होती है और नियोक्ता और कर्मचारी के बीच पूरी बातचीत आभासी है। परंपरागत प्रयोगशाला प्रयोगों-भुगतान लोगों की Mturk mimics पहलुओं कार्य है कि वे के लिए नहीं होता क्योंकि पूरा करने के लिए मुक्त यह स्वाभाविक रूप से प्रयोगों के कुछ प्रकार के लिए अनुकूल है। मूलतः, Mturk प्रतिभागियों-भर्ती का एक पूल के प्रबंधन और भुगतान लोगों और शोधकर्ताओं ने प्रतिभागियों के एक हमेशा उपलब्ध पूल में नल है कि बुनियादी ढांचे का लाभ ले लिया है के लिए बुनियादी ढांचा बनाया गया है।

चित्रा 4.2: पत्रों डेटा का उपयोग कर प्रकाशित अमेज़न मैकेनिकल तुर्क (Mturk) (Bohannon 2016) से। Mturk और अन्य ऑनलाइन श्रम बाजार शोधकर्ताओं ने प्रयोगों के लिए प्रतिभागियों को भर्ती करने के लिए एक सुविधाजनक तरीका प्रदान करते हैं।

चित्रा 4.2: पत्रों डेटा का उपयोग कर प्रकाशित अमेज़न मैकेनिकल तुर्क (Mturk) से (Bohannon 2016) । Mturk और अन्य ऑनलाइन श्रम बाजार शोधकर्ताओं ने प्रयोगों के लिए प्रतिभागियों को भर्ती करने के लिए एक सुविधाजनक तरीका प्रदान करते हैं।

डिजिटल प्रयोगों क्षेत्र की तरह के प्रयोगों के लिए और भी अधिक संभावनाएं पैदा करते हैं। डिजिटल क्षेत्र प्रयोगों (क्षेत्र प्रयोगों की तरह) एक प्राकृतिक वातावरण में वास्तविक निर्णय लेने (प्रयोगशाला प्रयोगों की तरह) संभव तंत्र और अधिक विविध प्रतिभागियों को समझने के लिए तंग नियंत्रण है और इस प्रक्रिया डेटा पेशकश कर सकते हैं। पहले के प्रयोगों की अच्छी विशेषताओं के इस संयोजन के अलावा, डिजिटल क्षेत्र प्रयोगों भी तीन अवसर है कि एनालॉग प्रयोगशाला और क्षेत्र प्रयोगों में मुश्किल थे प्रदान करते हैं।

सबसे पहले, जबकि सबसे अनुरूप प्रयोगशाला और क्षेत्र प्रयोगों प्रतिभागियों के सैकड़ों है, डिजिटल क्षेत्र प्रयोगों प्रतिभागियों के लाखों लोगों की हो सकती है। पैमाने में यह बदलाव है क्योंकि कुछ डिजिटल प्रयोगों शून्य परिवर्तनीय लागत पर डेटा का उत्पादन कर सकते हैं। यही कारण है, एक बार शोधकर्ताओं ने एक प्रायोगिक बुनियादी ढांचे बनाया है, प्रतिभागियों की संख्या में वृद्धि को आम तौर पर लागत में वृद्धि नहीं करता। 100 या अधिक का एक पहलू से प्रतिभागियों की संख्या बढ़ाने से सिर्फ एक मात्रात्मक परिवर्तन नहीं है, यह एक गुणात्मक परिवर्तन है, क्योंकि यह प्रयोगों (जैसे, उपचार के प्रभाव की विविधता) और पूरी तरह से अलग प्रयोगात्मक डिजाइन (चलाने से अलग बातें जानने के लिए शोधकर्ताओं सक्षम बनाता है जैसे, बड़े समूह प्रयोगों)। इस बिंदु बहुत महत्वपूर्ण है, मैं जब मैं डिजिटल प्रयोगों बनाने के बारे में सलाह देने के अध्याय के अंत में इसे करने के लिए वापस कर देंगे।

दूसरा, जबकि सबसे अनुरूप प्रयोगशाला और क्षेत्र प्रयोगों प्रतिभागियों को इलाज के रूप में पृथक विजेट्स, डिजिटल क्षेत्र प्रयोगों अक्सर अनुसंधान के डिजाइन और विश्लेषण चरणों में प्रतिभागियों के बारे में जानकारी पृष्ठभूमि का उपयोग करें। इस पृष्ठभूमि जानकारी है, जो पूर्व उपचार के बारे में जानकारी भी कहा जाता है, अक्सर डिजिटल प्रयोगों में उपलब्ध है, क्योंकि वे पूरी तरह से मापा जाता वातावरण में जगह ले लो। उदाहरण के लिए, फेसबुक पर एक शोधकर्ता के एक शोधकर्ता के स्नातक से नीचे के साथ एक मानक प्रयोगशाला प्रयोग डिजाइन की तुलना में काफी अधिक पूर्व उपचार के बारे में जानकारी है। इस पूर्व उपचार के बारे में जानकारी शोधकर्ताओं ने प्रतिभागियों के रूप में पृथक विजेट्स के इलाज से परे ले जाने के लिए सक्षम बनाता है। अधिक विशेष रूप से, पूर्व उपचार के बारे में जानकारी और अधिक कुशल प्रयोगात्मक डिजाइन इस तरह अवरुद्ध के रूप में सक्षम बनाता है (Higgins, Sävje, and Sekhon 2016) और प्रतिभागियों के लक्षित भर्ती (Eckles, Kizilcec, and Bakshy 2016) -और अधिक व्यावहारिक विश्लेषण-ऐसी विविधता के आकलन के रूप में उपचार के प्रभाव का (Athey and Imbens 2016a) और बेहतर परिशुद्धता के लिए covariate समायोजन (Bloniarz et al. 2016)

तीसरा, जबकि कई अनुरूप प्रयोगशाला और क्षेत्र प्रयोगों समय की एक अपेक्षाकृत संकुचित राशि में उपचार के लिए और उपाय परिणामों देने, कुछ डिजिटल क्षेत्र प्रयोगों उपचार है कि समय के साथ दिया जा सकता है और प्रभाव भी समय के साथ मापा जा सकता है शामिल है। उदाहरण के लिए, Restivo और वैन डे Rijt के प्रयोग के परिणाम 90 दिनों के लिए दैनिक मापा जाता है, और प्रयोगों में से एक मैं तुम्हें बताता हूँ अध्याय में के बारे में बाद में (Ferraro, Miranda, and Price 2011) मूल रूप से 3 साल से अधिक परिणाम पटरियों कोई लागत। इन तीन अवसरों का आकार, पूर्व उपचार की जानकारी, और अनुदैर्ध्य उपचार और परिणाम सबसे आम है जब प्रयोगों के शीर्ष पर चलाए जा रहे हैं डेटा रहे हैं हमेशा पर माप सिस्टम (हमेशा पर माप सिस्टम पर अधिक के लिए अध्याय 2 देखें)।

डिजिटल क्षेत्र प्रयोगों में कई संभावनाओं की पेशकश करते हैं, वे भी दोनों एनालॉग प्रयोगशाला और क्षेत्र प्रयोगों के साथ कुछ कमजोरियों का हिस्सा है। उदाहरण के लिए, प्रयोगों अतीत का अध्ययन करने के लिए इस्तेमाल नहीं किया जा सकता है, और वे केवल उपचार है कि चालाकी से किया जा सकता है के प्रभाव का अनुमान कर सकते हैं। इसके अलावा, हालांकि प्रयोगों निस्संदेह नीति मार्गदर्शन करने के लिए उपयोगी होते हैं, सही मार्गदर्शन वे पेशकश कर सकते हैं, क्योंकि इस तरह कुछ हद तक पर्यावरण निर्भरता, अनुपालन समस्याओं, और संतुलन प्रभाव के रूप में जटिलताओं के सीमित है (Banerjee and Duflo 2009; Deaton 2010) । अंत में, डिजिटल क्षेत्र के प्रयोगों के क्षेत्र प्रयोगों द्वारा बनाई नैतिक चिंताओं बढ़ाना। क्षेत्र प्रयोगों के समर्थकों unobtrusively और बेतरतीब ढंग से परिणामी लोगों के लाखों लोगों द्वारा किए गए फैसले में हस्तक्षेप करने के लिए अपनी क्षमता तुरही। इन सुविधाओं के कुछ वैज्ञानिक लाभ प्रदान करते हैं, लेकिन वे भी क्षेत्र प्रयोगों नैतिकता की दृष्टि से जटिल बना सकता है (इसके बारे में सोचने के रूप में शोधकर्ताओं ने एक भारी पैमाने पर "प्रयोगशाला चूहों" की तरह लोगों का इलाज)। इसके अलावा, प्रतिभागियों के लिए संभव हानि पहुँचाता के अलावा, डिजिटल क्षेत्र प्रयोगों, उनके पैमाने की वजह से, यह भी सामाजिक व्यवस्था में काम करने का विघटन के बारे में चिंताओं को बढ़ा सकते हैं (जैसे, विकिपीडिया के इनाम प्रणाली में खलल न डालें, तो Restivo और वान डेर Rijt भी कई barnstars दे दी है के बारे में चिंताओं) ।