4.6.2 अपने डिजाइन में नैतिकता बनाएं: प्रतिस्थापित करें, परिशोधित करें और कम करें

, गैर प्रायोगिक अध्ययन के साथ प्रयोगों की जगह उपचार परिष्कृत, और प्रतिभागियों की संख्या को कम करके अपने प्रयोग अधिक मानवीय बनाने।

डिजिटल प्रयोगों को डिजाइन करने के बारे में सलाह देने का दूसरा भाग नैतिकता से संबंधित है। विकिपीडिया में बरनस्टारों पर रेस्टिवो और वैन डी रिजट प्रयोग के रूप में, लागत में कमी का मतलब है कि नैतिकता अनुसंधान डिजाइन का एक तेजी से महत्वपूर्ण हिस्सा बन जाएगी। मानव विषयों के शोध के नैतिक ढांचे के अलावा, मैं अध्याय 6 में वर्णन करूंगा, डिजिटल प्रयोगों को डिजाइन करने वाले शोधकर्ता भी एक अलग स्रोत से नैतिक विचारों को आकर्षित कर सकते हैं: जानवरों से जुड़े प्रयोगों को मार्गदर्शन करने के लिए विकसित नैतिक सिद्धांत। विशेष रूप से, उनके ऐतिहासिक पुस्तक सिद्धांतों में ह्यूमन प्रायोगिक तकनीक , Russell and Burch (1959) ने तीन सिद्धांतों का प्रस्ताव दिया जिन्हें पशु अनुसंधान का मार्गदर्शन करना चाहिए: प्रतिस्थापित करना, परिष्कृत करना और कम करना। मैं यह प्रस्ताव देना चाहता हूं कि इन तीनों आर का भी प्रयोग किया जा सकता है-थोड़ा संशोधित रूप में - मानव प्रयोगों के डिजाइन को मार्गदर्शन करने के लिए। विशेष रूप से,

• बदलें: यदि संभव हो तो कम आक्रामक विधियों के साथ प्रयोगों को बदलें।
• परिशोधित करें: इसे यथासंभव हानिरहित बनाने के लिए उपचार को परिष्कृत करें।
• कम करें: जितना संभव हो सके अपने प्रयोग में प्रतिभागियों की संख्या कम करें।

इन तीन आर के कंक्रीट को बनाने के लिए और दिखाएं कि वे संभावित रूप से बेहतर और अधिक मानवीय प्रयोगात्मक डिज़ाइन कैसे ले सकते हैं, मैं एक ऑनलाइन क्षेत्र प्रयोग का वर्णन करूंगा जो नैतिक बहस उत्पन्न करता है। फिर, मैं वर्णन करूंगा कि तीन आर के प्रयोग के डिजाइन में ठोस और व्यावहारिक परिवर्तन कैसे सुझाते हैं।

एडम क्रैमर, जेमी गिल्रॉय और जेफरी हैंकॉक (2014) द्वारा सबसे नैतिक रूप से बहस किए गए डिजिटल क्षेत्र प्रयोगों में से एक का आयोजन किया गया था और इसे "भावनात्मक संक्रम" कहा जाता है। यह प्रयोग फेसबुक पर हुआ था और वैज्ञानिक के मिश्रण से प्रेरित था और व्यावहारिक प्रश्न उस समय, फेसबुक के साथ बातचीत करने वाले प्रमुख तरीके न्यूज़ फीड थे, जो उपयोगकर्ता के फेसबुक दोस्तों से फेसबुक स्टेटस अपडेट का एल्गोरिदमिक रूप से क्यूरेटेड सेट था। फेसबुक के कुछ आलोचकों ने सुझाव दिया था कि न्यूज़ फीड में ज्यादातर सकारात्मक पोस्ट-मित्र हैं जो अपनी नवीनतम पार्टी दिखा रहे हैं-इससे उपयोगकर्ताओं को उदास महसूस हो सकता है क्योंकि उनकी जिंदगी तुलना में कम रोमांचक लगती है। दूसरी ओर, शायद प्रभाव बिल्कुल विपरीत है: हो सकता है कि आपके मित्र को अच्छा समय लगे, आपको खुश महसूस होगा। इन प्रतिस्पर्धी परिकल्पनाओं को संबोधित करने के लिए - और इस बारे में हमारी समझ को आगे बढ़ाने के लिए कि कैसे किसी व्यक्ति की भावनाओं को उसके दोस्तों की भावनाओं से प्रभावित किया जाता है-क्रैमर और सहयोगियों ने एक प्रयोग चलाया। उन्होंने लगभग 700,000 उपयोगकर्ताओं को एक सप्ताह के लिए चार समूहों में रखा: एक "नकारात्मकता-कम" समूह, जिसके लिए नकारात्मक शब्दों के साथ पोस्ट (उदाहरण के लिए, "उदास") को न्यूज़ फीड में दिखाई देने से यादृच्छिक रूप से अवरुद्ध कर दिया गया था; एक "सकारात्मकता-कम" समूह जिसके लिए सकारात्मक शब्दों के साथ पोस्ट (उदाहरण के लिए, "खुश") यादृच्छिक रूप से अवरुद्ध थे; और दो नियंत्रण समूह। "नकारात्मकता-कम" समूह के लिए नियंत्रण समूह में, पदों को "नकारात्मकता-कम" समूह के समान ही यादृच्छिक रूप से अवरुद्ध किया गया था लेकिन भावनात्मक सामग्री के संबंध में। "सकारात्मकता-कम" समूह के लिए नियंत्रण समूह समानांतर फैशन में बनाया गया था। इस प्रयोग के डिजाइन से पता चलता है कि उपयुक्त नियंत्रण समूह हमेशा कोई बदलाव नहीं करता है। इसके बजाए, कभी-कभी, नियंत्रण समूह को एक सटीक तुलना करने के लिए एक उपचार प्राप्त होता है जिसे एक शोध प्रश्न की आवश्यकता होती है। सभी मामलों में, समाचार फ़ीड से अवरुद्ध पदों को फेसबुक वेबसाइट के अन्य हिस्सों के माध्यम से उपयोगकर्ताओं के लिए अभी भी उपलब्ध था।

क्रैमर और सहयोगियों ने पाया कि सकारात्मकता-कम स्थिति में प्रतिभागियों के लिए, उनके स्थिति अपडेट में सकारात्मक शब्दों का प्रतिशत घट गया और नकारात्मक शब्दों का प्रतिशत बढ़ गया। दूसरी तरफ, नकारात्मकता-कम स्थिति में प्रतिभागियों के लिए, सकारात्मक शब्दों का प्रतिशत बढ़ गया और नकारात्मक शब्दों में कमी आई (आंकड़ा 4.24)। हालांकि, ये प्रभाव काफी छोटे थे: उपचार और नियंत्रण के बीच सकारात्मक और नकारात्मक शब्दों में अंतर लगभग 1000 शब्दों में से 1 था।

चित्रा 4.24: भावनात्मक संक्रम का प्रमाण (Kramer, Guillory, and Hancock 2014) । नकारात्मकता-कम स्थिति में प्रतिभागियों ने कम नकारात्मक शब्दों और अधिक सकारात्मक शब्दों का उपयोग किया, और सकारात्मकता में कम प्रतिभागियों ने कम नकारात्मक शब्दों और कम सकारात्मक शब्दों का उपयोग किया। बार अनुमानित मानक त्रुटियों का प्रतिनिधित्व करते हैं। Kramer, Guillory, and Hancock (2014) से अनुकूलित, आंकड़ा 1।

इस प्रयोग द्वारा उठाए गए नैतिक मुद्दों पर चर्चा करने से पहले, मैं अध्याय में कुछ विचारों का उपयोग करके तीन वैज्ञानिक मुद्दों का वर्णन करना चाहता हूं। सबसे पहले, यह स्पष्ट नहीं है कि प्रयोग के वास्तविक विवरण सैद्धांतिक दावों से कैसे जुड़ते हैं; दूसरे शब्दों में, निर्माण वैधता के बारे में प्रश्न हैं। यह स्पष्ट नहीं है कि सकारात्मक और नकारात्मक शब्द गणना वास्तव में प्रतिभागियों की भावनात्मक स्थिति का एक अच्छा संकेतक हैं क्योंकि (1) यह स्पष्ट नहीं है कि लोग जो शब्द पोस्ट करते हैं वे उनकी भावनाओं का एक अच्छा संकेतक हैं और (2) यह नहीं है स्पष्ट करें कि शोधकर्ताओं द्वारा उपयोग की जाने वाली विशेष भावना विश्लेषण तकनीक भावनाओं को भरोसा करने में सक्षम है (Beasley and Mason 2015; Panger 2016) । दूसरे शब्दों में, पक्षपातपूर्ण संकेत का एक बुरा उपाय हो सकता है। दूसरा, प्रयोग के डिजाइन और विश्लेषण से हमें कुछ भी प्रभावित नहीं हुआ है (यानी, उपचार प्रभावों की विषमता का कोई विश्लेषण नहीं है) और तंत्र क्या हो सकता है। इस मामले में, शोधकर्ताओं के प्रतिभागियों के बारे में बहुत सारी जानकारी थी, लेकिन उन्हें अनिवार्य रूप से विश्लेषण में विजेट के रूप में माना जाता था। तीसरा, इस प्रयोग में प्रभाव का आकार बहुत छोटा था; उपचार और नियंत्रण स्थितियों के बीच का अंतर लगभग 1000 शब्दों में से 1 है। अपने पेपर में, क्रैमर और सहयोगी इस मामले को बनाते हैं कि इस आकार का प्रभाव महत्वपूर्ण है क्योंकि लाखों लोग प्रतिदिन अपने समाचार फ़ीड तक पहुंचते हैं। दूसरे शब्दों में, वे तर्क देते हैं कि यदि प्रत्येक व्यक्ति के लिए प्रभाव छोटे होते हैं, तो वे कुल में बड़े होते हैं। यहां तक ​​कि यदि आप इस तर्क को स्वीकार करना चाहते हैं, तो यह अभी भी स्पष्ट नहीं है कि भावना के फैलाव (Prentice and Miller 1992) बारे में अधिक सामान्य वैज्ञानिक प्रश्न के संबंध में इस आकार का प्रभाव महत्वपूर्ण है।

इन वैज्ञानिक सवालों के अलावा, नेशनल एकेडमी ऑफ साइंसेज की कार्यवाही में इस पेपर को प्रकाशित करने के कुछ दिन बाद, शोधकर्ताओं और प्रेस दोनों से एक बड़ी चिल्लाहट थी (मैं अध्याय 6 में इस बहस में तर्कों का वर्णन करूंगा )। इस बहस में उठाए गए मुद्दों ने जर्नल को नैतिकता और अनुसंधान के लिए नैतिक समीक्षा प्रक्रिया (Verma 2014) बारे में एक दुर्लभ "संपादकीय अभिव्यक्ति अभिव्यक्ति" प्रकाशित करने का कारण बताया।

भावनात्मक संक्रमण के बारे में पृष्ठभूमि को देखते हुए, अब मैं यह दिखाना चाहूंगा कि तीन आर वास्तविक अध्ययनों के लिए ठोस, व्यावहारिक सुधार सुझा सकते हैं (जो भी आप इस विशेष प्रयोग की नैतिकता के बारे में व्यक्तिगत रूप से सोच सकते हैं)। पहला आर प्रतिस्थापित होता है : यदि संभव हो तो शोधकर्ताओं को कम आक्रामक और जोखिम भरा तकनीकों के साथ प्रयोगों को प्रतिस्थापित करना चाहिए। उदाहरण के लिए, यादृच्छिक नियंत्रित प्रयोग चलाने के बजाए, शोधकर्ताओं ने प्राकृतिक प्रयोग का शोषण किया होगा। जैसा कि अध्याय 2 में वर्णित है, प्राकृतिक प्रयोग ऐसी परिस्थितियां हैं जहां दुनिया में कुछ ऐसा होता है जो उपचार के यादृच्छिक असाइनमेंट को अनुमानित करता है (उदाहरण के लिए, यह तय करने के लिए लॉटरी कि सेना में कौन सा ड्राफ्ट किया जाएगा)। प्राकृतिक प्रयोग का नैतिक लाभ यह है कि शोधकर्ता को उपचार देने की ज़रूरत नहीं है: पर्यावरण आपके लिए ऐसा करता है। उदाहरण के लिए, लगभग भावनात्मक संक्रम प्रयोग, Lorenzo Coviello et al. (2014) साथ समवर्ती रूप से Lorenzo Coviello et al. (2014) शोषण कर रहे थे जिसे भावनात्मक संक्रम प्राकृतिक प्रयोग कहा जा सकता है। कोविएल्लो और सहयोगियों ने पाया कि लोग बारिश होने पर उन दिनों में अधिक नकारात्मक शब्द और कम सकारात्मक शब्द पोस्ट करते हैं। इसलिए, मौसम में यादृच्छिक विविधता का उपयोग करके, वे बिना किसी हस्तक्षेप की आवश्यकता के समाचार समाचार में परिवर्तन के प्रभाव का अध्ययन करने में सक्षम थे। ऐसा लगता है कि मौसम उनके लिए अपना प्रयोग चला रहा था। उनकी प्रक्रिया का विवरण थोड़ा जटिल है, लेकिन यहां हमारे उद्देश्यों के लिए सबसे महत्वपूर्ण बिंदु यह है कि प्राकृतिक प्रयोग का उपयोग करके, कोविएलो और सहयोगी अपने स्वयं के प्रयोग चलाने की आवश्यकता के बिना भावनाओं के फैलाव के बारे में सीखने में सक्षम थे।

तीन रुपये में से दूसरा परिष्कृत है : शोधकर्ताओं को अपने उपचार को परिष्कृत करना चाहिए ताकि उन्हें यथासंभव हानिरहित बनाया जा सके। उदाहरण के लिए, ऐसी सामग्री को अवरुद्ध करने के बजाय जो सकारात्मक या नकारात्मक था, शोधकर्ताओं ने ऐसी सामग्री को बढ़ाया जो सकारात्मक या नकारात्मक था। इस बूस्टिंग डिज़ाइन ने प्रतिभागियों के समाचार फ़ीड्स की भावनात्मक सामग्री को बदल दिया होगा, लेकिन आलोचकों ने व्यक्त की गई चिंताओं में से एक को संबोधित किया होगा: प्रयोगों से प्रतिभागियों ने अपने समाचार फ़ीड में महत्वपूर्ण जानकारी को याद किया होगा। क्रैमर और सहकर्मियों द्वारा उपयोग किए जाने वाले डिजाइन के साथ, एक संदेश जो महत्वपूर्ण है, उतना ही अवरुद्ध होने की संभावना है जितना कि नहीं है। हालांकि, एक बूस्टिंग डिज़ाइन के साथ, जो संदेशों को विस्थापित किया जाएगा वे कम महत्वपूर्ण होंगे।

अंत में, तीसरा आर कम हो गया है : शोधकर्ताओं को अपने प्रयोग में प्रतिभागियों की संख्या को अपने वैज्ञानिक उद्देश्य को प्राप्त करने के लिए न्यूनतम आवश्यकतानुसार कम करना चाहिए। एनालॉग प्रयोगों में, यह स्वाभाविक रूप से प्रतिभागियों की उच्च परिवर्तनीय लागत के कारण हुआ। लेकिन डिजिटल प्रयोगों में, विशेष रूप से शून्य परिवर्तनीय लागत वाले, शोधकर्ताओं को उनके प्रयोग के आकार पर लागत की कमी का सामना नहीं करना पड़ता है, और इसमें अनावश्यक रूप से बड़े प्रयोगों की अगुआई करने की क्षमता है।

उदाहरण के लिए, क्रैमर और सहयोगियों ने अपने प्रतिभागियों के बारे में प्री-ट्रीटमेंट जानकारी का उपयोग किया हो सकता है - जैसे प्री-ट्रीटमेंट पोस्टिंग व्यवहार - उनके विश्लेषण को और अधिक कुशल बनाने के लिए। अधिक विशेष रूप से, उपचार और नियंत्रण स्थितियों में सकारात्मक शब्दों के अनुपात की तुलना करने के बजाय, क्रैमर और सहयोगियों ने शर्तों के बीच सकारात्मक शब्दों के अनुपात में परिवर्तन की तुलना की हो सकती है; एक दृष्टिकोण जिसे कभी-कभी मिश्रित डिज़ाइन (आकृति 4.5) कहा जाता है और कभी-कभी अंतर-अंतर-अंतर अनुमानक कहा जाता है। यही है, प्रत्येक प्रतिभागी के लिए, शोधकर्ताओं ने एक परिवर्तन स्कोर बनाया था (उपचार के बाद व्यवहार \(-\) पूर्व उपचार व्यवहार) और फिर उपचार और नियंत्रण स्थितियों में प्रतिभागियों के परिवर्तन के स्कोर की तुलना की। यह अंतर-अंतर-अंतर दृष्टिकोण सांख्यिकीय रूप से अधिक कुशल है, जिसका अर्थ है कि शोधकर्ता बहुत छोटे नमूने का उपयोग करके समान सांख्यिकीय आत्मविश्वास प्राप्त कर सकते हैं।

कच्चे डेटा के बिना, यह जानना मुश्किल है कि इस मामले में अंतर-अंतर-अंतर अनुमानक कितना अधिक कुशल होगा। लेकिन हम किसी न किसी विचार के लिए अन्य संबंधित प्रयोगों को देख सकते हैं। Deng et al. (2013) ने बताया कि अंतर-अंतर-मतभेद अनुमानक के रूप में, वे तीन अलग-अलग ऑनलाइन प्रयोगों में अपने अनुमानों के भिन्नता को लगभग 50% तक कम करने में सक्षम थे; Xie and Aurisset (2016) द्वारा इसी तरह के परिणाम की सूचना दी गई है। इस 50% भिन्नता में कमी का मतलब है कि भावनात्मक संक्रम शोधकर्ताओं ने अपने नमूना को आधा में कटौती करने में सक्षम हो सकता है अगर उन्होंने थोड़ा अलग विश्लेषण विधि का उपयोग किया हो। दूसरे शब्दों में, विश्लेषण में एक छोटे से परिवर्तन के साथ, 350,000 लोगों को प्रयोग में भाग लेने से बचाया जा सकता है।

इस बिंदु पर, आप सोच रहे होंगे कि शोधकर्ताओं को क्यों परवाह करना चाहिए कि 350,000 लोग भावनात्मक संवेदना में अनावश्यक रूप से थे। भावनात्मक संक्रम की दो विशेष विशेषताएं हैं जो अत्यधिक आकार के साथ चिंता का विषय बनाती हैं, और इन सुविधाओं को कई डिजिटल फ़ील्ड प्रयोगों द्वारा साझा किया जाता है: (1) इस बारे में अनिश्चितता है कि प्रयोग कम से कम कुछ प्रतिभागियों को नुकसान पहुंचाएगा और (2) भागीदारी स्वैच्छिक नहीं था। ऐसे प्रयोगों को रखने की कोशिश करना उचित लगता है जिनमें इन सुविधाओं को जितना संभव हो सके छोटा हो।

स्पष्ट होने के लिए, आपके प्रयोग के आकार को कम करने की इच्छा का मतलब यह नहीं है कि आपको बड़े, शून्य परिवर्तनीय लागत प्रयोग नहीं चलाना चाहिए। इसका मतलब यह है कि आपके प्रयोगों को आपके वैज्ञानिक उद्देश्य को प्राप्त करने की आवश्यकता से बड़ा नहीं होना चाहिए। यह सुनिश्चित करने का एक महत्वपूर्ण तरीका है कि एक प्रयोग उचित रूप से आकार दिया गया है ताकि बिजली विश्लेषण (Cohen 1988) आयोजित किया जा सके। एनालॉग युग में, शोधकर्ताओं ने आम तौर पर यह सुनिश्चित करने के लिए बिजली विश्लेषण किया कि उनका अध्ययन बहुत छोटा नहीं था (यानी, अंडर-पावर्ड)। अब, हालांकि, शोधकर्ताओं को यह सुनिश्चित करने के लिए बिजली विश्लेषण करना चाहिए कि उनका अध्ययन बहुत बड़ा नहीं है (यानी, अधिक संचालित)।

अंत में, तीन आरएस-प्रतिस्थापन, परिष्कृत, और कम-सिद्धांत प्रदान करते हैं जो शोधकर्ताओं को उनके प्रयोगात्मक डिज़ाइनों में नैतिकता बनाने में सहायता कर सकते हैं। बेशक, भावनात्मक संक्रम में इन संभावित परिवर्तनों में से प्रत्येक व्यापार-बंद पेश करता है। उदाहरण के लिए, प्राकृतिक प्रयोगों से सबूत हमेशा यादृच्छिक प्रयोगों से साफ नहीं होते हैं, और सामग्रियों को अवरुद्ध करने से सामग्री को बढ़ावा देने के लिए तर्कसंगत रूप से अधिक कठिन हो सकता है। इसलिए, इन परिवर्तनों का सुझाव देने का उद्देश्य दूसरे शोधकर्ताओं के निर्णयों का अनुमान लगाने का अनुमान नहीं था। इसके बजाय, यह वर्णन करना था कि कैसे एक वास्तविक स्थिति में तीन आर लागू किया जा सकता है। वास्तव में, व्यापार-डिजाइन का मुद्दा शोध डिजाइन में हर समय आता है, और डिजिटल युग में, इन व्यापार-व्यापारों में तेजी से नैतिक विचार शामिल होंगे। बाद में, अध्याय 6 में, मैं कुछ सिद्धांतों और नैतिक ढांचे की पेशकश करूंगा जो शोधकर्ताओं को इन व्यापार-बंदों को समझने और चर्चा करने में सहायता कर सकते हैं।