4.4.1 বৈধতা

মেয়াদ কত পরীক্ষার ফলাফল একটি সাধারণ উপসংহার সমর্থন বোঝায়.

কোনও পরীক্ষা নিখুঁত নয় এবং গবেষকরা সম্ভাব্য সমস্যার বর্ণনা করতে একটি ব্যাপক শব্দভাণ্ডার তৈরি করেছেন। বৈধতা বোঝায় যে কোনও নির্দিষ্ট ফলাফলের ফলাফল কোনও সাধারণ উপসংহার সমর্থন করে। সামাজিক বিজ্ঞানী চারটি প্রধান ধরনের মধ্যে বৈধতা বিভাজন লাভ করেছেন: পরিসংখ্যানগত উপসংহার বৈধতা, অভ্যন্তরীণ বৈধতা, বৈধতা তৈরি এবং বহিরাগত বৈধতা (Shadish, Cook, and Campbell 2001, chap. 2) । এই ধারণা মাস্টারিং একটি পরীক্ষা নকশা এবং বিশ্লেষণ critiquing এবং উন্নত জন্য একটি মানসিক চেকলিস্ট প্রদান করবে, এবং এটি আপনি অন্যান্য গবেষকদের সঙ্গে যোগাযোগ করতে সাহায্য করবে

পরীক্ষার পরিসংখ্যানগত বিশ্লেষণটি যথাযথভাবে সম্পন্ন হয়েছে কি না সে সম্পর্কে পরিসংখ্যানগত উপসংহার বৈধতা কেন্দ্র। Schultz et al. (2007) প্রসঙ্গে Schultz et al. (2007) , যেমন একটি প্রশ্ন তারা তাদের \(p\) মান সঠিকভাবে গণনা কিনা উপর কেন্দ্র হতে পারে। পরিসংখ্যানগত নীতিগুলি পরীক্ষা এবং নকশা বিশ্লেষণ করতে হবে এই বইয়ের সুযোগ অতিক্রম, কিন্তু তারা মৌলিকভাবে ডিজিটাল বয়স পরিবর্তন করা হয়নি। যাইহোক, যা পরিবর্তিত হয়েছে তা হল, ডিজিটাল পরীক্ষায় ডেটা পরিবেশে নতুন সুযোগ সৃষ্টি হয়েছে যেমন চিকিত্সার প্রভাব (Imai and Ratkovic 2013) বৈপরীত্যতা অনুধাবন করার জন্য মেশিন লার্নিং পদ্ধতি ব্যবহার করে।

অভ্যন্তরীণ বৈধতা কেন্দ্রে প্রায় পরীক্ষামূলক পরীক্ষামূলকভাবে সঞ্চালিত হয়েছে কিনা। Schultz et al. (2007) এর পরীক্ষা ফিরে আসছে Schultz et al. (2007) , আভ্যন্তরীণ বৈধতা সম্পর্কে প্রশ্নগুলি র্যান্ডমাইজেশন, চিকিত্সা সরবরাহ এবং পরিমাপের পরিমাপের কেন্দ্রবিন্দু হতে পারে। উদাহরণস্বরূপ, আপনি উদ্বেগ হতে পারে যে গবেষণা সহকারীরা বৈদ্যুতিক মিটারটি বিশ্বস্তভাবে পড়েননি আসলে, শ্যুলেটজ এবং সহকর্মীরা এই সমস্যাটির ব্যাপারে চিন্তিত ছিলেন, এবং তাদের দ্বিগুণ পরিমাণে মিটারের একটি নমুনা ছিল; সৌভাগ্যবশত, ফলাফল মূলত অভিন্ন ছিল। সাধারণভাবে, শুল্ৎস এবং সহকর্মীদের গবেষণায় উচ্চতর অভ্যন্তরীণ বৈধতা রয়েছে বলে মনে হয়, তবে এটি সবসময়ই হয় না: জটিল ক্ষেত্র এবং অনলাইন পরীক্ষাগুলি প্রায়ই সঠিক মানুষের সঠিক আচরণ প্রদান করে এবং প্রত্যেকের জন্য ফলাফলগুলি পরিমাপ করে। সৌভাগ্যবশত, ডিজিটাল বয়স অভ্যন্তরীণ বৈধতা নিয়ে উদ্বেগ কমাতে সাহায্য করতে পারে কারণ এটি নিশ্চিত করা আরও সহজ যে, চিকিত্সাগুলি তাদের কাছে সরবরাহ করা উচিত এবং সকল অংশগ্রহণকারীদের জন্য পরিমাপগুলি পরিমাপ করা উচিত।

ডাটা এবং তাত্ত্বিক গঠনগুলির মধ্যে মিলের চারপাশে বৈধতা কেন্দ্র নির্মাণ করুন। দ্বিতীয় অধ্যায় আলোচনা হিসাবে, নির্মাণ অবজেক্ট ধারণা যে সামাজিক বিজ্ঞানীরা কারণ সম্পর্কে চিন্তা। দুর্ভাগ্যবশত, এই বিমূর্ত ধারণা সবসময় পরিষ্কার সংজ্ঞা এবং পরিমাপ নেই। Schultz et al. (2007) ফিরে আসছে Schultz et al. (2007) , দাবী যে সামাজিক নিয়মকানুনকে বাধ্যতামূলক করে বিদ্যুৎ ব্যবহার কম হতে পারে, গবেষকদের প্রয়োজন এমন একটি চিকিত্সা ডিজাইন করতে হবে যা "কার্যকারী সামাজিক নিয়ম" (যেমন, একটি ইমোটিকন) এবং "বিদ্যুৎ ব্যবহার" পরিমাপ করতে সাহায্য করবে। এনালগ পরীক্ষায়, অনেক গবেষকরা তাদের নিজের পরিচর্যা ডিজাইন করে এবং তাদের নিজস্ব পরিমাপগুলি পরিমাপ করে। এই পদ্ধতিটি নিশ্চিত করে যে, যতটা সম্ভব, গবেষণাগুলি বিমূর্ত নির্মানের সাথে মিলিত হয়। ডিজিটাল গবেষণায় গবেষকগণ কোম্পানিগুলি বা সরকারগুলির সাথে অংশীদারিত্ব পরিচালনার জন্য অংশীদারি করেন এবং পরিমাপগুলি পরিমাপের জন্য সবসময় সর্বদা ডেটা সিস্টেম ব্যবহার করেন, পরীক্ষা এবং তাত্ত্বিক গঠনগুলির মধ্যবর্তী ম্যাচ কম টাস্ক হতে পারে এভাবে, আমি আশা করি যে এনালগ পরীক্ষার তুলনায় ডিজিটাল পরীক্ষায় বৈধতা তৈরির একটি বড় উদ্বেগ হবে।

অবশেষে, বহিরাগত বৈধতা কেন্দ্রে এই পরীক্ষা ফলাফল অন্যান্য পরিস্থিতিতে সাধারণকরণ করা যেতে পারে কিনা। Schultz et al. (2007) ফিরে আসছে Schultz et al. (2007) , কেউ জিজ্ঞেস করতে পারে যে এই একই ধারণা- তাদের সহকর্মীদের সাথে তাদের শক্তির ব্যবহার সম্পর্কে তথ্য সরবরাহকারী এবং ইনগ্যাক্টিক মানদণ্ডের সংকেত (যেমন, একটি ইমিটিকন) -যদি এটি একটি ভিন্ন উপায়ে করা হয় তবে শক্তি ব্যবহার কমাবে একটি ভিন্ন সেটিংসে সবচেয়ে ভাল ডিজাইন এবং ভাল চালানোর পরীক্ষার জন্য, বহিরাগত বৈধতা সম্পর্কে উদ্বেগ ঠিকানাটি সবচেয়ে কঠিন। অতীতে, বহিরাগত বৈধতা সম্পর্কে এই বিতর্কে ঘন ঘন ঘন ঘন ঘন ঘন ঘন ঘন ঘন ঘন ঘন ঘন ঘন ঘন ঘনঘটিত কল্পনা করার চেষ্টা করা হয় না, যদি প্রক্রিয়াগুলি ভিন্ন ভাবে, অথবা অন্য কোন স্থানে বা ভিন্ন অংশগ্রহণকারীদের সাথে সম্পন্ন করা হতো । সৌভাগ্যবশত, ডিজিটাল বয়স গবেষকদের এই তথ্য মুক্ত অনুমান অতিক্রম করতে সক্ষম হয় এবং empirically বাহ্যিক বৈধতা মূল্যায়ন করতে সক্ষম।

কারণ Schultz et al. (2007) থেকে ফলাফল Schultz et al. (2007) এত উত্তেজনাকর ছিল, অপর নামে একটি কোম্পানিকে যুক্তরাষ্ট্রে ইউটিলিটিগুলির সাথে অংশগ্রহন করার জন্য আরও ব্যাপকভাবে চিকিৎসার ব্যবস্থা করা হয়েছিল। Schultz et al. (2007) নকশা উপর ভিত্তি করে Schultz et al. (2007) , অপহর স্বনির্ধারিত হোম শক্তি রিপোর্টগুলি তৈরি করেছেন যা দুটি প্রধান মডিউল ছিল: একটি প্রতিবেশীদের সাথে একটি ইমিটিকন সম্পর্কিত একটি পরিবারের বিদ্যুত ব্যবহারকে দেখানো এবং একটি শক্তি ব্যবহার (চিত্র 4.6) কমানোর জন্য টিপস প্রদান করে। তারপর, গবেষকরা সঙ্গে অংশীদারিত্বের, Opower এই হোম শক্তি রিপোর্ট প্রভাব মূল্যায়ন র্যান্ডমযুক্ত নিয়ন্ত্রিত পরীক্ষার দৌড়। যদিও এই পরীক্ষাগুলির মধ্যে চিকিৎসাগুলি সাধারণত শারীরিকভাবে পুরানো-সাজানো শামুক মেলের মাধ্যমে বিতরণ করা হতো- ফলাফলটি দৈহিক বিশ্বে ডিজিটাল যন্ত্রগুলির (যেমন, পাওয়ার মিটার) মাধ্যমে পরিমাপ করা হয়েছিল। উপরন্তু, প্রতিটি বাড়িতে পরিদর্শন গবেষণা সহায়তাকারী সঙ্গে ম্যানুয়ালভাবে এই তথ্য সংগ্রহ করার পরিবর্তে, Opower পরীক্ষা সব বিদ্যুৎ কোম্পানীর সঙ্গে অংশীদারিত্বের মধ্যে সম্পন্ন করা হয়েছে গবেষকরা পাওয়ার রিডিং অ্যাক্সেস সক্রিয় সুতরাং, কম ভেরিয়েবলের ক্ষেত্রে এই আংশিকভাবে ডিজিটাল ফিল্ড পরীক্ষায় ব্যাপক স্কেলে চালানো হয়েছিল।

চিত্র 4.6: হোম শক্তি রিপোর্টগুলির একটি সামাজিক তুলনা মডিউল এবং একটি কর্ম পদক্ষেপ মডিউল ছিল। Allcott (2011) থেকে অনুমতির Allcott (2011) , পরিসংখ্যান 1 এবং ২।

10 টি বিভিন্ন সাইট থেকে 600,000 পরিবারের জড়িত প্রথম সেট পরীক্ষায়, Allcott (2011) পাওয়া গেছে যে হোম শক্তি রিপোর্ট বিদ্যুতের খরচ কমে যায়। অন্য কথায়, অনেক বড়, অধিক ভৌগোলিকভাবে বিভিন্ন গবেষণা থেকে ফলাফলগুলি Schultz et al. (2007) এর ফলাফলের মত গুণগত মানের মত ছিল Schultz et al. (2007) । উপরন্তু, 101 টি বিভিন্ন সাইট থেকে আট মিলিয়ন অতিরিক্ত পরিবারের জড়িত পরবর্তী গবেষণায়, Allcott (2015) আবারও জানতে Allcott (2015) যে হোম এনার্জির রিপোর্টটি বিদ্যুতের চাহিদা কমেছে। এই অনেক বড় পরীক্ষাও এমন একটি আকর্ষণীয় নতুন প্যাটার্ন প্রকাশ করেছে যা কোনও একক পরীক্ষায় দৃশ্যমান হবে না: প্রভাবের আকার পরে পরীক্ষায় প্রত্যাখ্যান (চিত্র 4.7)। Allcott (2015) অনুমান করে যে এই পতন ঘটেছে কারণ সময়ের সাথে সাথে, বিভিন্ন ধরনের অংশগ্রহণকারীদের চিকিত্সা প্রয়োগ করা হচ্ছে। আরো স্পষ্টভাবে, আরো পরিবেশগতভাবে মনোযোগীকৃত গ্রাহকদের সাথে ব্যবহার্যতা পূর্বে প্রোগ্রামটি গ্রহণ করত, এবং তাদের গ্রাহকরা চিকিত্সার জন্য আরও প্রতিক্রিয়াশীল ছিলেন। হিসাবে কম পরিবেশগতভাবে-নিবদ্ধ গ্রাহকদের সঙ্গে উপযোগি প্রোগ্রাম গৃহীত, তার কার্যকারিতা হ্রাস প্রদর্শিত। এইভাবে, গবেষণায় র্যান্ডমাইজেশন নিশ্চিত করে যে চিকিত্সা ও নিয়ন্ত্রণ গ্রুপ অনুরূপ, গবেষণামূলক সাইটগুলির রেন্ডারাইজেশন নিশ্চিত করে যে অংশগ্রহণকারীদের একদল অংশগ্রহণকারী থেকে আরও সাধারণ জনসংখ্যার (নমুনা সম্পর্কে অধ্যায় 3 তে ফিরে) অনুধাবন করা যায়। গবেষণা সাইটগুলি যদি এলোমেলোভাবে নমুনা না পায় তাহলে সাধারণীকরণ-এমনকি একটি পুরোপুরি ডিজাইন এবং পরিচালিত পরীক্ষা থেকেও সমস্যাযুক্ত হতে পারে।

চিত্র 4.7: বিদ্যুৎ ব্যবহারের উপর ঘরের শক্তি রিপোর্টের প্রভাব পরীক্ষা 111 পরীক্ষার ফলাফল। যেসব স্থানে এই প্রোগ্রামটি পরে গৃহীত হয়েছিল, সেখানে এটি ছোট প্রভাব ধারণ করেছিল। Allcott (2015) এই প্যাটার্নের একটি প্রধান উৎস যুক্তিযুক্ত যে আরও পরিবেশগতভাবে-নিবদ্ধ গ্রাহকদের সাথে সাইট আগে প্রোগ্রাম গ্রহণ করা সম্ভবত ছিল। Allcott (2015) থেকে অভিযোজিত Allcott (2015) , চিত্র 3।

একসাথে, এই 111 টি পরীক্ষায় - Allcott (2011) 10 Allcott (2011) এবং Allcott (2015) 101 Allcott (2015) সারা মার্কিন যুক্তরাষ্ট্রে প্রায় 8.5 মিলিয়ন পরিবার। তারা ক্রমাগত দেখান যে হোম শক্তি রিপোর্ট গড় বিদ্যুৎ খরচ কমাতে, ফলে শিলৎস এবং তার সহকর্মীদের মূল ফলাফলগুলি ক্যালিফোর্নিয়াতে 300 টি বাড়ি থেকে সমর্থন করে। এই মূল ফলাফলগুলির প্রতিলিপি করার পাশাপাশি, ফলো-আপ পরীক্ষায় দেখা যায় যে, প্রভাবের আকারটি অবস্থানের দ্বারা পরিবর্তিত হয়। ডিফল্ট ডিজিটাল ফিল্ড পরীক্ষার জন্য এই পরীক্ষাগুলি আরও দুটি সাধারণ পয়েন্ট ব্যাখ্যা করে। প্রথমত, পরীক্ষার ব্যবহার কম হওয়ার সময় গবেষকরা বাহ্যিক বৈধতা সম্পর্কে উদ্বেগ প্রকাশ করতে সক্ষম হবেন এবং ফলাফলটি ইতিমধ্যে একটি সর্বদা ডেটা সিস্টেমে পরিমাপ করা হলে তা ঘটতে পারে। অতএব, এটি সুপারিশ করে যে গবেষকরা ইতোমধ্যে রেকর্ড করা অন্যান্য আকর্ষণীয় এবং গুরুত্বপূর্ণ আচরণের সন্ধানের জন্য হওয়া উচিত, এবং তারপর এই বিদ্যমান পরিমাপের অবকাঠামোগুলির উপরে পরীক্ষাগুলি তৈরি করে। দ্বিতীয়ত, পরীক্ষার এই সেট আমাদের স্মরণ করিয়ে দেয় যে ডিজিটাল ক্ষেত্রের পরীক্ষাগুলি কেবল অনলাইন নয়; ক্রমবর্ধমানভাবে, আমি আশা করি তারা তৈরি পরিবেশে সেন্সর দ্বারা পরিমাপিত অনেক ফলাফলের সাথে সর্বত্র থাকবে।

চার ধরনের বৈধতা - পরিসংখ্যানগত উপসংহার বৈধতা, অভ্যন্তরীণ বৈধতা, বৈধতা তৈরি এবং বহিরাগত বৈধতা - একটি মানসিক চেকলিস্ট প্রদান করে যা গবেষকদের মূল্যায়ন করে কিনা তা নির্ধারণ করে যে কোনও বিশেষ পরীক্ষার ফলাফল আরও সাধারণ উপসংহার সমর্থন করে। এনালগ-বয়স পরীক্ষায় তুলনামূলকভাবে ডিজিটাল-যুগ পরীক্ষায়, বাহ্যিক বৈধতা মোকাবেলা করা সহজতর হওয়া উচিত এবং অভ্যন্তরীণ বৈধতা নিশ্চিত করাও সহজ হবে। অন্যদিকে, ডিজিটাল-বয়স গবেষণার ক্ষেত্রে নির্মাণ বৈধতা বিষয়গুলি সম্ভবত আরও চ্যালেঞ্জিং হবে, বিশেষ করে ডিজিটাল ফিল্ডের পরীক্ষাগুলি যা কোম্পানীর সাথে অংশীদারিত্ব জড়িত।