2.4.3 நிறைக்கும் சோதனைகள்

நாம் செய்ய முடியாத அல்லது செய்ய முடியாத சோதனைகள் தோராயமாக இருக்க முடியும். குறிப்பாக பெரிய தரவு ஆதாரங்களிலிருந்து இரு அணுகுமுறைகள் இயற்கை சோதனைகள் மற்றும் பொருத்தங்கள்.

சில முக்கியமான விஞ்ஞான மற்றும் கொள்கை கேள்விகளுக்கு காரணமானவை. எடுத்துக்காட்டாக, ஊதியங்களில் வேலைத் திட்டத்தின் விளைவு என்ன? இந்த கேள்வியைக் கேட்பதற்கு முயற்சிக்கும் ஆராய்ச்சியாளர், செய்யாதவர்களுக்கு பயிற்சி அளிப்பவர்களின் வருவாயை ஒப்பிடுவார். ஆனால் இந்த குழுக்களுக்கிடையில் ஊதியங்களில் எந்த வித்தியாசமும் எதனையும் பயிற்சியின் காரணமாகவும், கையொப்பமிடாதவர்களிடமிருந்தும் வேறுபடாதவர்களிடமிருந்தும் எத்தனை வித்தியாசங்கள் உள்ளன? இது கடினமான கேள்வியாகும், இது மேலும் தரவுகளுடன் தானாகவே செல்லாத ஒன்றாகும். வேறு வார்த்தைகளில் கூறுவதானால், உங்களுடைய தரவுகளில் எத்தனை தொழிலாளர்கள் எத்தனை பேர் இருந்தனர் என்பதைப் பற்றி முன்னர் கருத்து வேறுபாடுகள் தோன்றியுள்ளன.

பல சூழ்நிலைகளில், சில பயிற்சிகளின் விளைவை ஏற்படுத்தும் விளைவுகளை மதிப்பிடுவதற்கான வலிமையான வழி, பயிற்சி பயிற்சி போன்றது, ஒரு ஆய்வாளர் தோராயமாக சில நபர்களுக்கு சிகிச்சையளிக்கும் மற்றவர்களிடமிருந்து ஒரு சீரற்ற கட்டுப்பாட்டு பரிசோதனையை இயக்க வேண்டும். நான் அத்தியாயம் 4 அனைத்து பரிசோதனைகள் அனைத்தையும் செலவழிக்கிறேன், எனவே இங்கே நான் சோதனைக்குரிய தரவைப் பயன்படுத்தி பயன்படுத்தக்கூடிய இரண்டு உத்திகளில் கவனம் செலுத்தப் போகிறேன். உலகில் நடக்கும் ஏதோவொரு தேடலைப் பொறுத்தவரையில் முதல் மூலோபாயம் சார்ந்திருக்கிறது, சில நேரங்களில், சிலர் அல்லது சிலருக்கு சிகிச்சை அளிக்கிறது. இரண்டாவது மூலோபாயம், புள்ளிவிபரம் அல்லாத பரிசோதனை தரவுகளைச் சார்ந்து, சிகிச்சையைப் பெறாதவர்களிடமிருந்தும் வேறுபாடுகளுக்கிடையேயான வேறுபாடுகளை கணக்கில் எடுத்துக்கொள்வதை சார்ந்துள்ளது.

இந்த உத்திகள் இரண்டும் தவிர்க்கப்பட வேண்டும் என்று கூறிவிடலாம், ஏனெனில் அவை வலுவான ஊகங்கள், மதிப்பிடுவது கடினம், நடைமுறையில் பெரும்பாலும் மீறப்படுகின்றன. இந்த கூற்றுக்கு நான் அனுதாபமுள்ளவனாக இருந்தாலும், அது ஒரு பிட் தொலைவில் உள்ளது என்று நான் நினைக்கிறேன். நம்பகத்தன்மை அல்லாத சோதனைத் தரவுகளிலிருந்து நம்பகமான மதிப்பீடுகளை செய்வது மிகவும் கடினம் என்பது உண்மைதான், ஆனால் அது ஒருபோதும் முயற்சி செய்யக் கூடாது என்று நான் நினைக்கவில்லை. ஒரு பரிசோதனை நடத்துவதை தடுக்க அல்லது கட்டுப்பாட்டு கட்டுப்பாடுகள் நீங்கள் ஒரு பரிசோதனையை இயக்க விரும்பவில்லை எனில், கட்டுப்பாடான கட்டுப்பாடு உங்களைத் தடுக்கினால், குறிப்பாக சோதனை-அல்லாத அணுகுமுறைகள் உதவியாக இருக்கும். மேலும், சீரற்ற கட்டுப்பாட்டு பரிசோதனையை வடிவமைப்பதற்காக ஏற்கெனவே இருக்கும் தரவுகளைப் பயன்படுத்த விரும்பினால், சோதனை-அல்லாத அணுகுமுறைகள் உதவியாக இருக்கும்.

தொடர்வதற்கு முன்னர், இது சமூக மதிப்பீட்டில் மிகவும் சிக்கலான தலைப்புகளில் ஒன்றாகும், மற்றும் தீவிர மற்றும் உணர்ச்சி விவாதத்திற்கு இட்டுச்செல்லக்கூடிய ஒரு காரணியாகும். என்ன பின்வருமாறு, அதை பற்றி உள்ளுணர்வு உருவாக்க பொருட்டு நான் ஒவ்வொரு அணுகுமுறை ஒரு நம்பிக்கை விளக்கத்தை வழங்கும், பின்னர் நான் அந்த அணுகுமுறை பயன்படுத்தும் போது எழுகின்றன சில சவால்களை விவரிக்க. ஒவ்வொரு அணுகுமுறையும் பற்றிய மேலும் விவரங்கள் இந்த அத்தியாயத்தின் முடிவில் உள்ள பொருட்களில் கிடைக்கின்றன. உங்கள் சொந்த ஆராய்ச்சியில் இந்த அணுகுமுறைகளில் ஒன்றைப் பயன்படுத்த நீங்கள் திட்டமிட்டிருந்தால், நான் மிகவும் (Imbens and Rubin 2015; Pearl 2009; Morgan and Winship 2014) நம்பகத்தன்மை (Imbens and Rubin 2015; Pearl 2009; Morgan and Winship 2014) இல் பல சிறந்த புத்தகங்களை (Imbens and Rubin 2015; Pearl 2009; Morgan and Winship 2014) .

சோதனைக்குட்பட்ட தரவுகளிலிருந்து காரண காரியங்களை மதிப்பீடு செய்வதற்கான ஒரு அணுகுமுறை சில சந்தர்ப்பங்களில் சிலருக்கு சிகிச்சை அளிப்பதோடு, மற்றவர்களுக்கு அல்ல என்பதைக் கண்டறிவதற்கான நிகழ்வுக்காக பார்க்க வேண்டும். இந்த சூழ்நிலைகள் இயற்கை சோதனைகள் என்று அழைக்கப்படுகின்றன. ஒரு இயற்கை பரிசோதனையின் தெளிவான உதாரணங்களில் ஒன்று, யோசுவா ஆண்ட்ரிஸ்டின் (1990) ஆராய்ச்சியிலிருந்து வருவாய் மீது இராணுவ சேவைகளின் விளைவுகளை அளவிடும். வியட்னாமில் போரின் போது, ​​அமெரிக்கா அதன் ஆயுதப்படைகளின் அளவை ஒரு வரைவு மூலம் அதிகரித்தது. எந்த குடிமக்கள் சேவைக்கு அழைக்கப்படுவார்கள் என்பதை முடிவு செய்வதற்கு, அமெரிக்க அரசாங்கம் லாட்டரி ஒன்றை நடத்தியது. ஒவ்வொரு பிறந்த தேதியும் காகிதத்தின் ஒரு துண்டுப்பிரசுரத்தில் எழுதப்பட்டது, மற்றும் 2.7 படத்தில் காட்டப்பட்டபடி, இந்த துண்டுத் துண்டுகள் ஒரு நேரத்தில் ஒருவரை தேர்ந்தெடுத்தது, இளைஞர்களுக்கு சேவை செய்ய அழைக்கப்பட்ட ஒழுங்கு (இளம் பெண்கள் பொருள் இல்லை) வரைவு). இதன் விளைவாக, செப்டம்பர் 14 அன்று பிறந்த ஆண்கள் முதலில் அழைக்கப்பட்டனர், ஏப்ரல் 24 அன்று பிறந்த ஆண்கள் இரண்டாவது மற்றும் இரண்டாவது என அழைக்கப்பட்டனர். இறுதியில், இந்த லாட்டரியில், 195 வெவ்வேறு நாட்களில் பிறந்த ஆண்கள், 171 நாட்களில் பிறந்த ஆண்கள் இல்லை,

படம் 2.7: டிசம்பர் 1, 1969 இல் தேர்ந்தெடுக்கப்பட்ட சேவை வரைவுக்கான முதல் காப்சூலை காங்கிரஸ் நாடாளுமன்ற உறுப்பினர் அலெக்ஸாண்டர் பிர்னி (R-NY) உருவானது. இராணுவ சேவையின் விளைவை மதிப்பிடுவதற்காக சமூக பாதுகாப்பு நிர்வாகத்தின் வருவாய் தரங்களுடன் வரைவு லாட்டரியை இணைத்த ஜோஷுக் ஆங்க்ரிஸ்ட் (1990) வருவாய் மீது. இது ஒரு இயற்கை பரிசோதனை பயன்படுத்தி ஆராய்ச்சி ஒரு உதாரணம் ஆகும். ஆதாரம்: யு.எஸ். சிஸ்டிவ் சர்வீஸ் சிஸ்டம் (1969) / விக்கிமீடியா காமன்ஸ்.

படம் 2.7: டிசம்பர் 1, 1969 இல் தேர்ந்தெடுக்கப்பட்ட சேவை வரைவுக்கான முதல் காப்சூலை காங்கிரஸ் நாடாளுமன்ற உறுப்பினர் அலெக்ஸாண்டர் பிர்னி (R-NY) உருவானது. இராணுவ சேவையின் விளைவை மதிப்பிடுவதற்காக சமூக பாதுகாப்பு நிர்வாகத்தின் வருவாய் தரங்களுடன் வரைவு லாட்டரியை இணைத்த ஜோஷுக் ஆங்க்ரிஸ்ட் (1990) வருவாய் மீது. இது ஒரு இயற்கை பரிசோதனை பயன்படுத்தி ஆராய்ச்சி ஒரு உதாரணம் ஆகும். மூல: அமெரிக்க தேர்ந்தெடுக்கப்பட்ட சேவை அமைப்பு (1969) / விக்கிமீடியா காமன்ஸ் .

உடனடியாக வெளிப்படாவிட்டாலும், ஒரு வரைவு லாட்டரி ஒரு சீரற்ற கட்டுப்பாட்டு பரிசோதனையில் ஒரு முக்கியமான ஒற்றுமை உள்ளது: இரண்டு சூழ்நிலைகளிலும், பங்கேற்பாளர்கள் தோராயமாக ஒரு சிகிச்சை பெற ஒதுக்கப்பட்டுள்ளனர். இந்த சீரற்ற சிகிச்சையின் விளைவைப் பற்றி ஆராய்வதற்காக, ஆன்ஜிரிஸ்ட் எப்போதும் ஒரு பெரிய தரவுத் தரவுமுறையை பயன்படுத்திக் கொண்டார்: அமெரிக்க சமூக பாதுகாப்பு நிர்வாகம், கிட்டத்தட்ட ஒவ்வொரு அமெரிக்கன் வருவாயையும் வேலைவாய்ப்பில் இருந்து தகவல் சேகரிக்கிறது. அரச நிர்வாக பதிவேடுகளில் சேகரிக்கப்பட்ட வருவாய் தரவரிசைகளில் வரைபட லாட்டரிகளில் எவரேனும் தோராயமாக தெரிவு செய்திருந்தால், வீரர்கள் வருவாய் ஒப்பீட்டளவில் அல்லாத வீரர்களை விட வருமானம் 15% குறைவாக இருப்பதாக கோஸ்ட் முடிவு செய்தார்.

இந்த உதாரணத்தை எடுத்துக்காட்டுகையில், சில நேரங்களில் சமூக, அரசியல் அல்லது இயற்கை சக்திகள் ஆராய்ச்சியாளர்களால் பரிவர்த்தனை செய்ய முடியும், சில நேரங்களில் இந்த சிகிச்சையின் விளைவுகள் எப்பொழுதும் பெரிய தரவு ஆதாரங்களில் கைப்பற்றப்படுகின்றன. இந்த ஆராய்ச்சி மூலோபாயம் பின்வருமாறு சுருக்கப்பட்டுள்ளது: \[\text{random (or as if random) variation} + \text{always-on data} = \text{natural experiment}\]

டிஜிட்டல் வயதில் இந்த மூலோபாயத்தை விளக்கும் வகையில், அலெக்ஸாண்டிரெஸ் மாஸ் மற்றும் என்ரிகோ மொர்ட்டி (2009) மூலம் ஒரு ஆராய்ச்சியை நாம் பரிசீலிக்க வேண்டும், அது ஒரு தொழிலாளி உற்பத்தித்திறனுடன் உற்பத்தி செய்யும் சக பணியாளர்களுடன் பணியாற்றும் விளைவை மதிப்பீடு செய்ய முயன்றது. முடிவுகளைப் பார்க்கும் முன், உங்களுக்கு இருக்கும் முரண்பாடான எதிர்பார்ப்புகள் உள்ளன என்று சுட்டிக்காட்டுவது மதிப்பு. ஒருபுறத்தில், சக பணியாளர்களுடன் பணிபுரிபவர்கள், சக பணியாளர்களின் உழைப்பை அதிகரிக்க ஒரு தொழிலாளிக்கு வழி வகுக்கும் என்று நீங்கள் எதிர்பார்க்கலாம். அல்லது, மறுபுறம், கடின உழைப்பாளர்களைக் கொண்டிருப்பதால், ஒரு தொழிலாளி அடிபணியக்கூடும் என்று எதிர்பார்க்கலாம், ஏனென்றால் வேலைகள் எப்படியிருந்தாலும் அவரால் செய்யப்படும். உற்பத்தித்திறன் மீதான சக தோற்றங்களை ஆய்வு செய்ய தெளிவான வழி, சீரற்ற கட்டுப்பாட்டு பரிசோதனையாகும், அங்கு தொழிலாளர்கள் தோராயமாக வெவ்வேறு உற்பத்தித்திறன் மட்டங்களின் தொழிலாளர்கள் மாற்றங்களுடன் ஒதுக்கப்படுகின்றனர், அதன் விளைவாக உற்பத்தித்திறன் அனைவருக்கும் அளவிடப்படுகிறது. ஆயினும், ஆராய்ச்சியாளர்கள் எந்த உண்மையான வியாபாரத்தில் தொழிலாளர்களின் அட்டவணையை கட்டுப்படுத்தவில்லை, அதனால் மாஸ் மற்றும் மொரேட்ட்டி ஒரு பல்பொருள் அங்காடியில் காசாளர்களை சம்பந்தப்பட்ட ஒரு இயற்கை பரிசோதனையை நம்பியிருக்க வேண்டும்.

இந்த குறிப்பிட்ட சூப்பர் மார்க்கெட்டில், திட்டமிடல் செய்யப்பட்டது மற்றும் மாற்றமடைந்து செல்லும் வழியில், ஒவ்வொரு பணியாளருக்கும் வெவ்வேறு நேரங்களில் வெவ்வேறு சக ஊழியர்கள் இருந்தனர். மேலும், இந்த குறிப்பிட்ட சூப்பர்மார்க்கெட்டில், காசாளர்களின் பணியிடம் அவர்களின் சக உற்பத்தியாளர்களுடனான தொடர்பு அல்லது கடையில் எவ்வளவு பிஸியாக இருந்ததோ தெரியவில்லை. வேறு வார்த்தைகளில் கூறுவதானால், காசாளர்களின் திட்டமிடல் ஒரு லாட்டரி மூலம் நிர்ணயிக்கப்பட்ட போதிலும், தொழிலாளர்கள் சில நேரங்களில் தோராயமாக உயர்ந்த (அல்லது குறைந்த) உற்பத்தித்திறன் தோழர்களுடன் பணியாற்றுவதற்காக ஒதுக்கப்பட்டுள்ளனர். அதிர்ஷ்டவசமாக, இந்த பல்பொருள் அங்காடி ஒவ்வொரு காசாளர் எல்லா நேரங்களிலும் ஸ்கேனிங் என்று பொருட்களை கண்காணிக்க ஒரு டிஜிட்டல் வயது புதுப்பித்து அமைப்பு இருந்தது. இந்த புதுப்பித்தலின் பதிவுத் தரவிலிருந்து, மாஸ் மற்றும் மோர்ட்டியும் ஒரு துல்லியமான, தனிப்பட்ட மற்றும் எப்போதும் உற்பத்தித் திறனை அளவிட முடிந்தது: வினாடிக்கு ஒரு முறை ஸ்கேன் செய்யப்பட்ட உருப்படிகளின் எண்ணிக்கை. இந்த இரு விஷயங்களை இணைத்து-சக உற்பத்தித்திறனில் இயற்கையாக ஏற்படும் மாறுபாடு மற்றும் உற்பத்தி-எப்போதும் அளவிற்கான அளவீடு-மாஸ் மற்றும் மொரட்டி ஆகியவை, ஒரு காசாளர் கூட்டு தொழிலாளர்கள் சராசரியைவிட 10% அதிகமான உற்பத்தி செய்திருந்தால், அதன் உற்பத்தித்திறன் 1.5% . மேலும், இரண்டு முக்கிய சிக்கல்களை ஆராய, அவற்றின் தரவின் அளவையும் செழுமையையும் அவர்கள் பயன்படுத்தினர்: இந்த விளைவின் பன்முகத்தன்மை (எந்தவொரு தொழிலாளிக்கு பெரிய அளவிற்கான விளைவு?) மற்றும் விளைவின் பின்னணியில் உள்ள இயக்கங்கள் (ஏன் அதிக உற்பத்தித்திறன் கொண்டவர்கள் அதிக உற்பத்தித்திறன்?). இந்த இரண்டு முக்கியமான சிக்கல்களுக்கு நாங்கள் திரும்புவோம். சிகிச்சை விளைவுகளின் வழிமுறைகள் மற்றும் வழிமுறைகள்- 4-ஆம் அதிகாரத்தில் சோதனைகள் பற்றி விரிவாக விவாதிப்போம்.

இந்த இரண்டு ஆய்வுகளிலிருந்து பொதுவாக, அட்டவணை 2.3 இதே படிவத்தை கொண்டிருக்கும் மற்ற ஆய்வை சுருக்கமாக விவரிக்கிறது: சில சீரற்ற மாறுபாட்டின் விளைவுகளை அளவிடுவதற்கு ஒரு எப்போதும்-சார்ந்த தரவு மூலத்தைப் பயன்படுத்துகிறது. நடைமுறையில், ஆராய்ச்சியாளர்கள் இயற்கையான பரிசோதனையை கண்டறிவதற்காக இரண்டு வேறுபட்ட உத்திகளைப் பயன்படுத்துகின்றனர், இருவரும் பயனுள்ளவையாக இருக்க முடியும். சில ஆராய்ச்சியாளர்கள் எப்போதும் தரவு மூலத்தை தொடங்கி உலகில் சீரற்ற நிகழ்வுகளைத் தேடுகின்றனர்; மற்றவர்கள் உலகில் சீரற்ற நிகழ்வைத் தொடங்கி அதன் பாதிப்புகளைக் கைப்பற்றும் தரவு மூலங்களைத் தேடுகின்றனர்.

அட்டவணை 2.3: பெரிய தரவு ஆதாரங்களைப் பயன்படுத்தி இயற்கை பரிசோதனையின் எடுத்துக்காட்டுகள்
கணிசமான கவனம் இயற்கை பரிசோதனை மூலம் எப்பொழுதும் தரவு மூலமாகும் குறிப்பு
உற்பத்தித்திறன் மீதான பெர் விளைவு திட்டமிடல் செயல்முறை புதுப்பித்து தரவு Mas and Moretti (2009)
நட்பு உருவாக்கம் சூறாவளிகள் முகநூல் Phan and Airoldi (2015)
உணர்ச்சிகளின் பரவல் மழை முகநூல் Lorenzo Coviello et al. (2014)
பீர்-க்கு-பியர் பொருளாதார இடமாற்றங்கள் பூகம்ப மொபைல் பணத் தரவு Blumenstock, Fafchamps, and Eagle (2011)
தனிப்பட்ட நுகர்வு நடத்தை 2013 அமெரிக்க அரசாங்க பணிநிறுத்தம் தனிநபர் நிதியியல் தரவு Baker and Yannelis (2015)
பரிந்துரைத்த அமைப்புகளின் பொருளாதார தாக்கம் பல்வேறு அமேசான் தரவை உலாவுதல் Sharma, Hofman, and Watts (2015)
பிறக்காத குழந்தைகளுக்கு மன அழுத்தம் ஏற்படும் 2006 இஸ்ரேல்-ஹெஸ்பொல்லா போர் பிறந்த பதிவுகள் Torche and Shwed (2015)
விக்கிபீடியாவில் படித்தல் நடத்தை ஸ்னோவ்டென் வெளிப்பாடுகள் விக்கிபீடியா பதிவுகள் Penney (2016)
உடற்பயிற்சி மீது பீரங்கி விளைவுகள் வானிலை உடற்பயிற்சி டிராக்கர்ஸ் Aral and Nicolaides (2017)

இயற்கையான பரிசோதனைகள் பற்றி விவாதத்தில், நான் ஒரு முக்கிய புள்ளியை விட்டுவிட்டேன்: உங்களுக்கு என்ன தேவை என்று இயற்கையில் இருந்து நீங்கள் எப்போதாவது தந்திரமானதாக இருக்கலாம். வியட்நாம் வரைவு உதாரணத்திற்கு திரும்புவோம். இந்த வழக்கில், ஆன்ஜிஸ்ட் வருவாய் மீது இராணுவ சேவை விளைவு மதிப்பீடு ஆர்வமாக இருந்தது. துரதிருஷ்டவசமாக, இராணுவ சேவை சீரற்ற முறையில் ஒதுக்கப்படவில்லை; மாறாக அது தோராயமாக ஒதுக்கப்படும் என்று வரையப்பட்டிருந்தது. எனினும், தயாரிக்கப்பட்ட அனைவருக்கும் (பலவிதமான விதிவிலக்குகள் இருந்தன), மற்றும் பணியாற்றிய அனைவருக்கும் (மக்களுக்கு சேவையாற்றுவதற்காக) தயாரிக்கப்படவில்லை. வரைவு செய்யப்படுவது தோராயமாக ஒதுக்கீடு செய்யப்பட்டது என்பதால், ஒரு ஆராய்ச்சியாளர் அனைத்து மனிதர்களுக்கும் வரைவு வடிவில் தயாரிக்கப்படும் விளைவுகளை மதிப்பிட முடியும். ஆனால் முன்கூட்டியே தயாரிக்கப்படுபவரின் விளைவை அறிந்துகொள்ள விரும்பவில்லை; இராணுவத்தில் பணியாற்றும் விளைவு பற்றி அவர் அறிய விரும்பினார். இந்த மதிப்பீடு செய்ய, கூடுதல் ஊகங்கள் மற்றும் சிக்கல்கள் தேவை. முதல், ஆய்வாளர்கள் தாக்கத்தை உருவாக்கிய ஒரே வழி, இராணுவ சேவையின் மூலம் மட்டுமே, விலக்கு கட்டுப்பாடு என்று கருதப்படும் ஒரு அனுமானம் ஆகும். உதாரணமாக, பணியமர்த்தப்பட்ட நபர்கள் பணியாற்றுவதை தவிர்க்க அல்லது முன்வராத நபர்களை வேலைக்கு அமர்த்துவதற்கு குறைவான வாய்ப்பு இருந்தால், உதாரணமாக, வடிவமைக்கப்பட்டுள்ள ஆண்கள் நீண்ட காலமாக தங்கிவிட்டால், இந்த அனுமானம் தவறாக இருக்கலாம். பொதுவாக, விலக்கு கட்டுப்பாடு என்பது ஒரு முக்கியமான கருத்தாகும், மேலும் இது பொதுவாக சரிபார்க்க கடினமாக உள்ளது. விலக்குதல் கட்டுப்பாடு சரியானதாக இருந்தாலும், எல்லா ஆண்களின் சேவையினதும் விளைவுகளை மதிப்பிடுவது இன்னமும் சாத்தியமில்லை. அதற்கு பதிலாக, ஆய்வாளர்கள், குறிப்பிட்ட நபர்களான குறிப்பிட்டவர்களின் (அதாவது தயாரிக்கப்பட்ட போது சேவை செய்ய விரும்பும் ஆண்கள், ஆனால் தயாரிக்கப்படாத போது சேவை செய்ய மாட்டார்கள்), (Angrist, Imbens, and Rubin 1996) என்ற குறிப்பிட்ட துணைக்குழு மீது மட்டுமே விளைவுகளை மதிப்பிட முடியும் என்று மாறிவிடும். இருப்பினும், புகலிடக் கோரிக்கையாளர்கள் அசல் மக்கள்தொகை வட்டி இல்லை. வரைவு லாட்டரி ஒப்பீட்டளவில் சுத்தமான வழக்கு கூட இந்த பிரச்சினைகள் எழும் என்று கவனிக்க. உடல் லாட்டரி மூலம் சிகிச்சை அளிக்கப்படாத போது மேலும் சிக்கல்கள் ஏற்படுகின்றன. உதாரணமாக, மாஸ் மற்றும் மோர்ட்டியின் காசாளர்களின் ஆய்வில், கூடுதல் கேள்விகளுக்கு எழுந்திருப்பது, கூட்டாளர்களின் நியமனம் அடிப்படையில் சீரற்றதாக இருக்கும் என்ற கருத்தை எழும். இந்த அனுமானம் கடுமையாக மீறியிருந்தால், அது அவர்களின் மதிப்பீட்டிற்கு சார்பாக இருக்கலாம். முடிவுக்கு வர, இயற்கை சோதனைகள் அல்லாத பரிசோதனை தரவுகளிலிருந்து காரண காரியங்களை மதிப்பீடு செய்வதற்கான ஒரு சக்தி வாய்ந்த மூலோபாயமாக இருக்கலாம் மற்றும் பெரிய தரவு ஆதாரங்கள் அவை நிகழும்போது இயற்கையான சோதனையின் மீது முதலீடு செய்வதற்கான நமது திறனை அதிகரிக்கும். இருப்பினும், அது உங்களுக்கு மிகுந்த கவனிப்பு மற்றும் சில நேரங்களில் வலுவான ஊகங்கள் தேவைப்படலாம் - நீங்கள் விரும்பும் மதிப்பீட்டிற்கு இயற்கையாக என்ன வழங்கியிருக்கிறது என்பதிலிருந்து போகலாம்.

சோதனைத் தரமற்ற தரவுகளிலிருந்து காரண காரியங்களை மதிப்பீடு செய்வதற்கு நான் உங்களிடம் சொல்ல விரும்பும் இரண்டாம் நிலை மூலோபாயம் புள்ளிவிவரரீதியில் அல்லாத பரிசோதனை தரவுகளைச் சார்ந்து, சிகிச்சையைப் பெறாதவர்களுக்கிடையேயான வேறுபாடுகளை முன்வைப்பதற்கான ஒரு முயற்சியாகும். இது போன்ற பல அணுகுமுறை அணுகுமுறைகள் உள்ளன, ஆனால் நான் பொருந்தும் என்று ஒரு கவனம் செலுத்த வேண்டும். பொருந்தும் வகையில், ஆராய்ச்சியாளர் அல்லாத பரிசோதனை தரவு மூலம் தெரிகிறது ஒரே ஒரு ஜோடி மக்கள் உருவாக்க தவிர ஒரு சிகிச்சை பெற்றுள்ளது மற்றும் ஒரு இல்லை. பொருந்தும் செயல்பாட்டில், ஆராய்ச்சியாளர்கள் உண்மையில் கூட கத்தரித்து கொண்டிருக்கிறார்கள் ; அதாவது, வெளிப்படையான போட்டியில் இல்லாத காரணத்தினால் நிராகரிக்கப்படும் வழக்குகள். இவ்வாறு, இந்த முறை மிகவும் துல்லியமாக பொருந்தும்-மற்றும்-சீரமைப்பு, ஆனால் நான் பாரம்பரிய கால ஒட்டிக்கொள்கின்றன வேண்டும்: பொருந்தும்.

பாரிய சோதனைக்குட்பட்ட தரவு ஆதாரங்களோடு பொருந்தும் உத்திகளின் சக்திக்கு ஒரு எடுத்துக்காட்டு, லிரான் ஐனவ் மற்றும் சக ஊழியர்களால் (2015) நுகர்வோர் நடத்தை பற்றிய ஆராய்ச்சியில் இருந்து வருகிறது. அவர்கள் eBay இல் நடைபெறும் ஏலங்களில் ஆர்வமுள்ளவர்கள், தங்கள் வேலையை விவரிப்பதில் ஆர்வமுள்ளவர்கள், நான் விற்பனை ஏல விற்பனை அல்லது விற்பனை நிகழ்தகவு போன்ற ஏல விளைவுகளில் ஏலத்தின் தொடக்க விலைக்கு நான் கவனம் செலுத்துகிறேன்.

விற்பனை விலையில் விலை தொடங்கும் விலைகளின் மதிப்பீட்டை மதிப்பிடுவதற்கான மிக அரிதான வழி, பல்வேறு தொடங்கி விலைகளுடன் கூடிய ஏலத்திற்கான இறுதி விலைகளை மட்டுமே கணக்கிட வேண்டும். ஆரம்ப விலை கொடுக்கப்பட்ட விற்பனை விலைகளை நீங்கள் மதிப்பிட விரும்பினால் இந்த அணுகுமுறை நன்றாக இருக்கும். ஆனால் உங்கள் கேள்வி ஆரம்ப விலையின் விளைவு சம்பந்தமாக இருந்தால், இந்த அணுகுமுறை வேலை செய்யாது, ஏனெனில் இது நியாயமான ஒப்பீடுகளின் அடிப்படையில் இல்லை; குறைவான ஆரம்ப விலைகளுடன் கூடிய ஏலம் அதிக ஆரம்ப விலைகளுடன் (எ.கா., அவை பல்வேறு வகையான பொருட்களாக இருக்கலாம் அல்லது பல்வேறு வகையான விற்பனையாளர்களைக் கொண்டிருக்கும்) இருந்து வேறுபடுகின்றன.

சோதனைத் தரமற்ற தரவுகளிலிருந்து காரணகார மதிப்பீட்டை உருவாக்கும்போது நீங்கள் எழும் பிரச்சினைகளை ஏற்கனவே அறிந்திருந்தால், நீங்கள் அப்பாற்பட்ட அணுகுமுறையைத் தவிர்த்து, ஒரு குறிப்பிட்ட உருப்படியை, அதாவது ஒரு கோல்ஃப் கிளப்பை, ஏலம் அளவுருக்கள் அமைக்க-கூற, இலவச கப்பல் மற்றும் ஏலம் இரண்டு வாரங்களுக்கு திறக்க-ஆனால் சீரற்ற முறையில் ஒதுக்கப்படும் ஆரம்ப விலை. இதன் விளைவாக சந்தை விளைவுகளை ஒப்பிடுவதன் மூலம், இந்த துறையில் சோதனை விற்பனை விலையில் விலை தொடங்கும் விளைவின் மிக தெளிவான அளவை அளிக்கும். ஆனால் இந்த அளவீட்டு ஒரு குறிப்பிட்ட தயாரிப்பு மற்றும் ஏல அளவுருக்கள் ஆகியவற்றிற்கு மட்டும் பொருந்தும். உதாரணமாக, வெவ்வேறு வகையான பொருட்களுக்கான முடிவுகள் வேறுபட்டிருக்கலாம். ஒரு வலுவான கோட்பாடு இல்லாமல், இந்த ஒற்றை பரிசோதனையிலிருந்து இயங்கக்கூடிய சாத்தியமான சோதனைகள் முழு அளவிலான அளவீடு செய்ய கடினமாக உள்ளது. மேலும், புலத்தில் சோதனைகள் போதுமானதாக இருக்கும், நீங்கள் முயற்சி செய்யக்கூடிய ஒவ்வொரு மாறுபாட்டையும் இயக்க முடியாது.

எளிய மற்றும் சோதனை அணுகுமுறைகளுக்கு மாறாக, Einav மற்றும் சகவர்கள் மூன்றாவது அணுகுமுறையை எடுத்தனர்: பொருந்தும். அவர்களின் மூலோபாயத்தின் முக்கிய தந்திரம் ஏற்கனவே eBay இல் நிகழ்ந்த புல சோதனைகள் போன்றவற்றை கண்டுபிடிப்பதாகும். உதாரணமாக, எண்ணிக்கை 2.8 சரியாக அதே கோல்ஃப் கிளப்பைக் கொண்ட 31 பட்டியல்களில் சிலவற்றை காட்டுகிறது-ஒரு டெய்ல்மாரேட் பர்னர் 09 இயக்கி-அதே விற்பனையாளரான "பட்ஜெட் கோல்ஃப்" மூலம் விற்பனை செய்யப்படுகிறது. இருப்பினும், இந்த 31 பட்டியல்கள் வேறுபட்ட தொடக்கம் போன்ற சற்று வித்தியாசமான சிறப்பியல்புகளைக் கொண்டுள்ளன விலை, முடிவு தேதிகள், மற்றும் கப்பல் கட்டணங்கள். வேறு வார்த்தைகளில் கூறுவதானால், "பட்ஜெட் கோல்ஃப்" ஆராய்ச்சியாளர்களுக்கான பரிசோதனையை நடத்துகிறது.

Taylormade Burner 09 டிரைவர் இந்த பட்டியல்கள் "பட்ஜெட் கோல்ஃப்" மூலம் விற்பனையானது ஒரு பொருத்தப்பட்ட பட்டியலின் ஒரு எடுத்துக்காட்டு ஆகும், அங்கு ஒரே உருப்படியை சரியான விற்பனையாளரால் விற்கப்படுகிறது, ஆனால் ஒவ்வொரு முறையும் சற்று மாறுபட்ட பண்புகளுடன். EBay இன் மிகப்பெரிய பதிவுகள் மில்லியன் கணக்கான பட்டியல்களை உள்ளடக்கிய நூற்றுக்கணக்கான ஆயிரக்கணக்கான பொருத்தப்பட்ட தொகுப்புகளாக உள்ளன. எனவே, கொடுக்கப்பட்ட ஆரம்ப விலையுடன் அனைத்து ஏலத்திற்கான இறுதி விலைகளை ஒப்பிடுவதற்கு பதிலாக, Einav மற்றும் சகாக்களும் பொருத்தப்பட்ட செட்ஸுடன் ஒப்பிடுகின்றன. இந்த நூறாயிரக்கணக்கான பொருத்தப்பட்ட செட் உள்ள ஒப்பீடுகள் இருந்து முடிவுகளை இணைக்க, Einav மற்றும் சக ஒவ்வொரு பொருளின் குறிப்பு மதிப்பு (எ.கா., அதன் சராசரி விற்பனை விலை) அடிப்படையில் தொடக்க விலை மற்றும் இறுதி விலை மீண்டும் வெளிப்படுத்தினார். எடுத்துக்காட்டுக்கு, டெய்லார்மேடு பர்னர் 09 டிரைவர் $ 100 (அதன் விற்பனையை அடிப்படையாகக் கொண்டது) ஒரு குறிப்பு மதிப்பு கொண்டிருந்தால், $ 10 ஆரம்ப விலையானது 0.1 ஆகவும், 1.2 ஆகவும் இறுதி விலை 120 ஆகவும் இருக்கும்.

படம் 2.8: பொருத்தப்பட்ட செட்டின் ஒரு எடுத்துக்காட்டு. இதுவே சரியான கோல்ஃப் கிளப் (ஒரு டால்மர்மேட் பர்னர் 09 டிரைவர்), அதே நபர் (பட்ஜெட் கோல்கர்) மூலம் விற்பனை செய்யப்படுகிறது, ஆனால் இந்த விற்பனைகளில் சில மாறுபட்ட நிலைமைகளில் (எ.கா., வெவ்வேறு துவக்க விலைகள்) நடத்தப்பட்டன. Einav மற்றும் பலர் அனுமதியளித்தனர். (2015), எண்ணிக்கை 1 ப.

படம் 2.8: பொருத்தப்பட்ட செட்டின் ஒரு எடுத்துக்காட்டு. இந்த ஒரே கோல்ஃப் கிளப் (ஒரு டெய்ல்மாமேட் பர்னர் 09 டிரைவர்), அதே நபரால் ("பட்ஜெட் கோல்ஃப்") விற்கப்படுகிறது, ஆனால் இந்த விற்பனைகளில் பல்வேறு நிலைகள் (எ.கா., வெவ்வேறு தொடங்கி விலைகள்) செய்யப்பட்டன. Einav et al. (2015) அனுமதியளித்தனர் Einav et al. (2015) , எண்ணிக்கை 1 ப.

Einav மற்றும் சக நிறுவனங்கள் ஏல விளைவுகளை தொடக்க விலை விளைவு ஆர்வமாக என்று நினைவு. முதலாவதாக, அதிக ஆரம்ப விலைகள் விற்பனையின் நிகழ்தகவைக் குறைக்கும் என்று மதிப்பிடுவதற்கு நேரியல் பின்னடைவைப் பயன்படுத்துகின்றன, மேலும் உயர் விலை விலைகள் இறுதி விற்பனையை அதிகரிக்கின்றன (விற்பனையின் மீதான நிபந்தனை). இந்த மதிப்பீடுகள்-இது ஒரு நேர்கோட்டு உறவை விவரிக்கிறது, அனைத்து தயாரிப்புகளிலும் சராசரியாக இருக்கிறது-இவை எல்லாம் சுவாரஸ்யமானவை அல்ல. பின்னர், ஐனவ் மற்றும் சகாக்களும் தங்கள் தரவின் பாரிய அளவைப் பயன்படுத்தி பல்வேறு நுட்பமான மதிப்பீடுகளை உருவாக்கினர். உதாரணமாக, ஆரம்ப விலை மற்றும் விற்பனை விலை ஆகியவற்றிற்கு இடையிலான உறவு இருமாதல் (Figure 2.9) என்பதன் விளைவாக பல்வேறு தொடக்க விலைகளின் தனித்தனியாக விளைவுகளை மதிப்பிடுவதன் மூலம் அவை கண்டுபிடிக்கப்பட்டன. குறிப்பாக, 0.05 முதல் 0.85 வரை விலை தொடங்கி, தொடக்க விலையில் விற்பனை விலையில் மிகவும் குறைவான தாக்கத்தை ஏற்படுத்தியுள்ளது, இது ஒரு முதல் கண்டுபிடிப்பின் மூலம் முற்றிலும் தவறானது. மேலும், அனைத்து பொருட்களின் சராசரியை விடவும், Einav மற்றும் சக ஊழியர்கள் 23 வகையான பொருட்களின் விலையினை (எ.கா., செல்லப்பிள்ளிய பொருட்கள், மின்னணுவியல் மற்றும் விளையாட்டு நினைவு) ஆகியவற்றின் ஆரம்ப விலை தாக்கத்தை மதிப்பிட்டனர் (எண்ணிக்கை 2.10). இந்த மதிப்பீடுகள், குறிப்பிடத்தக்க விலையுயர்வுக்குரிய பொருட்களுக்கு-அதாவது நினைவுத்திறன்-ஆரம்ப விலை போன்றவை, விற்பனையின் நிகழ்தகவு மற்றும் இறுதி விற்பனையின் விலையில் ஒரு பெரிய விளைவைக் கொண்டிருப்பதைக் காட்டுகிறது. கூடுதலாக, டிவிடிக்கள் போன்ற கூடுதல் பொருட்களுக்கு - ஆரம்ப விலையில் இறுதி விலையில் கிட்டத்தட்ட எந்தத் தாக்கமும் இல்லை. வேறு வார்த்தைகளில் கூறுவதானால், இவற்றின் இடையிலான முக்கியமான வேறுபாடுகளை மறைக்கிற 23 வேறுபட்ட வகை பொருட்களின் முடிவுகளை ஒருங்கிணைக்கும் சராசரி.

படம் 2.9: ஏலத் தொடங்கி விலை மற்றும் விற்பனையின் நிகழ்தகவு (a) மற்றும் விற்பனை விலை (b) இடையே உள்ள உறவு. ஆரம்ப விலை மற்றும் விற்பனை நிகழ்தகவு ஆகியவற்றிற்கு இடையே ஒரு நேர்கோட்டு உறவு உள்ளது, ஆனால் ஆரம்ப விலை மற்றும் விற்பனை விலைக்கு இடையில் ஒரு தொடர்ச்சியான உறவு; 0.05 முதல் 0.85 வரை விலை தொடங்கி, ஆரம்ப விலையில் விற்பனை விலையில் மிக சிறிய தாக்கத்தை ஏற்படுத்துகிறது. இரண்டு சந்தர்ப்பங்களிலும், உறவுகளை அடிப்படையாகக் கொண்டது உருப்படி மதிப்பு. Einav et al இருந்து மாற்றியமைக்கப்பட்டது. (2015), புள்ளிவிவரங்கள் 4a மற்றும் 4b.

படம் 2.9: ஏலத் தொடங்கி விலை மற்றும் விற்பனையின் நிகழ்தகவு (a) மற்றும் விற்பனை விலை (b) இடையே உள்ள உறவு. ஆரம்ப விலை மற்றும் விற்பனை நிகழ்தகவு ஆகியவற்றிற்கு இடையே ஒரு நேர்கோட்டு உறவு உள்ளது, ஆனால் ஆரம்ப விலை மற்றும் விற்பனை விலைக்கும் இடையே ஒரு தொடர்ச்சியான உறவு; 0.05 முதல் 0.85 வரை விலை தொடங்கி, ஆரம்ப விலையில் விற்பனை விலையில் மிக சிறிய தாக்கத்தை ஏற்படுத்துகிறது. இரண்டு சந்தர்ப்பங்களிலும், உறவுகளை அடிப்படையாகக் கொண்டது உருப்படி மதிப்பு. Einav et al. (2015) இருந்து மாற்றியமைக்கப்பட்டது Einav et al. (2015) , புள்ளிவிவரங்கள் 4a மற்றும் 4b.

படம் 2.10: ஒவ்வொரு வகை பொருட்களின் மதிப்பீடுகளும்; திடமான புள்ளி என்பது அனைத்து வகைகளிலும் ஒன்றாக இணைக்கப்பட்டுள்ளது (Einav et al. 2015). இந்த மதிப்பீடுகள், நினைவுச்சாரல் போன்ற மிகவும் தனித்துவமான பொருட்களுக்கு-ஆரம்ப விலை விற்பனை (x- அச்சு) நிகழ்தகவு மற்றும் இறுதி விற்பனை விலை (y- அச்சு) ஆகியவற்றின் மீதான ஒரு பெரிய விளைவைக் காட்டுகிறது. Einav et al இருந்து மாற்றியமைக்கப்பட்டது. (2015), எண்ணிக்கை 8.

படம் 2.10: ஒவ்வொரு வகை பொருட்களின் மதிப்பீடுகளும்; திடமான புள்ளி என்பது அனைத்து வகைகளிலும் ஒன்றாக இணைக்கப்பட்டுள்ளது (Einav et al. 2015) . இந்த மதிப்பீடுகள் மெமோராபிலியாவைப் போன்ற மிகவும் தனித்துவமான பொருட்களுக்கு-ஆரம்ப விலை ( \(x\) -axis) நிகழ்தகவு ஒரு சிறிய விளைவைக் காட்டுகிறது மற்றும் இறுதி விற்பனை விலை ( \(y\) -அச்சு). Einav et al. (2015) இருந்து மாற்றியமைக்கப்பட்டது Einav et al. (2015) , எண்ணிக்கை 8.

EBay இல் நீங்கள் ஏலத்தில் ஆர்வம் காட்டாவிட்டாலும், 2.9 மற்றும் எண்ணிக்கை 2.10 ஆகியவற்றை நீங்கள் மதிக்க வேண்டும், நேரியல் மதிப்பை விவரிக்கும் எளிமையான மதிப்பீடுகளை விட eBay ஐப் புரிந்துகொள்வது மற்றும் பல்வேறு வகை பொருள்களை இணைப்பது. மேலும், கள ஆய்வுகளுடனான இந்த இன்னும் நுட்பமான மதிப்பீடுகளை உருவாக்க விஞ்ஞானரீதியாக சாத்தியமானதாக இருந்தாலும், செலவு என்பது அத்தகைய சோதனைகள் அடிப்படையில் சாத்தியமற்றதாகிவிடும்.

இயற்கை சோதனையைப் போலவே, பொருத்தமானது தவறான மதிப்பீடுகளுக்கு வழிவகுக்கும் பல வழிகள் உள்ளன. நான் பொருந்தும் மதிப்பீடுகள் மிகப்பெரிய அக்கறை அவர்கள் பொருந்தும் பயன்படுத்தப்படும் என்று விஷயங்களை பாகுபடுத்த முடியும் என்று. உதாரணமாக, அவர்களின் முக்கிய முடிவுகளில், Einav மற்றும் சக நான்கு பண்புகளை சரியான பொருத்தம் செய்தார்: விற்பனையாளர் அடையாள எண், உருப்படி வகை, உருப்படி தலைப்பு, மற்றும் துணை. பொருத்தமாகப் பயன்படுத்தப்படாத வழிகளில் உருப்படிகள் வேறுபட்டிருந்தால், இது ஒரு தவறான ஒப்பீட்டை உருவாக்க முடியும். உதாரணமாக, "பட்ஜெட் ஃபால்ஃபர்" குளிர்காலத்தில் டெய்ல்மாமேட் பர்னர் 09 டிரைவர் குளிர்காலத்தில் (கோல்ஃப் கிளப்புகள் குறைவாக பிரபலமாக இருக்கும் போது) குறைத்துவிட்டால், அது குறைந்த ஆரம்ப விலைகள் இறுதி முடிவுக்கு வழிவகுக்கும் என்று தோன்றுகிறது, உண்மையில் இது ஒரு கலைப்படைப்பாக இருக்கும் தேவை சீசனில் மாறுபாடு. இந்த கவலையை எதிர்கொள்ளும் ஒரு அணுகுமுறை, பலவிதமான பொருள்கள் பொருந்தும். எடுத்துக்காட்டாக, Einav மற்றும் சக பணியாளர்கள் பொருந்தும் பயன்படுத்தப்படும் நேரம் சாளரத்தை மாறுபடும் போது அவர்களின் பகுப்பாய்வு மீண்டும் (பொருந்தும் செட் ஒரு மாதம், ஒரு மாதத்திற்குள், மற்றும் தற்காலிகமாக விற்பனை பொருட்களை சேர்க்கப்பட்டுள்ளது). அதிர்ஷ்டவசமாக, அவர்கள் அனைத்து நேர ஜன்னல்களும் இதேபோன்ற முடிவுகளைக் கண்டனர். மேலதிக அக்கறை பொருந்தக்கூடியது. பொருந்தும் இருந்து மதிப்பீடுகள் மட்டுமே பொருந்தும் தரவு பொருந்தும்; அவை பொருந்தாத வழக்குகளுக்கு பொருந்தாது. உதாரணமாக, பல பட்டியல்களைக் கொண்ட உருப்படிகளுக்கு அவர்களின் ஆராய்ச்சியை கட்டுப்படுத்துவதன் மூலம், Einav மற்றும் சக தொழிலாளர்கள் தொழில்முறை மற்றும் அரை-தொழில்முறை விற்பனையாளர்களிடம் கவனம் செலுத்துகின்றனர். எனவே, இந்த ஒப்பீடுகள் புரிந்து போது நாம் அவர்கள் ஈபே இந்த துணைக்குழு மட்டுமே பொருந்தும் என்பதை நினைவில் கொள்ள வேண்டும்.

சோதனையற்ற தரவில் நியாயமான ஒப்பீடுகளை கண்டுபிடிப்பதற்கு ஒரு சக்திவாய்ந்த மூலோபாயம் ஆகும். பல சமூக விஞ்ஞானிகளுக்கு பொருந்தும், சோதனைகள் இரண்டாவது சிறந்தது, ஆனால் அது திருத்தப்பட முடியும் என்று ஒரு நம்பிக்கை, சிறிது. பாரிய தரவுகளில் பொருந்தும் ஒரு சிறிய எண்ணிக்கையிலான புல பரிசோதனைகள் விட சிறப்பாக இருக்கும். (1) விளைவுகளில் பல்வகைமை முக்கியமானது மற்றும் (2) பொருந்தும் தேவைக்கு முக்கியமான மாறிகள் அளவிடப்பட்டுள்ளன. பெரிய தரவு மூலங்களுடன் எவ்வாறு பொருந்தும் என்பதைப் பற்றிய சில எடுத்துக்காட்டுகளை அட்டவணை 2.4 வழங்குகிறது.

அட்டவணை 2.4: பெரிய தரவு ஆதாரங்களுடன் பொருந்தும் பொருள்களைப் பற்றிய எடுத்துக்காட்டுகள்
கணிசமான கவனம் பெரிய தரவு ஆதாரம் குறிப்பு
பொலிஸ் வன்முறை மீதான துப்பாக்கி சூடு விளைவு நிறுத்து மற்றும் frisk பதிவுகளை Legewie (2016)
செப்டம்பர் 11, 2001 விளைவு குடும்பங்கள் மற்றும் அண்டை நாடுகளில் வாக்கு பதிவு மற்றும் நன்கொடை பதிவுகள் Hersh (2013)
சமூக தொற்று தொடர்பு மற்றும் தயாரிப்பு தத்தெடுப்பு தரவு Aral, Muchnik, and Sundararajan (2009)

முடிவில், சோதனைத் தரமற்ற தரவுகளால் ஏற்படக்கூடிய விளைவுகளை மதிப்பிடுவது கடினம், ஆனால் இயற்கை சோதனைகள் மற்றும் புள்ளியியல் மாற்றங்கள் (எ.கா., பொருந்தும்) போன்ற அணுகுமுறைகளைப் பயன்படுத்தலாம். சில சூழ்நிலைகளில், இந்த அணுகுமுறைகள் மோசமாக தவறாக போகலாம், ஆனால் கவனமாக நிலைநிறுத்தப்படும்போது, ​​இந்த அணுகுமுறைகள் நான் அத்தியாயத்தில் விவரிக்கின்ற பரிசோதனை அணுகுமுறைக்கு ஒரு பயனுள்ள நிரப்பியாக இருக்கும். மேலும், இந்த இரண்டு அணுகுமுறைகளும், இல், பெரிய தரவு அமைப்புகள்.