4.3 туршилтын хоёр хэмжээс: лабораторийн-хээрийн болон аналог дижитал

Lab туршилт хээрийн туршилт бодитой санал, болон дижитал хээрийн туршилт хэмжээнд хяналт тавьж, бодитой нэгтгэх, хянах, санал болгож байна.

Туршилтууд нь олон янзын хэлбэр, хэмжээтэй байдаг. Өнгөрсөн хугацаанд судлаачид лабораторийн туршилт болон хээрийн туршилтуудын хооронд үргэлжлүүлэн туршилтуудыг зохион байгуулахад тусалсан байна. Гэсэн хэдий ч судлаачид аналоги болон дижитал туршилтуудын хооронд хоёр дахь тасралтгүй үргэлжлэх туршилтыг зохион байгуулах ёстой. Энэхүү хоёр хэмжээст дизайны зай нь янз бүрийн аргын давуу болон сул талуудыг ойлгоход тусалж, хамгийн том боломжийг олгоно (Зураг 4.1).

Зураг 4.1: Туршилтын загварын талбайн бүдүүвч. Өмнө нь лабораторийн талбайн хэмжээсийн дагуу туршилтууд өөрчлөгдөв. Одоо тэд аналог-тоон хэмжээс дээр өөр өөр байдаг. Энэ хоёр хэмжээст дизайны зайг энэ бүлэгт тайлбарласан дөрвөн туршилтаар дүрслэв. Миний бодлоор, хамгийн том боломжийн талбар нь тоон хээрийн туршилт юм.

Зураг 4.1: Туршилтын загварын талбайн бүдүүвч. Өмнө нь лабораторийн талбайн хэмжээсийн дагуу туршилтууд өөрчлөгдөв. Одоо тэд аналог-тоон хэмжээс дээр өөр өөр байдаг. Энэ хоёр хэмжээст дизайны зайг энэ бүлэгт тайлбарласан дөрвөн туршилтаар дүрслэв. Миний бодлоор, хамгийн том боломжийн талбар нь тоон хээрийн туршилт юм.

Туршилтыг зохион байгуулах нэг лаборатори нь лаб-талбарын хэмжээс юм. Нийгмийн шинжлэх ухааны олон туршилт нь лабораторийн шинжлэх ухааны лабораторийн туршилт юм. Энэ төрлийн туршилт нь сэтгэл судлалын судалгаанд давамгайлах учир судлаачдад нийгмийн хяналттай холбоотой тодорхой онолыг яг таг салган авч, маш өндөр хяналттай орчинг бий болгох боломжийг олгодог. Гэсэн хэдий ч иймэрхүү ер бусын ажил хийдэг ердийн бус хүмүүсээс хүний ​​зан авирын тухай хүчтэй дүгнэлт гаргах талаар зарим нэг асуудал гардаг. Эдгээр асуудлууд хээрийн туршилтууд руу шилжих хөдөлгөөнд хүргэсэн. Талбайн туршилтууд нь санамсаргүй түүвэрлэсэн туршилтуудын загварыг хослуулсан нь илүү олон нийтлэг үйл ажиллагаа явуулдаг оролцогчдын төлөөлөх бүлгүүдтэй хослуулдаг.

Хэдийгээр зарим хүмүүс лаборатори, талбарын туршилтыг өрсөлдөх аргууд гэж үздэг ч өөр өөр давуу ба сул талуудтай харьцуулах нь зүйтэй гэж үздэг. Жишээ нь, Correll, Benard, and Paik (2007) нь лабораторийн туршилт болон "эхийн шийтгэл" -ийн эх сурвалжийг олох оролдлогыг хоёуланг нь ашигладаг байжээ. АНУ-д эхчүүд нь хүүхэдгүй эмэгтэйчүүдийг бодвол бага мөнгө зарцуулдаг ижил төстэй ажлын байран дахь ижил төстэй ур чадвартай эмэгтэйчүүдийг харьцуулах. Энэ хэв маягт олон боломжит тайлбарууд байдаг бөгөөд тэдгээрийн нэг нь ажил олгогчид эхийн эсрэг хандах хандлагатай байдаг. (Сонирхолтой нь, эцгүүдийн хувьд эсрэг зүйлүүд нь харьцуулж болохуйц хүүхэдгүй хүмүүсээс илүү их орлого олох хандлагатай байдаг.) ​​Ээж нарт эсрэг алдаа гаргаж буй байдлыг үнэлэхийн тулд Correll болон түүний хамтрагчид хоёр лабораторид, нэг нь салбарт ажиллаж байсан.

Нэгдүгээрт, лабораторийн туршилтаар тэд коллежийн бакалаврын зэрэгтэй байсан хүмүүст ярихдаа, компани нь Зүүн эргийн маркетингийн шинэ хэлтэсээ удирдах ажилчдыг хайж байгаа аж. Сурагчид ажилд авахад нь туслахыг хүсч байсан бөгөөд тэд хэд хэдэн боломжит нэр дэвшигчийн нэрсийн жагсаалтыг хянан үзэх, нэр дэвшигчдийг өөрсдийн оюун ухаан, халуун дулаан, ажил хөдөлмөр хийх зэрэг хэд хэдэн хэмжээсээр үнэлэхийг хүссэн. Цаашлаад оюутнууд ажилд орохыг хүсч байгаа эсэх, цалин хөлсөө эхлэхийг санал болгож байгаа эсэхийг асуусан. Хэдий тийм боловч оюутнуудад мэдэгдээгүй байсан зүйлс нь нэг зүйлээс өөр зүйлтэй ижил төстэй бүтэцтэй байсан: зарим нь ээжийгээ (эцэг эх-багш нарын холбоонд хамруулахыг оруулав), зарим нь тийм биш байсан. Корелл болон бусад хамт олон оюутнууд эхчүүдийг ажилд авахыг зөвлөх нь бага цалин авч эхэлснийг олж мэджээ. Тїїнчлэн, рейтинг ба ажилд авахтай холбоотой шийдвэрийн статистик дїн шинжилгээгээр дамжуулан Корелл болон тїїний хамтран ажиллагсад нь эх хїїхдийн сул талуудыг гол тєлєв чадавхи, амлалт їїргийнх нь хувьд доогуур гэж їнэлж тайлбарласан байдаг. Тиймээс энэхүү лабораторийн туршилт нь Корелл болон түүний хамт ажиллагсдад учирч болох үр нөлөөг хэмжиж, үр нөлөөг тайлбарлах боломж олгосон юм.

Мэдээжийн хэрэг, магадгүй АНУ-ын хөдөлмөрийн зах зээлийн тухай дүгнэлт гаргахад эргэлзэж байж магадгүй цөөхөн хэдэн зуун оюутны шийдвэрийг үндэслэн хэзээ ч бүрэн цагийн ажил хийдэггүй, хэн нэгнийг хөлсөлсөн байж магадгүй юм. Тиймээс Корелл болон бусад хамт олон талбайн туршилтуудыг хийж гүйцэтгэсэн. Тэд хэдэн зуун зар сурталчилгаа хийсэн ажлын байрны нээлтийн үйлдлийг хиймэл үсэг, анкет бөглөсөн. Оюутнуудад үзүүлсэн материалын адил зарим нь эхийн анхаарал татсан зан авирыг сэргээдэг бол зарим нь тийм биш юм. Correll болон хамтран ажиллагсад нь эхчүүд хүүхдүүдтэй ижил хүйстэнтэй эмэгтэйчүүдээс илүүтэй ярилцлага хийхээр дуудлагад өртөх магадлал бага байгааг олж мэджээ. Өөрөөр хэлбэл, жинхэнэ ажил олгогчид байгаль орчинд ээлтэй шийдвэр гаргахдаа оюутнуудтай адил төстэй байдаг. Тэд үүнтэй төстэй шийдвэр гаргасан уу? Харамсалтай нь бид мэдэхгүй байна. Судлаачид ажил олгогчдоос нэр дэвшүүлэх эсвэл тэдний шийдвэрийг тайлбарлах боломжгүй байсан.

Энэ туршилт нь ерөнхийдөө лабораторийн болон талбарын туршилтуудын талаар ихээхэн өгүүлдэг. Лабораторийн туршилтууд нь оролцогчдын шийдвэр гаргах орчинд нийт хяналтын ойролцоо судлаачдыг санал болгодог. Жишээ нь, лабораторийн туршилтаар Correll болон бусад хамт олон бүгдийг нь нам тайван байдалд уншиж байгааг бататгах боломжтой болсон. Хээрийн туршилт дээр зарим шинэчлэлтүүдийг уншаагүй байж болох юм. Цаашилбал, лабораторийн орчинд оролцогчид судалж байгаа гэдгээ мэддэг учраас судлаачид яагаад оролцогчдын шийдвэрийг тайлбарлахад туслах нэмэлт мэдээллийг цуглуулах чадвартай байдаг. Жишээ нь, Корелл болон бусад хамт олон нэр дэвшигчдийг янз бүрийн хэмжээсээр үнэлэхийн тулд лабораторийн туршилтанд оролцогчдоос асуусан. Энэ төрлийн үйл явцын өгөгдөл нь оролцогчдыг хэрхэн сэргээхэд хэрхэн хандахаас ялгаатай механизмыг ойлгоход судлаачдад тусална.

Нөгөө талаас, миний давуу тал гэж тодорхойлогдсон эдгээр ижил шинж чанарууд нь заримдаа сул талуудыг бас тооцдог. Хээрийн туршилт хийхийг хүсч буй судлаачид лабораторийн туршилтанд оролцогчид маш их ялгаатай байдаг гэж үздэг учир тэд судалж байгааг мэддэг. Жишээлбэл, лабораторийн туршилтанд оролцогчид судалгааны зорилгыг тесеелж, зан уйлийг еерчлехгуй байхын тулд еерсдийн зан уйлийг еерчилсен байж болох юм. Цаашид талбарт туршилт хийхийг илүүд үздэг судлаачид бага хэмжээний ялгаа нь лабораторийн маш цэвэр, лабораторийн орчинд л үүсдэг тул лабораторийн туршилт нь бодит ажилд авах шийдвэрийг эхийн үр нөлөөг хэт өндөр үнэлэх болно. Эцэст нь, хээрийн судалгааны олон дэмжигчид лабораторийн туршилтыг WEIRD-ийн оролцогчдод түшиглэдэг гэж үздэг. Үүнд: Баруун, Боловсрол, Аж үйлдвэржсэн, Баян, Ардчилсан орнуудын (Henrich, Heine, and Norenzayan 2010a) дээ. Correll болон түүний хамтрагч нарын хийсэн туршилтууд (2007) лабораторийн тасралтгүй байдлын хоёр давталтыг харуулав. Эдгээр хоёр туйлын хооронд эрлийз дизайны олон төрөл байдаг бөгөөд үүнд оюутнуудыг сурагчгүй лабораторид оруулах эсвэл талбайд гарах гэх мэт боловч оролцогчдод ер бусын үүрэг гүйцэтгэдэг хэвээр байна.

Өнгөрсөн хугацаанд оршин байсан лабораторийн талбайн гадна тоон нас нь судлаачид хоёр дахь том хэмжээстэй байдаг бөгөөд туршилтууд нь өөр өөр байдаг: аналог-тоон. Цэвэр лабораторийн туршилтууд, цэвэр талбайн туршилтууд, мөн янз бүрийн эрлийзүүд байдаг шиг цэвэр аналог туршилтууд, цэвэр дижитал туршилтууд, янз бүрийн хайбрид байдаг. Энэ орон зайн талаархи албан ёсны тодорхойлолтыг өгөх нь төвөгтэй боловч ажил хөдөлмөр эрхлэлтийн тодорхойлолт нь бүрэн дижитал туршилтууд нь оролцогчдыг элсүүлэх, тоон технологийг боловсруулах, үр дүнг хэмжих тоон дэд бүтцийг ашиглах туршилт юм. Жишээлбэл, Restivo болон van de Rijt's (2012) судлаачид болон Википедиа нь бүрэн алхдаг дижитал туршилт байсан бөгөөд эдгээр дөрвөн алхмыг тоон системд ашигладаг байсан. Үүний нэгэн адил, бүрэн аналог туршилтууд эдгээр дөрвөн алхмуудын аль нэгэнд тоон дэд бүтцийг ашигладаггүй. Сэтгэл судлалын сонгодог туршилтууд нь бүрэн аналог туршилтууд юм. Эдгээр хоёр туйлын хооронд аналог болон тоон системийг хослуулсан тоон дижитал туршилтууд байдаг.

Зарим хүмүүс тоон туршилтын талаар бодоод үзэхэд шууд онлайн туршилтуудын талаар бодож үзээрэй. Дижитал туршилтуудыг хийх боломж зөвхөн онлайн биш учраас энэ нь харамсалтай хэрэг юм. Судлаачид эмчилгээг хүргэх эсвэл үр дүнг хэмжихийн тулд бие махбодийн ертөнцөд тоон төхөөрөмж ашиглан тоон дижитал туршилтыг явуулж болно. Жишээлбэл, судлаачид үр дүнг хэмжихийн тулд барьсан орчинд эмчилгээ, мэдрэгчийг хүргэх ухаалаг гар утас ашиглаж болно. Үнэн хэрэгтээ энэхүү бүлгийг сүүлд харахад судлаачид гэр (Allcott 2015) цахилгаан тоолуурыг 8.5 сая өрхийг хамарсан эрчим хүчний хэрэглээний туршилтын үр дүнг хэмжих боломжтой болсон (Allcott 2015) . Дижитал төхөөрөмжүүд нь хүмүүсийн амьдралд улам бүр интеграцчилж, мэдрүүрүүд нь хүрээлэн буй орчинд нэгдэж, физик ертөнцөд хэсэгчилсэн тоон туршилт хийх боломжууд эрс нэмэгдэх болно. Өөрөөр хэлбэл дижитал туршилтууд нь зөвхөн онлайн туршилт биш юм.

Дижитал систем нь лаб-тасралтгүй үргэлжлэх туршилтын туршид шинэ боломжуудыг бий болгодог. Жишээлбэл, цэвэр лабораторийн туршилтанд оролцогчдын зан үйлийг нарийн хэмжих тоон системийг ашиглаж болно. Энэ төрлийн сайжруулсан хэмжилтийн нэг жишээ гэвэл нүдний байршлаас хамаарах нарийн, тасралтгүй хэмжилтийг хийх нүдээр хянах төхөөрөмж юм. Тоон нас нь лабораторийн туршилтыг онлайнаар ажиллуулах боломжийг бий болгодог. Жишээлбэл, судлаачид Амазоны Механик Турк (MTurk) -ийг онлайн туршилтанд оролцогчдыг элсүүлэн авах (Зураг 4.2). MTurk нь "ажил олгогч" -той дүйцэхүйц ажил үүргийг гүйцэтгэдэг. Уламжлалт хєдєлмєрийн зах зээлээс ялгаатай нь оролцсон даалгаврууд нь зєвхєн хэдэн минут шаардагдах бєгєєд ажил олгогч, ажилтан хоёрын хоорондын харилцаа онлайн байна. MTurk нь уламжлалт лабораторийн туршилтыг дүрслэн харуулдаг тул хүмүүсийг үнэ төлбөргүйгээр хийх боломжгүй даалгавруудыг биелүүлэхийн тулд хүмүүсийг төлж байгаа учраас зарим төрлийн туршилтуудад тохирсон байдаг. Үндсэндээ MTurk нь оролцогчдын удирдлагыг зохицуулах дэд бүтцийг бий болгосон бөгөөд хүмүүсийг ажилд авах, төлөх үүрэгтэй бөгөөд судлаачид уг дэд бүтцийн давуу талыг ашиглан оролцогчдын байнга бэлэн байлгахын тулд ашигласан.

Зураг 4.2: Амазоны Механик Түргээс (MTurk) авсан өгөгдлөөр нийтлэгдсэн бүтээлүүд. MTurk болон бусад хөдөлмөрийн зах зээлд судлаачид туршилтанд оролцогчдыг элсүүлэх тохиромжтой арга замыг санал болгодог. Боханноноос (2016) авав.

Зураг 4.2: Амазоны Механик Түргээс (MTurk) авсан өгөгдлөөр нийтлэгдсэн бүтээлүүд. MTurk болон бусад хөдөлмөрийн зах зээлд судлаачид туршилтанд оролцогчдыг элсүүлэх тохиромжтой арга замыг санал болгодог. Bohannon (2016) авав.

Тоон систем нь хээрийн туршилт хийхэд илүү их боломжийг бий болгодог. Ялангуяа судлаачид лабораторийн туршилттай холбоотой илүү олон янзын оролцогчидтой, лабораторийн туршилттай холбоотой хатуу хяналт, процессийн мэдээллийг нэгтгэх боломжийг олгодог. Үүнээс гадна дижитал тоон туршилтууд нь аналог туршилтанд хэцүү байсан гурван боломжуудыг санал болгодог.

Нэгдүгээрт, ихэнх аналоги лаборатори ба талбайн туршилтууд нь олон зуун оролцогчидтой байдаг бол тоон талбарт туршилтууд сая сая оролцогчидтой байдаг. Хуваарийн энэ өөрчлөлт нь зарим дижитал туршилтууд нь тэг хувьсах зардлаар өгөгдөл гаргаж чаддагтай холбоотой юм. Өөрөөр хэлбэл, судлаачид туршилтын дэд бүтцийг бий болгосноор оролцогчдын тоог нэмэгдүүлэх нь өртөгийг ихэсгэдэггүй. Оролцогчдын тоог 100 ба түүнээс дээш хүчин зүйлээр нэмэгдүүлэх нь тоон өөрчлөлт биш юм. Энэ нь чанарын өөрчлөлт юм. Учир нь энэ нь судлаачид туршилтаас ялгаатай зүйлсийг сурах боломжийг олгодог (жишээ нь, эмчилгээний үр нөлөөг харгалзан үзнэ), бүхэлд нь өөр өөр туршилтын загваруудыг (жишээ нь, томоохон группын туршилт гэх мэт) ажиллуулах боломжтой юм. Энэ бол маш чухал зүйл бөгөөд би дижитал туршилт хийх талаар зөвлөгөө өгөхдөө энэ бүлгийн эцэст буцаж очих болно.

Хоёрдугаарт, ихэнх аналоги лаборатори ба талбайн туршилтууд нь оролцогчид нь салангид бус савлагаатай харьцдаг бол тоон хээрийн туршилт нь судалгааны дизайны болон шинжилгээний үе шатанд оролцогчийн талаархи суурь мэдээллийг ашигладаг. Эмчилгээний өмнөх мэдээлэл гэж нэрлэгддэг суурь мэдээлэл нь дижитал туршилтанд ашиглагддаг бөгөөд тэдгээр нь байнгын хэмжлийн системүүд дээр ажилладаг (2-р бүлгийг үзнэ үү). Жишээлбэл, фэйсбүүкийн судлаач нь тоон хээрийн туршилт дээр хүмүүсийн талаархи анагаахын өмнөх мэдээлэл илүү их байдаг нь их сургуулийн судлаач түүний аналог хээрийн туршилтын талаар хүмүүсээс илүү байдаг. Урьдчилан эмчилгээ нь илүү үр дүнтэй туршилтын загваруудыг (тухайлбал, (Higgins, Sävje, and Sekhon 2016) , оролцогчдыг сонгох (Eckles, Kizilcec, and Bakshy 2016) болон эмчилгээний үр нөлөөний (Eckles, Kizilcec, and Bakshy 2016) тооцоолох гэх мэт илүү гүнзгий дүн шинжилгээ хийх боломжтой. (Athey and Imbens 2016a) , нарийвчлалыг нарийвчлан тохируулах (Bloniarz et al. 2016) .

Гуравдугаарт, олон аналоги лаборатори ба хээрийн туршилтууд эмчилгээг харьцангуй шахагдаж, харьцангуй шахуу хугацаагаар хэмждэг бол зарим тоон хээрийн туршилтууд нь удаан хугацаанд тохиолддог. Жишээ нь, Restivo болон van de Rijt-ийн туршилтыг 90 хоногийн турш өдөр бүр хэмждэг үр дүнг гаргаж байсан бөгөөд дараа нь энэ бүлэгт (Ferraro, Miranda, and Price 2011) туршилт хийсэн нэг туршилтыг үндсэндээ үгүй ​​бол зардал. Эдгээр гурван боломжит хэмжээ, эмчилгээний өмнөх мэдээлэл, урт хугацааны эмчилгээ, үр дагаврын өгөгдөл нь туршилтыг үргэлжлүүлэн хэмжилтийн системүүд дээр үргэлжлүүлэн явуулдаг (үргэлжлэл дээр хэмжилтийн системүүдийн талаар дэлгэрэнгүйг 2-р бүлгийг үзнэ үү).

Тоон тооны туршилтууд нь олон боломжуудыг санал болгодог ч тэд аналоги лаборатори болон аналоги талбарын туршилтуудтай зарим сул талуудыг хуваалцдаг. Жишээлбэл, туршилтыг өнгөрсөн үеийн судалгаанд ашиглах боломжгүй бөгөөд зөвхөн эмчилсэн эмчилгээний үр нөлөөг тооцоолж болно. Түүнчлэн, туршилтууд нь бодлогыг удирдан чиглүүлэхэд эргэлзээгүй тустай боловч байгаль орчны хараат байдал, нийцлийн асуудал, тэнцвэрийн үр дагавар зэрэг хүндрэлүүдээс шалтгаалан тэдний санал болгож буй удирдамж нь арай хязгаарлагдмал байдаг (Banerjee and Duflo 2009; Deaton 2010) . Тоон шинжилгээний талбар нь талбарын туршилтаар бий болгосон ёс зүйн асуудлуудыг өсгөнө. Энэ бүлгийн сүүлээр, 6-р бүлэгт өгүүлье.