ກິດຈະກໍາ

  • ລະດັບຄວາມຫຍຸ້ງຍາກ: ງ່າຍດາຍ ງ່າຍດາຍ , ກາງ ກາງ , ຍາກ ຍາກ , ຫນັກ​ຫຼາຍ ຫນັກ​ຫຼາຍ
  • ຕ້ອງການຄະນິດສາດ ( ຕ້ອງການຄະນິດສາດ )
  • ຕ້ອງການລະຫັດ ( ຕ້ອງການລະຫັດ )
  • ການເກັບຂໍ້ມູນ ( ການເກັບກໍາຂໍ້ມູນ )
  • my favorites ( ສິ່ງ​ທີ່​ຂ້ອຍ​ມັກ )
  1. [ ກາງ , ການເກັບກໍາຂໍ້ມູນ ] Berinsky ແລະເພື່ອນຮ່ວມງານ (2012) ປະເມີນ MTurk ໃນສ່ວນຫນຶ່ງໂດຍ replicating ສາມປະສົບການຄລາສສິກ. ການຄັດເລືອກແບບທົດລອງປະຫວັດສາດຂອງເອເຊຍອາເມຣິກາໂດຍ Tversky and Kahneman (1981) . ຜົນໄດ້ຮັບຂອງທ່ານກົງກັບ Tversky ແລະ Kahneman's? ຜົນໄດ້ຮັບຂອງທ່ານກົງກັນກັບ Berinsky ແລະເພື່ອນຮ່ວມງານບໍ? ສິ່ງນີ້ - ຖ້າມີຫຍັງ - ເຮັດແນວໃດນີ້ສອນພວກເຮົາກ່ຽວກັບການນໍາໃຊ້ MTurk ສໍາລັບການທົດລອງການສໍາຫຼວດ?

  2. [ ກາງ , ສິ່ງ​ທີ່​ຂ້ອຍ​ມັກ ] ໃນເອກະສານທີ່ມີຊື່ວ່າ "We Have to Break Up", ນັກຈິດວິທະຍາທາງສັງຄົມ Robert Cialdini, ຫນຶ່ງໃນຜູ້ຂຽນຂອງ Schultz et al. (2007) , ໄດ້ຂຽນວ່າລາວໄດ້ຮັບການແຕ່ງຕັ້ງຈາກການເຮັດວຽກໃນຖານະເປັນສາດສະດາ, ສ່ວນຫນຶ່ງແມ່ນຍ້ອນສິ່ງທ້າທາຍຕ່າງໆທີ່ລາວປະເຊີນກັບການທົດລອງໃນເຂດທັກສະທີ່ເປັນຫລັກການທົດລອງທົດລອງ (Cialdini 2009) . ອ່ານຫນັງສືຂອງ Cialdini, ແລະຂຽນອີເມວຊຸກຍູ້ໃຫ້ເພິ່ນພິຈາລະນາການແບ່ງປັນຂອງຕົນໃນຄວາມເປັນໄປໄດ້ຂອງການທົດລອງດິຈິຕອນ. ໃຊ້ຕົວຢ່າງຂອງການຄົ້ນຄວ້າທີ່ກ່ຽວຂ້ອງກັບຄວາມກັງວົນຂອງລາວ.

  3. [ ກາງ (2014) ແຊກແຊງເຂົ້າໃນສີ່ລະບົບທີ່ແຕກຕ່າງກັນທີ່ໄດ້ຮັບຜົນສໍາເລັດໃນບັນດາຜູ້ເຂົ້າຮ່ວມຄັດເລືອກເຂົ້າແລະຫຼັງຈາກນັ້ນໄດ້ວັດແທກຜົນກະທົບໃນໄລຍະຍາວຂອງຜົນສໍາເລັດທີ່ຕົນເອງມັກ. ທ່ານຄິດແນວໃດກ່ຽວກັບລະບົບອື່ນໆທີ່ທ່ານສາມາດດໍາເນີນການທົດລອງທີ່ຄ້າຍຄືກັນ? ການປະເມີນລະບົບເຫຼົ່ານີ້ກ່ຽວກັບບັນຫາຂອງມູນຄ່າທາງວິທະຍາສາດ, ສັບສົນລະບົບວິທະຍາສາດ (ເບິ່ງບົດທີ 2), ແລະຈັນຍາບັນ.

  4. [ ກາງ , ການເກັບກໍາຂໍ້ມູນ ] ຜົນໄດ້ຮັບຂອງການທົດລອງສາມາດຂຶ້ນກັບຜູ້ເຂົ້າຮ່ວມ. ສ້າງການທົດລອງແລະຫຼັງຈາກນັ້ນດໍາເນີນການມັນໃນ MTurk ໂດຍນໍາໃຊ້ສອງຍຸດທະສາດການຈ້າງງານທີ່ແຕກຕ່າງກັນ. ພະຍາຍາມເລືອກເອົາຍຸດທະສາດການທົດລອງແລະການທົດແທນດັ່ງນັ້ນຜົນໄດ້ຮັບຈະ ແຕກຕ່າງກັນ ໄປຕາມທີ່ສຸດ. ຍົກຕົວຢ່າງ, ຍຸດທະສາດການເລືອກຕັ້ງຂອງທ່ານສາມາດເລືອກເອົາຜູ້ເຂົ້າຮ່ວມໃນຕອນເຊົ້າແລະຕອນແລງຫຼືຈ່າຍຄ່າຊົດເຊີຍຜູ້ເຂົ້າຮ່ວມທີ່ມີລາຍໄດ້ສູງແລະຕ່ໍາ. ບັນດາຄວາມແຕກຕ່າງເຫຼົ່ານີ້ໃນຍຸດທະສາດການຈ້າງງານສາມາດນໍາໄປສູ່ຄວາມແຕກຕ່າງກັນຂອງຜູ້ເຂົ້າຮ່ວມແລະຜົນໄດ້ຮັບທົດລອງຕ່າງໆ. ຜົນໄດ້ຮັບຂອງທ່ານແຕກຕ່າງກັນແນວໃດ? ສິ່ງທີ່ສະແດງໃຫ້ເຫັນກ່ຽວກັບການປະຕິບັດການທົດລອງໃນ MTurk?

  5. [ ຫນັກ​ຫຼາຍ , ຕ້ອງການຄະນິດສາດ , ຕ້ອງການລະຫັດ ] ຈິນຕະນາການວ່າທ່ານກໍາລັງວາງແຜນການທົດລອງການຕິດຕໍ່ທາງໃຈ (Kramer, Guillory, and Hancock 2014) . ການນໍາໃຊ້ຜົນໄດ້ຮັບຈາກການສຶກສາສັງເກດການໂດຍ Kramer (2012) ເພື່ອຕັດສິນຈໍານວນຜູ້ເຂົ້າຮ່ວມໃນແຕ່ລະສະພາບ. ທັງສອງການສຶກສາເຫຼົ່ານີ້ບໍ່ເຫມາະສົມຢ່າງສົມບູນສະນັ້ນໃຫ້ແນ່ໃຈວ່າລະບຸຢ່າງຊັດເຈນບັນດາສົມມຸດຕິຖານທີ່ທ່ານເຮັດ:

    1. ດໍາເນີນການຈໍາລອງທີ່ຈະຕັດສິນໃຈວ່າຜູ້ເຂົ້າຮ່ວມຈໍານວນຫຼາຍຈະຕ້ອງມີຜົນກະທົບຕໍ່ຜົນກະທົບຂອງ Kramer (2012) ກັບ \(\alpha = 0.05\) ແລະ \(1 - \beta = 0.8\) .
    2. ເຮັດການຄິດໄລ່ດຽວກັນວິເຄາະ.
    3. ຜົນໄດ້ຮັບຈາກ Kramer (2012) ແມ່ນ Emotional Contagion (Kramer, Guillory, and Hancock 2014) ຫຼາຍເກີນໄປ (ຕົວຢ່າງມັນມີຜູ້ເຂົ້າຮ່ວມຫຼາຍກວ່າຈໍາເປັນ)?
    4. ຂອງສົມມຸດຕິຖານທີ່ທ່ານເຮັດ, ເຊິ່ງມີຜົນກະທົບທີ່ສຸດໃນການຄິດໄລ່ຂອງທ່ານ?
  6. [ ຫນັກ​ຫຼາຍ , ຕ້ອງການຄະນິດສາດ , ຕ້ອງການລະຫັດ ] ຕອບຄໍາຖາມກ່ອນຫນ້ານີ້ອີກເທື່ອຫນຶ່ງ, ແຕ່ເວລານີ້ແທນທີ່ຈະໃຊ້ການສຶກສາສັງເກດກ່ອນໂດຍ Kramer (2012) , ນໍາໃຊ້ຜົນໄດ້ຮັບຈາກການທົດລອງທໍາມະຊາດກ່ອນໂດຍ Lorenzo Coviello et al. (2014) .

  7. [ ງ່າຍດາຍ ] ທັງ Margetts et al. (2011) ແລະ van de Rijt et al (2014) ໄດ້ປະຕິບັດວຽກທົດລອງສຶກສາຂະບວນການຂອງຜູ້ລົງນາມໃນຄໍາຮ້ອງຟ້ອງ. ປຽບທຽບແລະກົງກັນຂ້າມກັບການອອກແບບແລະຜົນການຄົ້ນພົບຂອງການສຶກສາເຫຼົ່ານີ້.

  8. [ ງ່າຍດາຍ ] Dwyer, Maki, and Rothman (2015) ໄດ້ດໍາເນີນການທົດລອງພາກສະຫນາມສອງກ່ຽວກັບສາຍພົວພັນລະຫວ່າງບັນດາມາດຕະຖານທາງດ້ານສັງຄົມແລະພຶດຕິກໍາທີ່ມີຜົນກະທົບຕໍ່ສິ່ງແວດລ້ອມ. ນີ້ແມ່ນຕົວຫນັງສືທີ່ບໍ່ມີຕົວຕົນຂອງພວກເຂົາ:

    "ວິທີການວິທະຍາສາດທາງຈິດວິທະຍາສາມາດໃຊ້ເພື່ອຊຸກຍູ້ການປະພຶດດ້ານປະຫວັດສາດໄດ້ແນວໃດ? ໃນສອງການສຶກສາ, ການຊ່ວຍເຫຼືອທີ່ມີຈຸດປະສົງໃນການສົ່ງເສີມພຶດຕິກໍາການອະນຸລັກພະລັງງານໃນຫ້ອງນ້ໍາສາທາລະນະໄດ້ພິຈາລະນາອິດທິພົນຂອງບັນດາມາດຕະຖານແລະຄວາມຮັບຜິດຊອບສ່ວນບຸກຄົນ. ໃນການສຶກສາ 1, ສະຖານະພາບແສງສະຫວ່າງ (ເຊົ່ນ, ປິດຫລືປິດ) ຖືກປະຕິບັດກ່ອນທີ່ຜູ້ໃດຜູ້ຫນຶ່ງເຂົ້າໄປໃນຫ້ອງນ້ໍາສາທາລະນະທີ່ບໍ່ມີບ່ອນຢູ່, ສະແດງຂໍ້ກໍານົດທີ່ກໍານົດໄວ້ໃນການຕັ້ງຄ່ານັ້ນ. ຜູ້ເຂົ້າຮ່ວມແມ່ນມີຄວາມສົນໃຈຫຼາຍທີ່ຈະເຮັດໃຫ້ປິດໄຟຖ້າພວກເຂົາຖືກປິດລົງເມື່ອພວກເຂົາເຂົ້າໄປ. ໃນການສຶກສາ 2, ເງື່ອນໄຂເພີ່ມເຕີມໄດ້ຖືກລວມເຂົ້າໃນມາດຕະຖານຂອງການປ່ຽນແສງສະຫວ່າງສະແດງໃຫ້ເຫັນໂດຍ confederate, ແຕ່ຜູ້ເຂົ້າຮ່ວມບໍ່ໄດ້ຮັບຜິດຊອບຕົວເອງໃນການເປີດມັນ. ຄວາມຮັບຜິດຊອບສ່ວນຕົວສະກັດກັ້ນອິດທິພົນຂອງບັນດາມາດຕະຖານທາງດ້ານສັງຄົມກ່ຽວກັບພຶດຕິກໍາ; ໃນເວລາທີ່ຜູ້ເຂົ້າຮ່ວມບໍ່ໄດ້ຮັບຜິດຊອບໃນການປ່ຽນແປງແສງສະຫວ່າງ, ອິດທິພົນຂອງມາດຕະຖານໄດ້ຫຼຸດລົງ. ຜົນໄດ້ຮັບເຫຼົ່ານີ້ສະແດງໃຫ້ເຫັນວ່າມາດຕະຖານຄໍາອະທິບາຍແລະຄວາມຮັບຜິດຊອບສ່ວນຕົວສາມາດຄວບຄຸມຜົນປະໂຫຍດຂອງການປະຕິບັດດ້ານການປະພຶດຕົວໄດ້. "

    ອ່ານເຈ້ຍຂອງພວກເຂົາແລະອອກແບບການຈໍາລອງການສຶກສາ 1.

  9. [ ກາງ , ການເກັບກໍາຂໍ້ມູນ ] ການກໍ່ສ້າງໃນຄໍາຖາມທີ່ຜ່ານມາ, ປະຕິບັດການອອກແບບຂອງທ່ານ.

    1. ຜົນໄດ້ຮັບແມ່ນປຽບທຽບແນວໃດ?
    2. ສິ່ງທີ່ອາດຈະອະທິບາຍຄວາມແຕກຕ່າງເຫຼົ່ານີ້?
  10. [ ກາງ ] ມີການໂຕ້ວາທີກ່ຽວກັບການທົດລອງໂດຍນໍາໃຊ້ຜູ້ເຂົ້າຮ່ວມທີ່ໄດ້ຮັບການແຕ່ງຕັ້ງຈາກ MTurk. ໃນຂະນະດຽວກັນ, ຍັງມີການໂຕ້ວາທີຢ່າງຫຼວງຫຼາຍກ່ຽວກັບການທົດລອງໂດຍນໍາໃຊ້ຜູ້ເຂົ້າຮ່ວມທີ່ມາຈາກປະຊາກອນນັກຮຽນຊັ້ນປະຖົມ. ຂຽນບົດບັນທຶກຂໍ້ມູນສອງຫນ້າເມື່ອທຽບກັບຊາວ Turkers ແລະນັກຮຽນຈົບຊັ້ນທີ່ເຂົ້າຮ່ວມການຄົ້ນຄວ້າ. ການປຽບທຽບຂອງທ່ານຄວນປະກອບມີການສົນທະນາກ່ຽວກັບບັນຫາທາງວິທະຍາສາດແລະດ້ານການຂົນສົ່ງ.

  11. [ ງ່າຍດາຍ ] ຫນັງສື Jim Manzi Uncontrolled (2012) ແມ່ນການແນະນໍາທີ່ດີເລີດສໍາລັບພະລັງງານຂອງການທົດລອງໃນທຸລະກິດ. ໃນຫນັງສືລາວໄດ້ສົ່ງເລື່ອງຕໍ່ໄປນີ້:

    "ຂ້ອຍເຄີຍຢູ່ໃນກອງປະຊຸມທີ່ມີຄວາມເປັນເອກະລັກທາງດ້ານທຸລະກິດທີ່ແທ້ຈິງ, ເປັນນັກເສດຖະສາດທີ່ເຮັດດ້ວຍຕົນເອງທີ່ມີຄວາມຮູ້ສຶກທີ່ເລິກເຊິ່ງ, ມີຄວາມເຂົ້າໃຈໃນການທົດລອງ. ບໍລິສັດຂອງລາວໄດ້ໃຊ້ຊັບພະຍາກອນທີ່ສໍາຄັນເພື່ອພະຍາຍາມສ້າງການສະແດງຫນ້າຮ້ານທີ່ດີເລີດທີ່ຈະດຶງດູດຜູ້ຊົມໃຊ້ແລະເພີ່ມຍອດຂາຍຕາມຄວາມເຂົ້າໃຈຂອງນັກລົງທືນ. ຜູ້ຊ່ຽວຊານໄດ້ອອກແບບການກວດສອບຢ່າງລະມັດລະວັງຫຼັງຈາກການອອກແບບແລະໃນການທົບທວນການສອບເສັງຂອງແຕ່ລະໄລຍະໃນໄລຍະເວລາຫລາຍປີຍັງບໍ່ມີຜົນກະທົບທີ່ເກີດຈາກການອອກແບບສະແດງໃຫມ່ໃນການຂາຍ. ຜູ້ບໍລິຫານດ້ານການຕະຫຼາດແລະຜູ້ບໍລິຫານສິນຄ້າໃຫຍ່ໄດ້ພົບກັບຊີອີໂອເພື່ອທົບທວນຜົນໄດ້ຮັບໃນການທົດສອບປະຫວັດສາດເຫຼົ່ານີ້. ຫຼັງຈາກນໍາສະເຫນີຂໍ້ມູນທັງຫມົດທົດລອງແລ້ວ, ພວກເຂົາໄດ້ສະຫລຸບວ່າປັນຍາປະຕິບັດແມ່ນຜິດພາດ - ການສະແດງຫນ້າຈໍບໍ່ເຮັດໃຫ້ການຂາຍ. ການປະຕິບັດຄໍາແນະນໍາຂອງພວກເຂົາແມ່ນເພື່ອຫຼຸດຜ່ອນຄ່າໃຊ້ຈ່າຍແລະຄວາມພະຍາຍາມໃນຂົງເຂດນີ້. ນີ້ສະແດງໃຫ້ເຫັນຄວາມສາມາດຂອງການທົດລອງເພື່ອ overturn ປັນຍາດາ. ການຕອບໂຕ້ຂອງ CEO ແມ່ນງ່າຍດາຍ: "ການສະຫລຸບຂອງຂ້ອຍແມ່ນວ່າຜູ້ອອກແບບຂອງເຈົ້າບໍ່ດີຫລາຍ." ການແກ້ໄຂຂອງເຂົາແມ່ນເພື່ອເພີ່ມຄວາມພະຍາຍາມໃນການອອກແບບສະແດງຮ້ານ, ແລະເພື່ອໃຫ້ຄົນໃຫມ່ເຮັດ. " (Manzi 2012, 158–9)

    ປະເພດຂອງຄວາມຖືກຕ້ອງແມ່ນຄວາມກັງວົນຂອງ CEO ບໍ?

  12. [ ງ່າຍດາຍ ] ການກໍ່ສ້າງໃນຄໍາຖາມທີ່ຜ່ານມາ, ຈິນຕະນາການວ່າທ່ານຢູ່ໃນກອງປະຊຸມທີ່ຜົນໄດ້ຮັບຂອງການທົດລອງຖືກປຶກສາຫາລື. ມີສີ່ຄໍາຖາມທີ່ທ່ານສາມາດຖາມ - ຫນຶ່ງໃນປະໂຫຍດໃນແຕ່ລະປະເພດ (ສະຖິຕິ, ກໍ່ສ້າງ, ພາຍໃນ, ແລະພາຍນອກ) ແນວໃດ?

  13. [ ງ່າຍດາຍ ] Bernedo, Ferraro, and Price (2014) ໄດ້ສຶກສາຜົນກະທົບຕໍ່ເຈັດປີຂອງການປະຕິບັດການປະຫຍັດນ້ໍາທີ່ໄດ້ອະທິບາຍໄວ້ໃນ Ferraro, Miranda, and Price (2011) (ເບິ່ງຮູບພາບ 4.11). ໃນບົດຂຽນນີ້, Bernedo ແລະເພື່ອນຮ່ວມງານຍັງໄດ້ຊອກຫາກົນໄກທີ່ຢູ່ເບື້ອງຫລັງຜົນກະທົບໂດຍການປຽບທຽບພຶດຕິກໍາຂອງຄົວເຮືອນທີ່ມີແລະບໍ່ໄດ້ຍ້າຍຫຼັງຈາກການປິ່ນປົວໄດ້ຖືກສົ່ງ. ນັ້ນແມ່ນ, ປະມານ, ພວກເຂົາພະຍາຍາມເບິ່ງວ່າການປິ່ນປົວມີຜົນກະທົບຕໍ່ເຮືອນຫຼືເຈົ້າຂອງເຮືອນ.

    1. ອ່ານເອກະສານ, ອະທິບາຍການອອກແບບຂອງພວກເຂົາ, ແລະສະຫຼຸບຜົນການຄົ້ນພົບຂອງພວກເຂົາ.
    2. ຜົນການວິໄຈຂອງພວກມັນມີຜົນກະທົບແນວໃດກ່ຽວກັບວິທີທີ່ທ່ານຄວນປະເມີນຜົນປະສິດທິຜົນຂອງການປະຕິບັດທີ່ຄ້າຍຄືກັນ ຖ້າເປັນດັ່ງນັ້ນ, ເປັນຫຍັງ? ຖ້າບໍ່ແມ່ນ, ເປັນຫຍັງບໍ່?
  14. [ ງ່າຍດາຍ ] ໃນການຕິດຕາມຕໍ່ Schultz et al. (2007) (Schultz, Khazian, and Zaleski 2008) , ໃນ Schultz et al. (2007) , Schultz ແລະເພື່ອນຮ່ວມງານໄດ້ປະຕິບັດການທົດລອງສາມຢ່າງກ່ຽວກັບຜົນກະທົບຂອງມາດຕະຖານລະອຽດແລະຄໍາສັ່ງກ່ຽວກັບພຶດຕິກໍາດ້ານສິ່ງແວດລ້ອມທີ່ແຕກຕ່າງກັນ. ທີ່ຢູ່

    1. ສະຫຼຸບການອອກແບບແລະຜົນການຄົ້ນພົບຂອງສາມປະສົບການ.
    2. ແນວໃດ, ຖ້າຢູ່ໃນທຸກ, ພວກເຂົາເຈົ້າມີການປ່ຽນແປງການຕີລາຄາຂອງທ່ານ Schultz et al. (2007) ?
  15. [ ງ່າຍດາຍ ] ໃນການຕອບສະຫນອງກັບ Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) ໄດ້ດໍາເນີນການທົດລອງແບບທົດລອງຄ້າຍຄືກັນກັບການສຶກສາການອອກແບບໃບບິນໄຟຟ້າ. ນີ້ແມ່ນວິທີທີ່ພວກເຂົາຈະອະທິບາຍມັນຢູ່ໃນຕົວຂອງມັນເອງ:

    "ໃນການທົດລອງໃນການສໍາຫຼວດ, ຜູ້ເຂົ້າຮ່ວມແຕ່ລະຄົນໄດ້ເຫັນໃບເກັບເງິນໄຟຟ້າທີ່ສົມເຫດສົມຜົນສໍາລັບຄອບຄົວທີ່ມີການນໍາໃຊ້ໄຟຟ້າສູງ, ກວມເອົາຂໍ້ມູນກ່ຽວກັບການນໍາໃຊ້ປະຫວັດສາດ, (ຂ) ການປຽບທຽບກັບເພື່ອນບ້ານ, ແລະ (c) ການນໍາໃຊ້ປະຫວັດສາດກັບລະບົບເຄື່ອງ. ຜູ້ເຂົ້າຮ່ວມໄດ້ເຫັນທຸກປະເພດຂໍ້ມູນໃນຫນຶ່ງໃນສາມຮູບແບບລວມທັງຕາຕະລາງ (ຂ) (bar graph) ແລະ (c) graphs icon. ພວກເຮົາລາຍງານກ່ຽວກັບຜົນການຄົ້ນພົບສາມຢ່າງ. ຫນ້າທໍາອິດ, ຜູ້ບໍລິໂພກໄດ້ເຂົ້າໃຈທຸກໆຂໍ້ມູນກ່ຽວກັບການໃຊ້ໄຟຟ້າຫຼາຍທີ່ສຸດໃນເວລາທີ່ມັນຖືກນໍາສະເຫນີໃນຕາຕະລາງ, ບາງທີເນື່ອງຈາກຕາຕະລາງສະດວກໃນການອ່ານຈຸດທີ່ງ່າຍດາຍ. ສອງ, ຄວາມມັກແລະຄວາມຕັ້ງໃຈທີ່ຈະຊ່ວຍປະຢັດພະລັງງານແມ່ນມີຄວາມເຂັ້ມແຂງທີ່ສຸດສໍາລັບຂໍ້ມູນການນໍາໃຊ້ປະຫວັດສາດ, ບໍ່ແມ່ນຮູບແບບ. ສາມ, ບຸກຄົນທີ່ມີຄວາມຮູ້ດ້ານພະລັງງານຕ່ໍາກວ່າເຂົ້າໃຈຂໍ້ມູນທັງຫມົດຫນ້ອຍລົງ. "

    ແຕກຕ່າງຈາກການສຶກສາການຕິດຕາມອື່ນໆ, ຜົນໄດ້ຮັບຕົ້ນຕໍຂອງຄວາມສົນໃຈໃນ Canfield, Bruin, and Wong-Parodi (2016) ແມ່ນການປະພຶດທີ່ບໍ່ແມ່ນຕົວຈິງ. ຄວາມເຂັ້ມແຂງແລະຈຸດອ່ອນຂອງປະເພດຂອງການສຶກສານີ້ແມ່ນຫຍັງໃນໂຄງການຄົ້ນຄ້ວາເພື່ອສົ່ງເສີມການປະຢັດພະລັງງານ?

  16. [ ກາງ , ສິ່ງ​ທີ່​ຂ້ອຍ​ມັກ ] Smith and Pell (2003) ນໍາສະເຫນີການວິເຄາະເຊີງວັດທະນະທໍາຂອງການສຶກສາທີ່ສະແດງໃຫ້ເຫັນເຖິງປະສິດທິພາບຂອງເຮືອບິນ. ພວກເຂົາສະຫຼຸບວ່າ:

    "ເຊັ່ນດຽວກັນກັບການແຊກແຊງຈໍານວນຫນຶ່ງທີ່ມີຈຸດປະສົງເພື່ອປ້ອງກັນສຸຂະພາບບໍ່ດີ, ປະສິດທິພາບຂອງການແລ່ນເຮືອບິນຍັງບໍ່ໄດ້ຮັບການປະເມີນຢ່າງເຂັ້ມງວດໂດຍການນໍາໃຊ້ການທົດລອງຄວບຄຸມແບບ randomized. ຜູ້ສະຫນັບສະຫນູນຢາທີ່ມີຫຼັກຖານໄດ້ຖືກວິພາກວິຈານວ່າການນໍາໃຊ້ການປະຕິບັດການປະເມີນຜົນໂດຍການນໍາໃຊ້ຂໍ້ມູນການສັງເກດພຽງແຕ່. ພວກເຮົາຄິດວ່າທຸກໆຄົນຈະໄດ້ຮັບຜົນປະໂຫຍດຖ້າຫາກວ່າຕົວຢ່າງທີ່ສໍາຄັນທີ່ສຸດຂອງຢາພື້ນເມືອງທີ່ໄດ້ຈັດຕັ້ງແລະເຂົ້າຮ່ວມໃນການທົດລອງ crossover double, randomized, placebo controlled, crossover trial of parachute. "

    ຂຽນບົດກະວີທີ່ເຫມາະສົມສໍາລັບຫນັງສືພິມຜູ້ອ່ານທົ່ວໄປ, ເຊັ່ນ: New York Times , ການໂຕ້ຖຽງກັບການຫລຸດພົ້ນຈາກຫຼັກຖານທົດລອງ. ໃຫ້ຕົວຢ່າງສະເພາະ, ສະເພາະ. ຄໍາແນະນໍາ: ເບິ່ງ Deaton (2010) ແລະ Bothwell et al. (2016)

  17. [ ກາງ , ຕ້ອງການລະຫັດ , ສິ່ງ​ທີ່​ຂ້ອຍ​ມັກ ] ການຄາດຄະເນທີ່ແຕກຕ່າງກັນໃນຄວາມແຕກຕ່າງຂອງຜົນກະທົບດ້ານການປິ່ນປົວສາມາດມີຄວາມຊັດເຈນຫຼາຍກ່ວາຕົວຄາດຄະເນທີ່ແຕກຕ່າງກັນໃນສະເລ່ຍ. ຂຽນຈົດຫມາຍເຖິງວິສະວະກອນທີ່ຮັບຜິດຊອບທົດສອບ A / B ໃນບໍລິສັດສື່ມວນຊົນສັງຄົມເລີ່ມຕົ້ນອະທິບາຍເຖິງມູນຄ່າຂອງວິທີການແຕກຕ່າງກັນໃນການທົດລອງການທົດລອງອອນໄລນ໌. ບັນທຶກຂໍ້ມູນຄວນປະກອບມີຄໍາເວົ້າຂອງບັນຫາ, ຄວາມເຂົ້າໃຈບາງຢ່າງກ່ຽວກັບເງື່ອນໄຂທີ່ຄາດຄະເນຄວາມແຕກຕ່າງໃນການຄາດຄະເນຈະດີກວ່າການຄາດຄະເນທີ່ແຕກຕ່າງກັນໃນແຕ່ລະ, ແລະການສຶກສາແບບຈໍາລອງແບບງ່າຍດາຍ.

  18. [ ງ່າຍດາຍ , ສິ່ງ​ທີ່​ຂ້ອຍ​ມັກ ] Gary Loveman ເປັນຄູອາຈານຢູ່ໂຮງຮຽນທຸລະກິດ Harvard ກ່ອນທີ່ຈະກາຍມາເປັນ CEO ຂອງ Harrah, ຫນຶ່ງໃນບໍລິສັດຄາສິໂນທີ່ໃຫຍ່ທີ່ສຸດໃນໂລກ. ໃນເວລາທີ່ທ່ານໄດ້ຍ້າຍໄປບ່ອນ Harrah, Loveman ໄດ້ຫັນປ່ຽນບໍລິສັດທີ່ມີໂຄງການຄວາມສັດຊື່ຕໍ່ເລື້ອຍໆ, ເຊິ່ງໄດ້ເກັບກໍາຂໍ້ມູນຈໍານວນຫລາຍກ່ຽວກັບພຶດຕິກໍາຂອງລູກຄ້າ. ຢູ່ເທິງສຸດຂອງລະບົບການວັດແທກແບບສະເຫມີໄປນີ້, ບໍລິສັດໄດ້ເລີ່ມດໍາເນີນການທົດລອງ. ຕົວຢ່າງ, ພວກເຂົາອາດຈະດໍາເນີນການທົດລອງເພື່ອປະເມີນຜົນຂອງຄູປອງສໍາລັບຄືນຄືນໂຮງແຮມສໍາລັບລູກຄ້າທີ່ມີຮູບແບບການພະນັນສະເພາະ. ນີ້ແມ່ນວິທີທີ່ Loveman ອະທິບາຍເຖິງຄວາມສໍາຄັນຂອງການທົດລອງກັບການປະຕິບັດທຸລະກິດປະຈໍາວັນຂອງ Harrah:

    "ມັນຄືກັບວ່າທ່ານບໍ່ຂົ່ມເຫັງແມ່ຍິງ, ທ່ານບໍ່ໄດ້ລັກ, ແລະທ່ານຕ້ອງມີກຸ່ມຄວບຄຸມ. ນີ້ແມ່ນຫນຶ່ງໃນສິ່ງທີ່ທ່ານສາມາດສູນເສຍວຽກເຮັດງານທໍາຂອງທ່ານຢູ່ທີ່ Harrah's, ບໍ່ແມ່ນການດໍາເນີນກຸ່ມຄວບຄຸມ. " (Manzi 2012, 146)

    ຂຽນອີເມວຫາພະນັກງານໃຫມ່ອະທິບາຍວ່າເປັນຫຍັງ Loveman ຄິດວ່າມັນເປັນສິ່ງສໍາຄັນທີ່ຈະມີກຸ່ມຄວບຄຸມ. ທ່ານຄວນພະຍາຍາມປະກອບມີຕົວຢ່າງ - ບໍ່ວ່າຈະເປັນຕົວຈິງຫຼືເຮັດໃຫ້ - ເພື່ອສະແດງຈຸດຂອງທ່ານ.

  19. [ ຍາກ , ຕ້ອງການຄະນິດສາດ ] ການທົດລອງໃຫມ່ມີຈຸດປະສົງເພື່ອປະເມີນຜົນກະທົບຂອງການໄດ້ຮັບການເຕືອນຂໍ້ຄວາມຂໍ້ຄວາມກ່ຽວກັບການດູແລຢາວັກຊີນ. ຫນຶ່ງຮ້ອຍຫ້າສິບຫ້ອງການ, ແຕ່ລະຄົນມີຜູ້ປ່ວຍທີ່ມີສິດໄດ້ຮັບ 600 ຄົນ, ແມ່ນເຕັມໃຈທີ່ຈະເຂົ້າຮ່ວມ. ມີຄ່າໃຊ້ຈ່າຍຄົງທີ່ $ 100 ສໍາລັບແຕ່ລະຄລີນິກທີ່ທ່ານຕ້ອງການເຮັດວຽກຮ່ວມກັນ, ແລະມັນມີຄ່າໃຊ້ຈ່າຍ 1 ໂດລາສໍາລັບຂໍ້ຄວາມທີ່ທ່ານຕ້ອງການສົ່ງ. ນອກຈາກນັ້ນ, ຄລີນິກທີ່ທ່ານກໍາລັງເຮັດວຽກຮ່ວມກັນຈະວັດຜົນໄດ້ຮັບ (ບໍ່ວ່າໃຜຈະໄດ້ຮັບການສັກຢາປ້ອງກັນ). ສົມມຸດວ່າທ່ານມີງົບປະມານ $ 1,000.

    1. ພາຍໃຕ້ເງື່ອນໄຂໃດກໍ່ຕາມມັນອາດຈະດີກວ່າທີ່ຈະສຸມໃສ່ຊັບພະຍາກອນຂອງທ່ານຢູ່ໃນຈໍານວນຄລີນິກທີ່ນ້ອຍແລະພາຍໃຕ້ເງື່ອນໄຂທີ່ອາດຈະດີກວ່າການແຜ່ຂະຫຍາຍພວກມັນຢ່າງກວ້າງຂວາງ?
    2. ປັດໃຈທີ່ຈະກໍານົດຂະຫນາດຜົນກະທົບທີ່ນ້ອຍທີ່ສຸດທີ່ທ່ານຈະສາມາດກວດພົບໄດ້ດ້ວຍງົບປະມານຂອງທ່ານບໍ?
    3. ຂຽນບົດບັນຍາຍທີ່ອະທິບາຍການປ່ຽນແປງເຫຼົ່ານີ້ໃຫ້ແກ່ຜູ້ທີ່ມີຄວາມຍືນຍົງ.
  20. [ ຍາກ , ຕ້ອງການຄະນິດສາດ ] ບັນຫາທີ່ສໍາຄັນກັບຫລັກສູດອອນໄລນ໌ແມ່ນການເຂົ້າໃຈ: ນັກຮຽນຈໍານວນຫຼາຍທີ່ເລີ່ມຕົ້ນຫຼັກສູດຈະສິ້ນສຸດລົງ. ຈິນຕະນາການວ່າທ່ານກໍາລັງເຮັດວຽກຢູ່ໃນເວທີການຮຽນຮູ້ອອນໄລນ໌ແລະຜູ້ອອກແບບຢູ່ໃນເວທີດັ່ງກ່າວໄດ້ສ້າງແຖບຄວາມຄືບຫນ້າທີ່ເບິ່ງຄືວ່າຈະຊ່ວຍປ້ອງກັນບໍ່ໃຫ້ນັກຮຽນອອກຈາກຫຼັກສູດ. ທ່ານຕ້ອງການທົດສອບຜົນກະທົບຂອງແຖບຄວາມຄືບຫນ້າຂອງນັກຮຽນໃນຫຼັກສູດວິທະຍາສາດສັງຄົມຄອມພິວເຕີໃຫຍ່. ຫຼັງຈາກແກ້ໄຂບັນຫາດ້ານຈັນຍາບັນທີ່ອາດເກີດຂື້ນໃນການທົດລອງ, ທ່ານແລະເພື່ອນຮ່ວມງານຂອງທ່ານມີຄວາມກັງວົນວ່າຫຼັກສູດອາດຈະບໍ່ມີນັກຮຽນພຽງພໍທີ່ຈະກວດສອບຜົນກະທົບຂອງແຖບຄວາມກ້າວຫນ້າ. ໃນການຄິດໄລ່ດັ່ງຕໍ່ໄປນີ້, ທ່ານສາມາດສົມມຸດວ່າເຄິ່ງຫນຶ່ງຂອງນັກຮຽນຈະໄດ້ຮັບແຖບຄວາມກ້າວຫນ້າແລະບໍ່ເຄິ່ງຫນຶ່ງ. ນອກຈາກນັ້ນ, ທ່ານສາມາດສົມມຸດວ່າບໍ່ມີການແຊກແຊງ. ໃນຄໍາສັບຕ່າງໆອື່ນໆ, ທ່ານສາມາດສົມມຸດວ່າຜູ້ເຂົ້າຮ່ວມໄດ້ຮັບຜົນກະທົບພຽງແຕ່ວ່າພວກເຂົາໄດ້ຮັບການປິ່ນປົວຫລືຄວບຄຸມ; ພວກເຂົາບໍ່ໄດ້ປະຕິບັດໂດຍວ່າຄົນອື່ນໄດ້ຮັບການປິ່ນປົວຫຼືຄວບຄຸມ (ສໍາລັບຄໍານິຍາມທີ່ເປັນທາງການຫຼາຍ, ເບິ່ງພາກ 8 ຂອງ Gerber and Green (2012) ). ໃຫ້ຕິດຕາມການສົມມຸດຕິຖານເພີ່ມເຕີມທີ່ທ່ານເຮັດ.

    1. ສົມມຸດວ່າແຖບຄວາມຄືບຫນ້າຄາດວ່າຈະເພີ່ມອັດຕາສ່ວນຂອງນັກຮຽນທີ່ສໍາເລັດການຮຽນໂດຍ 1 ຈຸດສ່ວນຮ້ອຍ; ຂະຫນາດຕົວຢ່າງທີ່ຕ້ອງການເພື່ອກວດສອບຜົນກະທົບແມ່ນຫຍັງ?
    2. ສົມມຸດວ່າແຖບຄວາມຄືບຫນ້າຄາດວ່າຈະເພີ່ມອັດຕາສ່ວນຂອງນັກຮຽນທີ່ຮຽນຈົບຊັ້ນ 10%; ຂະຫນາດຕົວຢ່າງທີ່ຕ້ອງການເພື່ອກວດສອບຜົນກະທົບແມ່ນຫຍັງ?
    3. ຕອນນີ້ຈິນຕະນາການວ່າທ່ານໄດ້ດໍາເນີນການທົດລອງແລະນັກຮຽນທີ່ໄດ້ສະຫຼຸບຫຼັກສູດຫຼັກສູດທັງຫມົດແລ້ວໄດ້ສອບເສັງຂັ້ນສຸດທ້າຍ. ໃນເວລາທີ່ທ່ານສົມທຽບຄະແນນການສອບເສັງຂັ້ນສຸດທ້າຍຂອງນັກຮຽນທີ່ໄດ້ຮັບແຖບຄວາມກ້າວຫນ້າທີ່ມີຄະແນນຂອງຜູ້ທີ່ບໍ່ໄດ້ພົບເຫັນ, ທ່ານພົບເຫັນວ່ານັກຮຽນທີ່ບໍ່ໄດ້ຮັບການພັດທະນາໃນຕົວຈິງກໍ່ໄດ້ສູງກວ່າ. ນີ້ຫມາຍຄວາມວ່າແຖບຄວາມຄືບຫນ້າທີ່ເຮັດໃຫ້ນັກຮຽນຮຽນຫນ້ອຍກວ່າ? ທ່ານສາມາດຮຽນຮູ້ຫຍັງຈາກຂໍ້ມູນຜົນໄດ້ຮັບນີ້? (ຄໍາແນະນໍາ: ເບິ່ງບົດທີ 7 ຂອງ Gerber and Green (2012) )
  21. [ ຫນັກ​ຫຼາຍ , ຕ້ອງການລະຫັດ , ສິ່ງ​ທີ່​ຂ້ອຍ​ມັກ ] ຈິນຕະນາການວ່າທ່ານກໍາລັງເຮັດວຽກເປັນນັກວິທະຍາສາດຂໍ້ມູນຢູ່ໃນບໍລິສັດເຕັກໂນໂລຢີ. ບາງຄົນຈາກພະແນກການຕະຫຼາດຮຽກຮ້ອງໃຫ້ທ່ານຊ່ວຍໃນການປະເມີນຜົນການທົດລອງທີ່ພວກເຂົາກໍາລັງວາງແຜນເພື່ອວັດແທກຜົນຕອບແທນການລົງທຶນ (ROI) ສໍາລັບການໂຄສະນາໂຄສະນາອອນລາຍໃຫມ່. ROI ຖືກກໍານົດວ່າກໍາໄລສຸດທິຈາກການໂຄສະນາແບ່ງອອກໂດຍຄ່າໃຊ້ຈ່າຍຂອງການໂຄສະນາ. ຕົວຢ່າງເຊັ່ນ, ການໂຄສະນາທີ່ບໍ່ມີຜົນຕໍ່ຍອດຂາຍຈະມີ ROI ຂອງ -100%; ແຄມເປນທີ່ຜົນກໍາໄລທີ່ຜະລິດເທົ່າກັບຄ່າໃຊ້ຈ່າຍຈະມີ ROI ຂອງ 0; ແລະການໂຄສະນາທີ່ຜົນກໍາໄລທີ່ຜະລິດເປັນສອງເທົ່າມູນຄ່າຈະມີ ROI ຂອງ 200%.

    ກ່ອນທີ່ຈະເປີດຕົວທົດລອງ, ຝ່າຍກາລະຕະຫຼາດຈະໃຫ້ຂໍ້ມູນດັ່ງຕໍ່ໄປນີ້ອີງໃສ່ການຄົ້ນຄວ້າຂອງພວກເຂົາກ່ອນຫນ້ານີ້ (ໃນຄວາມເປັນຈິງ, ມູນຄ່າເຫຼົ່ານີ້ແມ່ນປົກກະຕິຂອງການໂຄສະນາການໂຄສະນາອອນລາຍທີ່ຖືກລາຍງານໃນ Lewis and Rao (2015) ):

    • ການຂາຍລະດັບຕໍ່າຕໍ່ລູກຄ້າຕາມການແຈກແຈງແບບປົກກະຕິທີ່ມີຄ່າເສລີ່ຍຂອງ $ 7 ແລະຄ່າບ່ຽງເບນມາດຕະຖານຂອງ $ 75.
    • ຂະບວນການດັ່ງກ່າວຄາດວ່າຈະເພີ່ມຍອດຂາຍໃນລາຄາ 0.35 ໂດລາຕໍ່ລູກຄ້າຊຶ່ງກົງກັນຂ້າມກັບການເພີ່ມຂຶ້ນຂອງກໍາໄລຂອງ $ 0.175 ຕໍ່ລູກຄ້າ.
    • ຂະຫນາດທີ່ວາງແຜນຂອງການທົດລອງແມ່ນ 200,000 ຄົນ: ເຄິ່ງຫນຶ່ງໃນກຸ່ມປິ່ນປົວແລະເຄິ່ງຫນຶ່ງໃນກຸ່ມຄວບຄຸມ.
    • ຄ່າໃຊ້ຈ່າຍໃນການໂຄສະນາແມ່ນ 0,14 ໂດລາຕໍ່ຜູ້ເຂົ້າຮ່ວມ.
    • ROI ຄາດວ່າຈະສໍາລັບ campaign ແມ່ນ 25% [ \((0.175 - 0.14)/0.14\) ]. ໃນຄໍາສັບຕ່າງໆອື່ນໆ, ຝ່າຍກາລະຕະຫຼາດເຊື່ອວ່າສໍາລັບແຕ່ລະເງິນ 100 ໂດລາສໍາລັບການຕະຫຼາດ, ບໍລິສັດຈະມີລາຍໄດ້ເພີ່ມອີກ 25 ໂດລາ.

    ຂຽນບົດບັນທຶກການປະເມີນຜົນການທົດລອງທີ່ສະເຫນີນີ້. ບັນທຶກຂໍ້ມູນຂອງທ່ານຄວນໃຊ້ຫຼັກຖານຈາກການຈໍາລອງທີ່ທ່ານສ້າງ, ແລະມັນຄວນຈະແກ້ໄຂສອງບັນຫາທີ່ສໍາຄັນ: (1) ທ່ານແນະນໍາໃຫ້ເປີດການທົດລອງນີ້ຕາມການວາງແຜນໄວ້ບໍ? ຖ້າເປັນດັ່ງນັ້ນ, ເປັນຫຍັງ? ຖ້າບໍ່ແມ່ນ, ເປັນຫຍັງບໍ່? ໃຫ້ແນ່ໃຈວ່າຈະແຈ້ງກ່ຽວກັບເງື່ອນໄຂທີ່ທ່ານກໍາລັງໃຊ້ເພື່ອຕັດສິນໃຈນີ້. (2) ທ່ານຄວນແນະນໍາຂະຫນາດຕົວຢ່າງສໍາລັບການທົດລອງນີ້ແນວໃດ? ອີກເທື່ອຫນຶ່ງກະລຸນາໃຫ້ແນ່ໃຈວ່າຈະແຈ້ງກ່ຽວກັບເງື່ອນໄຂທີ່ທ່ານກໍາລັງໃຊ້ເພື່ອຕັດສິນໃຈນີ້.

    ບັນທຶກຂໍ້ຄວາມທີ່ດີຈະແກ້ໄຂກໍລະນີນີ້ສະເພາະ; ບັນທຶກຂໍ້ມູນທີ່ດີກວ່າຈະໄດ້ຮັບຈາກທົ່ວໄປໃນແບບດຽວກັນ (ຕົວຢ່າງສະແດງໃຫ້ເຫັນວ່າການຕັດສິນໃຈປ່ຽນແປງເປັນຫນ້າທີ່ຂອງຂະຫນາດຂອງຜົນກະທົບຂອງແຄມເປນ); ແລະບັນທຶກທີ່ຍິ່ງໃຫຍ່ຈະນໍາສະເຫນີຜົນໄດ້ຮັບທົ່ວໄປຢ່າງເຕັມທີ່. ບັນທຶກຂອງທ່ານຄວນໃຊ້ກາຟິກເພື່ອສະແດງຜົນຂອງທ່ານ.

    ນີ້ແມ່ນສອງຄໍາແນະນໍາ. ຫນ້າທໍາອິດ, ກົມການຕະຫຼາດອາດຈະໃຫ້ທ່ານມີຂໍ້ມູນທີ່ບໍ່ຈໍາເປັນບາງຢ່າງແລະພວກເຂົາອາດຈະບໍ່ໃຫ້ທ່ານມີຂໍ້ມູນທີ່ຈໍາເປັນບາງຢ່າງ. ຄັ້ງທີສອງ, ຖ້າທ່ານກໍາລັງໃຊ້ R, ຈົ່ງຮູ້ວ່າຟັງຊັນ rlnorm () ບໍ່ໄດ້ເຮັດວຽກຕາມວິທີທີ່ຫຼາຍຄົນຄາດຫວັງ.

    ກິດຈະກໍານີ້ຈະໃຫ້ທ່ານປະຕິບັດກັບການວິເຄາະພະລັງງານ, ການສ້າງແບບຈໍາລອງແລະການສື່ສານກັບຜົນໄດ້ຮັບຂອງທ່ານດ້ວຍຄໍາເວົ້າແລະຮູບຮ່າງ. ມັນຄວນຊ່ວຍໃຫ້ທ່ານດໍາເນີນການວິເຄາະພະລັງງານສໍາລັບປະເພດຂອງການທົດລອງ, ບໍ່ແມ່ນພຽງແຕ່ປະສົບການທີ່ຖືກອອກແບບມາເພື່ອປະເມີນ ROI. ກິດຈະກໍານີ້ຄາດວ່າທ່ານມີປະສົບການບາງຢ່າງທີ່ມີການທົດສອບສະຖິຕິແລະການວິເຄາະພະລັງງານ. ຖ້າທ່ານບໍ່ຄຸ້ນເຄີຍກັບການວິເຄາະພະລັງງານ, ຂ້າພະເຈົ້າແນະນໍາໃຫ້ທ່ານອ່ານ "Power Primer" ໂດຍ Cohen (1992) .

    ກິດຈະກໍານີ້ໄດ້ຮັບການດົນໃຈຈາກເອກະສານທີ່ຫນ້າຮັກໂດຍ RA Lewis and Rao (2015) ເຊິ່ງສະແດງໃຫ້ເຫັນຢ່າງຊັດເຈນກ່ຽວກັບຂໍ້ຈໍາກັດດ້ານສະຖິຕິພື້ນຖານຂອງການທົດລອງຕ່າງໆ. ຫນັງສືຂອງພວກເຂົາທີ່ມີຊື່ວ່າ "ຢູ່ໃກ້ກັບຄວາມບໍ່ສາມາດຂອງການວັດແທກຜົນຕອບແທນການໂຄສະນາ" ສະແດງວ່າມັນມີຄວາມຫຍຸ້ງຍາກທີ່ຈະວັດຜົນກັບການລົງທຶນຂອງໂຄສະນາອອນໄລນ໌, ເຖິງແມ່ນວ່າມີການທົດລອງດິຈິຕອນທີ່ກ່ຽວຂ້ອງກັບລູກຄ້າລ້ານໆ. ໂດຍທົ່ວໄປ, RA Lewis and Rao (2015) ສະແດງໃຫ້ເຫັນຄວາມເປັນຈິງດ້ານສະຖິຕິພື້ນຖານທີ່ສໍາຄັນສໍາລັບການທົດລອງດິຈິຕອນທີ່ມີຄວາມຫຍຸ້ງຍາກ: ມັນເປັນການຄາດຄະເນຜົນກະທົບດ້ານການປິ່ນປົວຂະຫນາດນ້ອຍໃນລະຫວ່າງຂໍ້ມູນຜົນໄດ້ຮັບທີ່ຮຸນແຮງ.

  22. [ ຫນັກ​ຫຼາຍ , ຕ້ອງການຄະນິດສາດ ] ເຮັດຄືກັນກັບຄໍາຖາມທີ່ຜ່ານມາ, ແຕ່, ແທນທີ່ຈະ simulation, ທ່ານຄວນໃຊ້ຜົນໄດ້ຮັບວິເຄາະ.

  23. [ ຫນັກ​ຫຼາຍ , ຕ້ອງການຄະນິດສາດ , ຕ້ອງການລະຫັດ ] ເຮັດຄືກັນກັບຄໍາຖາມທີ່ຜ່ານມາ, ແຕ່ນໍາໃຊ້ທັງສອງ simulation ແລະຜົນການວິເຄາະ.

  24. [ ຫນັກ​ຫຼາຍ , ຕ້ອງການຄະນິດສາດ , ຕ້ອງການລະຫັດ ] ຈິນຕະນາການວ່າທ່ານຂຽນລາຍລັກອັກສອນທີ່ໄດ້ອະທິບາຍຂ້າງເທິງ, ແລະຜູ້ໃດຜູ້ຫນຶ່ງຈາກຝ່າຍກາລະຕະຫຼາດໃຫ້ຂໍ້ມູນຂ່າວສານຫນຶ່ງຊິ້ນ: ພວກເຂົາຄາດຫວັງວ່າການພົວພັນລະຫວ່າງ 0.4 ແລະກ່ອນການທົດລອງ. ວິທີການນີ້ປ່ຽນການແນະນໍາໃນບັນທຶກຂອງທ່ານແນວໃດ? (ຄໍາແນະນໍາ: ເບິ່ງພາກ 4.6.2 ສໍາລັບການຄາດຄະເນທີ່ແຕກຕ່າງກັນກ່ຽວກັບການຄາດຄະເນຄວາມແຕກຕ່າງແລະການຄາດຄະເນທີ່ແຕກຕ່າງກັນໃນຄວາມແຕກຕ່າງ.)

  25. [ ຍາກ , ຕ້ອງການຄະນິດສາດ ] ໃນການປະເມີນຜົນປະສິດທິຜົນຂອງໂຄງການຊ່ວຍເຫຼືອດ້ານການຈ້າງງານໃຫມ່ໃນເວັບ, ວິທະຍາໄລໄດ້ດໍາເນີນການທົດລອງການຄວບຄຸມແບບສຸ່ມໃນລະຫວ່າງນັກຮຽນ 10,000 ຄົນເຂົ້າຮຽນປີສຸດທ້າຍຂອງໂຮງຮຽນ. ການສະຫມັກຟຣີກັບຂໍ້ມູນເຂົ້າສູ່ລະບົບເປັນເອກະລັກໄດ້ຖືກສົ່ງຜ່ານການເຊື້ອເຊີນອີເມວສະເພາະສໍາລັບ 5,000 ຂອງນັກຮຽນຄັດເລືອກແບບສຸ່ມ, ໃນຂະນະທີ່ອີກ 5,000 ຄົນຢູ່ໃນກຸ່ມຄວບຄຸມແລະບໍ່ມີການສະຫມັກ. 12 ເດືອນຕໍ່ມາ, ການສໍາຫຼວດຕິດຕາມ (ບໍ່ມີຄໍາຕອບ) ຊີ້ໃຫ້ເຫັນວ່າໃນທັງກຸ່ມການປິ່ນປົວແລະຄວບຄຸມ, 70% ຂອງນັກຮຽນໄດ້ຮັບການເຮັດວຽກເຕັມເວລາໃນເຂດທີ່ເລືອກຂອງເຂົາເຈົ້າ (ຕາຕະລາງ 4.6). ດັ່ງນັ້ນ, ມັນເບິ່ງຄືວ່າການບໍລິການເວັບທີ່ບໍ່ມີຜົນກະທົບ.

    ຢ່າງໃດກໍຕາມ, ນັກວິທະຍາສາດຂໍ້ມູນທີ່ສະຫລາດຢູ່ໃນວິທະຍາໄລໄດ້ເບິ່ງຂໍ້ມູນຫຼາຍກວ່າຢ່າງໃກ້ຊິດແລະພົບວ່າພຽງແຕ່ 20% ຂອງນັກຮຽນໃນກຸ່ມການປິ່ນປົວເຄີຍເຂົ້າສູ່ບັນຊີຫຼັງຈາກທີ່ໄດ້ຮັບອີເມວ. ນອກຈາກນັ້ນ, ແລະບາງສິ່ງບາງຢ່າງແປກໃຈ, ໃນບັນດາຜູ້ທີ່ເຂົ້າເວັບໄຊທ໌, ມີພຽງແຕ່ 60% ໄດ້ຮັບການຈ້າງວຽກເຕັມເວລາໃນບ່ອນທີ່ເຂົາເຈົ້າເລືອກ, ເຊິ່ງແມ່ນຫນ້ອຍກ່ວາອັດຕາສໍາລັບຜູ້ທີ່ບໍ່ເຂົ້າແລະຕ່ໍາກວ່າອັດຕາສໍາລັບຄົນ ໃນສະພາບການຄວບຄຸມ (ຕາຕະລາງ 4.7).

    1. ໃຫ້ຄໍາອະທິບາຍກ່ຽວກັບສິ່ງທີ່ອາດເກີດຂຶ້ນ.
    2. ແມ່ນຫຍັງສອງວິທີທີ່ແຕກຕ່າງກັນໃນການຄິດໄລ່ຜົນກະທົບຂອງການປິ່ນປົວໃນການທົດລອງນີ້?
    3. ໃຫ້ຜົນໄດ້ຮັບນີ້, ຄວນໃຫ້ບໍລິການນີ້ແກ່ນັກຮຽນທຸກຄົນບໍ? ພຽງແຕ່ຈະແຈ້ງ, ນີ້ບໍ່ແມ່ນຄໍາຖາມທີ່ມີຄໍາຕອບງ່າຍດາຍ.
    4. ພວກເຂົາຄວນເຮັດຫຍັງຕໍ່ໄປ?

    ຄໍາແນະນໍາ: ຄໍາຖາມນີ້ບໍ່ແມ່ນຂໍ້ມູນທີ່ໄດ້ກວມເອົາໃນບົດນີ້, ແຕ່ແກ້ໄຂບັນຫາທົ່ວໄປໃນການທົດລອງ. ແບບການທົດລອງແບບນີ້ແມ່ນບາງຄັ້ງເອີ້ນວ່າການ ອອກກໍາລັງໃຈ ເພາະວ່າຜູ້ເຂົ້າຮ່ວມໄດ້ຖືກແນະນໍາໃຫ້ເຂົ້າຮ່ວມການປິ່ນປົວ. ບັນຫານີ້ແມ່ນຕົວຢ່າງຂອງສິ່ງທີ່ເອີ້ນວ່າ ການບໍ່ປະຕິບັດຕາມຂ້າງຫນຶ່ງ (ເບິ່ງພາກ 5 ຂອງ Gerber and Green (2012) ).

  26. [ ຍາກ ] ຫຼັງຈາກການສອບເສັງຕື່ມອີກ, ມັນໄດ້ກາຍເປັນວ່າການທົດລອງທີ່ໄດ້ອະທິບາຍໃນຄໍາຖາມກ່ອນຫນ້ານີ້ແມ່ນມີຄວາມສັບສົນຫຼາຍ. ມັນໄດ້ສະແດງໃຫ້ເຫັນວ່າ 10% ຂອງຜູ້ທີ່ຢູ່ໃນກຸ່ມຄວບຄຸມໄດ້ຈ່າຍສໍາລັບການເຂົ້າເຖິງການບໍລິການແລະພວກເຂົາຈົບລົງດ້ວຍອັດຕາການຈ້າງງານ 65% (ຕາຕະລາງ 4.8).

    1. ຂຽນອີເມວສະຫຼຸບສິ່ງທີ່ທ່ານຄິດວ່າເກີດຂຶ້ນແລະແນະນໍາໃຫ້ແນ່ນອນ.

    ຄໍາແນະນໍາ: ຄໍາຖາມນີ້ບໍ່ແມ່ນຂໍ້ມູນທີ່ໄດ້ກວມເອົາໃນບົດນີ້, ແຕ່ແກ້ໄຂບັນຫາທົ່ວໄປໃນການທົດລອງ. ບັນຫານີ້ແມ່ນຕົວຢ່າງຂອງສິ່ງທີ່ເອີ້ນວ່າ ການບໍ່ປະຕິບັດສອງຝ່າຍ (ເບິ່ງພາກ 6 ຂອງ Gerber and Green (2012) ).

ຕາຕະລາງ 4.6: ເບິ່ງງ່າຍດາຍຂໍ້ມູນຈາກການທົດລອງບໍລິການອາຊີບ
ກຸ່ມ ຂະຫນາດ ອັດຕາການຈ້າງງານ
ການເຂົ້າເຖິງເວັບໄຊທ໌ໄດ້ 5,000 70%
ບໍ່ໄດ້ຮັບການເຂົ້າເຖິງເວັບໄຊທ໌ 5,000 70%
ຕາຕະລາງ 4.7: ການເບິ່ງຂໍ້ມູນຄົບຖ້ວນສົມບູນຂອງຂໍ້ມູນຈາກການທົດລອງບໍລິການອາຊີບ
ກຸ່ມ ຂະຫນາດ ອັດຕາການຈ້າງງານ
ການເຂົ້າເຖິງເວັບໄຊທ໌ໄດ້ແລະເຂົ້າສູ່ລະບົບ 1,000 60%
ໄດ້ຮັບການເຂົ້າເຖິງເວັບໄຊທ໌ແລະບໍ່ເຄີຍເຂົ້າສູ່ລະບົບ 4,000 725%
ບໍ່ໄດ້ຮັບການເຂົ້າເຖິງເວັບໄຊທ໌ 5,000 70%
ຕາຕະລາງ 4.8: ເບິ່ງເຕັມຮູບແບບຂໍ້ມູນຈາກການທົດລອງບໍລິການອາຊີບ
ກຸ່ມ ຂະຫນາດ ອັດຕາການຈ້າງງານ
ການເຂົ້າເຖິງເວັບໄຊທ໌ໄດ້ແລະເຂົ້າສູ່ລະບົບ 1,000 60%
ໄດ້ຮັບການເຂົ້າເຖິງເວັບໄຊທ໌ແລະບໍ່ເຄີຍເຂົ້າສູ່ລະບົບ 4,000 725%
ບໍ່ໄດ້ຮັບການເຂົ້າເຖິງເວັບໄຊທ໌ແລະຈ່າຍຄ່າມັນ 500 65%
ບໍ່ໄດ້ຮັບການເຂົ້າເຖິງເວັບໄຊທ໌ແລະບໍ່ໄດ້ຈ່າຍຄ່າມັນ 4,500 7056%