สิ่งที่ต้องอ่านต่อไป

• บทนำ (ส่วน 3.1)

หลายรูปแบบในบทนี้ยังได้รับการสะท้อนในที่อยู่ประธานาธิบดีเมื่อไม่นานมานี้ที่ American Association of Public Opinion Research (AAPOR) เช่น Dillman (2002) , Newport (2011) , Santos (2014) และ Link (2015)

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับความแตกต่างระหว่างการวิจัยสำรวจและการสัมภาษณ์เชิงลึกให้ดูที่ Small (2009) ที่เกี่ยวข้องกับการสัมภาษณ์เชิงลึกคือกลุ่มของวิธีการที่เรียกว่าชาติพันธุ์วิทยา ในการวิจัยเกี่ยวกับชาติพันธุ์วิทยานักวิจัยมักใช้เวลามากขึ้นกับผู้เข้าร่วมในสภาพแวดล้อมทางธรรมชาติ สำหรับข้อมูลเพิ่มเติมเกี่ยวกับความแตกต่างระหว่างชาติพันธุ์วิทยาและการสัมภาษณ์เชิงลึกโปรดดู Jerolmack and Khan (2014) สำหรับข้อมูลเพิ่มเติมเกี่ยวกับชาติพันธุ์วิทยาแบบดิจิตอลให้ดูที่ Pink et al. (2015)

คำอธิบายของฉันเกี่ยวกับประวัติความเป็นมาของการวิจัยเชิงสำรวจนั้นสั้นเกินไปที่จะรวมถึงการพัฒนาที่น่าตื่นเต้นมากมายที่เกิดขึ้น สำหรับประวัติทางประวัติศาสตร์ดู Smith (1976) , Converse (1987) และ Igo (2008) สำหรับข้อมูลเพิ่มเติมเกี่ยวกับแนวคิดเรื่องสามยุคของการวิจัยเชิงสำรวจโปรดดูที่ Groves (2011) และ Dillman, Smyth, and Christian (2008) (ซึ่งแบ่งสามช่วงเวลาที่แตกต่างออกไปเล็กน้อย)

Groves and Kahn (1979) นำเสนอการเปลี่ยนแปลงจากยุคแรกสู่ยุคที่สองในการวิจัยเชิงสำรวจโดยทำการเปรียบเทียบระหว่างแบบตัวต่อตัวกับแบบสำรวจทางโทรศัพท์ ( ??? ) มองย้อนกลับไปที่การพัฒนาทางประวัติศาสตร์ของวิธีสุ่มตัวอย่างแบบสุ่ม

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับวิธีการวิจัยเชิงสำรวจมีการเปลี่ยนแปลงในอดีตที่ผ่านมาในการตอบสนองต่อการเปลี่ยนแปลงในสังคมเห็น Tourangeau (2004) , ( ??? ) และ Couper (2011)

• การถามและการสังเกต (ส่วน 3.2)

จุดแข็งและจุดอ่อนของการถามและการสังเกตได้รับการถกเถียงกันโดยนักจิตวิทยา (เช่น Baumeister, Vohs, and Funder (2007) ) และนักสังคมวิทยา (เช่น Jerolmack and Khan (2014) , Maynard (2014) , Cerulo (2014) , Vaisey (2014) Jerolmack and Khan (2014) ความแตกต่างระหว่างการถามและการสังเกตยังเกิดขึ้นในด้านเศรษฐศาสตร์ซึ่งนักวิจัยพูดถึงการตั้งค่าที่ระบุและเปิดเผยตัวอย่างเช่นนักวิจัยสามารถถามผู้ตอบได้ว่าต้องการทานไอศกรีมหรือไปที่โรงยิมหรือไม่ (ระบุการตั้งค่า) หรือสังเกตว่าคนที่กินไอศกรีมบ่อยแค่ไหนและไปที่โรงยิม (เปิดเผยการตั้งค่า) มีความกังขาลึกเกี่ยวกับข้อมูลการตั้งค่าบางอย่างที่ระบุไว้ในเศรษฐศาสตร์ตามที่อธิบายไว้ใน Hausman (2012)

หัวข้อหลักจากการอภิปรายเหล่านี้คือพฤติกรรมที่รายงานไม่ถูกต้องเสมอไป แต่ตามที่ได้อธิบายไว้ในบทที่ 2 แหล่งข้อมูลขนาดใหญ่อาจไม่ถูกต้องพวกเขาอาจไม่ได้รับการรวบรวมตัวอย่างที่น่าสนใจและอาจไม่สามารถเข้าถึงนักวิจัยได้ ดังนั้นผมคิดว่าในบางสถานการณ์รายงานพฤติกรรมจะเป็นประโยชน์ นอกจากนี้หัวข้อหลักที่สองจากการอภิปรายเหล่านี้คือรายงานเกี่ยวกับอารมณ์ความรู้ความคาดหวังและความคิดเห็นไม่ถูกต้องเสมอไป แต่ถ้าข้อมูลเกี่ยวกับรัฐภายในเหล่านี้เป็นสิ่งจำเป็นสำหรับนักวิจัย - เพื่อช่วยอธิบายพฤติกรรมบางอย่างหรือเป็นสิ่งที่ต้องอธิบาย - แล้วขอให้เหมาะสม แน่นอนการเรียนรู้เกี่ยวกับรัฐภายในโดยการตั้งคำถามอาจเป็นปัญหาได้เนื่องจากบางครั้งผู้ตอบแบบสอบถามเองก็ไม่ตระหนักถึงสถานะภายใน (Nisbett and Wilson 1977)

• ข้อผิดพลาดในการสำรวจทั้งหมด (ส่วน 3.3)

บทที่ 1 ของ Groves (2004) ทำผลงานได้ดีเยี่ยมในบางครั้งคำศัพท์ที่ไม่สอดคล้องกันซึ่งใช้โดยนักวิจัยสำรวจเพื่ออธิบายกรอบข้อผิดพลาดในการสำรวจทั้งหมด สำหรับการรักษาความยาวของหนังสือในกรอบข้อผิดพลาดในการสำรวจทั้งหมดโปรดดูที่ Groves et al. (2009) และสำหรับภาพรวมทางประวัติศาสตร์ให้ดูที่ Groves and Lyberg (2010)

ความคิดของการสลายตัวของข้อผิดพลาดไปสู่ความลำเอียงและความแปรปรวนก็เกิดขึ้นในการเรียนรู้ด้วยเครื่อง ดูตัวอย่างเช่นส่วน 7.3 ของ Hastie, Tibshirani, and Friedman (2009) นี้มักจะนำไปสู่นักวิจัยที่จะพูดคุยเกี่ยวกับ "ความแปรปรวน - bias" trade-off

ในแง่ของการเป็นตัวแทนการแนะนำที่ดีสำหรับปัญหา nonresponse และ nonresponse bias คือสภาวิจัยแห่งชาติรายงานการไม่ตอบสนองในการสำรวจทางสังคมศาสตร์: A Research Agenda (2013) ภาพรวมที่เป็นประโยชน์อื่น ๆ จัดเตรียมโดย Groves (2006) นอกจากนี้ปัญหาพิเศษฉบับเต็มของ วารสารสถิติทางการ ความคิดเห็นสาธารณะทุกไตรมาส และ พงศาวดารของสถาบันการศึกษาทางการเมืองและสังคมศาสตร์อเมริกัน ได้รับการตีพิมพ์ในหัวข้อการตอบสนองที่ไม่เป็นผล สุดท้ายมีหลายวิธีที่แตกต่างกันในการคำนวณอัตราการตอบสนอง; วิธีการเหล่านี้ได้อธิบายไว้ในรายงานโดยสมาคมนักวิจัยความคิดเห็นสาธารณะแห่งสหรัฐอเมริกา (AAPOR) ( ??? )

สำหรับข้อมูลเพิ่มเติมในการหยั่งเสียงใน วรรณคดีสำคัญ ในปี ค.ศ. 1936 ให้ดูที่ Bryson (1976) , Squire (1988) , Cahalan (1989) และ Lusinchi (2012) สำหรับการอภิปรายอื่นของโพลนี้เป็นคำเตือนอุปมาเกี่ยวกับการรวบรวมข้อมูลอย่างไม่เป็นทางการโปรดดูที่ Gayo-Avello (2011) ในปี 1936 จอร์จกัลลัปใช้รูปแบบการสุ่มตัวอย่างที่มีความซับซ้อนมากขึ้นและสามารถสร้างการประมาณค่าที่ถูกต้องมากขึ้นด้วยตัวอย่างขนาดเล็กมาก ความสำเร็จของ Gallup เหนือ Literary Digest เป็นก้าวสำคัญในการพัฒนางานวิจัยเชิงสำรวจตามที่อธิบายไว้ในบทที่ 3 ของ @converse_survey_1987; บทที่ 4 ของ Ohmer (2006) ; และตอนที่ 3 ของ @ igo_averaged_2008

ในแง่ของการวัดแหล่งข้อมูลที่ดีสำหรับการออกแบบแบบสอบถามคือ Bradburn, Sudman, and Wansink (2004) สำหรับการรักษาขั้นสูงดู Schuman and Presser (1996) ซึ่งเน้นคำถามเกี่ยวกับทัศนคติและ Saris and Gallhofer (2014) ซึ่งเป็นเรื่องทั่วไปมากขึ้น วิธีการวัดที่แตกต่างกันเล็กน้อยใน psychometrics ดังที่ได้อธิบายไว้ใน ( ??? ) ข้อมูลเพิ่มเติมเกี่ยวกับการสอบ pretesting มีอยู่ใน Presser and Blair (1994) Presser et al. (2004) และบทที่ 8 ของ Groves et al. (2009) สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการทดลองสำรวจดู Mutz (2011)

ในแง่ของค่าใช้จ่ายการรักษาความยาวที่เป็นแบบฉบับของการตัดจำหน่ายระหว่างค่าใช้จ่ายในการสำรวจและข้อผิดพลาดในการสำรวจคือ Groves (2004)

• ใครจะถาม (หมวด 3.4)

การเก็บตัวอย่างและการประมาณค่าความยาวมาตรฐานแบบคลาสสิก 2 แบบคือ Lohr (2009) (บทนำเพิ่มเติม) และ Särndal, Swensson, and Wretman (2003) (ขั้นสูงกว่า) หนังสือคลาสสิกที่มีความยาวของการโพสต์ - แบ่งชั้นและวิธีการที่เกี่ยวข้องคือ Särndal and Lundström (2005) ในการตั้งค่าอายุในรูปแบบดิจิทัลนักวิจัยบางคนทราบข้อมูลเกี่ยวกับผู้ที่ไม่ใช่ผู้ติดต่อซึ่งไม่ค่อยเป็นความจริงในอดีต รูปแบบที่แตกต่างกันของการปรับเปลี่ยน nonresponse เป็นไปได้เมื่อนักวิจัยมีข้อมูลเกี่ยวกับ nonrespondents ตามที่ Kalton and Flores-Cervantes (2003) และ Smith (2011) อธิบาย

การศึกษา Xbox โดย W. Wang et al. (2015) ใช้เทคนิคที่เรียกว่า multilevel regression และ post-stratification ("Mr.P") ซึ่งจะช่วยให้นักวิจัยสามารถประมาณกลุ่มได้แม้ว่าจะมีหลายกลุ่มก็ตาม แม้ว่าจะมีการถกเถียงเกี่ยวกับคุณภาพของการประมาณการจากเทคนิคนี้ แต่ก็ดูเหมือนว่าจะเป็นพื้นที่ที่มีแนวโน้มในการสำรวจ เทคนิคนี้ถูกนำมาใช้ครั้งแรกใน Park, Gelman, and Bafumi (2004) และมีการใช้และอภิปรายในภายหลัง (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการเชื่อมต่อระหว่างน้ำหนักและน้ำหนักกลุ่มโปรดดูที่ Gelman (2007)

สำหรับแนวทางอื่น ๆ ในการชั่งน้ำหนักการสำรวจเว็บโปรดดู Schonlau et al. (2009) , Bethlehem (2010) และ Valliant and Dever (2011) แผงควบคุมแบบออนไลน์สามารถใช้การสุ่มตัวอย่างความน่าจะเป็นหรือการสุ่มตัวอย่างที่ไม่ใช่ความน่าจะเป็น สำหรับข้อมูลเพิ่มเติมเกี่ยวกับแผงทางออนไลน์โปรดดู Callegaro et al. (2014)

บางครั้งนักวิจัยพบว่าตัวอย่างความน่าจะเป็นและตัวอย่างที่ไม่น่าจะเป็นผลให้มีค่าประมาณที่มีคุณภาพใกล้เคียงกัน (Ansolabehere and Schaffner 2014) แต่การเปรียบเทียบอื่น ๆ พบว่าตัวอย่างที่ไม่น่าจะเป็นตัวเลวลง (Malhotra and Krosnick 2007; Yeager et al. 2011) สาเหตุหนึ่งที่เป็นไปได้สำหรับความแตกต่างเหล่านี้คือตัวอย่างที่ไม่น่าจะเป็นไปได้ดีขึ้นเมื่อเวลาผ่านไป สำหรับมุมมองในแง่ร้ายมากขึ้นเกี่ยวกับวิธีการสุ่มตัวอย่างที่ไม่น่าจะเป็นแบบอย่างให้ดูที่กองเรือรบ AAPOR สำหรับการสุ่มตัวอย่างที่ไม่ใช่ความน่าจะเป็น (Baker et al. 2013) และผมขอแนะนำให้อ่านคำอธิบายที่เป็นไปตามรายงานสรุป

• วิธีถาม (ส่วน 3.5)

Conrad and Schober (2008) เป็นฉบับแก้ไขที่มีชื่อว่า Envisioning the Interview Survey of the Future และมีหลากหลายมุมมองเกี่ยวกับอนาคตของการถามคำถาม Couper (2011) กล่าวถึงธีมที่คล้ายกันและ Schober et al. (2015) เป็นตัวอย่างที่ดีว่าวิธีที่วิธีการรวบรวมข้อมูลที่เหมาะกับการตั้งค่าใหม่อาจส่งผลต่อข้อมูลที่มีคุณภาพสูงขึ้น Schober and Conrad (2015) เสนอข้อโต้แย้งทั่วไปเกี่ยวกับการดำเนินการต่อเพื่อปรับกระบวนการวิจัยเชิงสำรวจเพื่อให้สอดคล้องกับการเปลี่ยนแปลงในสังคม

Tourangeau and Yan (2007) ทบทวนประเด็นเรื่องความ Tourangeau and Yan (2007) ทางสังคมในคำถามที่ละเอียดอ่อนและ Lind et al. (2013) มีเหตุผลบางประการที่ทำให้ผู้คนอาจเปิดเผยข้อมูลที่ละเอียดอ่อนในการสัมภาษณ์โดยใช้คอมพิวเตอร์ สำหรับข้อมูลเพิ่มเติมเกี่ยวกับบทบาทของผู้สัมภาษณ์มนุษย์ในการเพิ่มอัตราการมีส่วนร่วมในการสำรวจดูที่ Maynard and Schaeffer (1997) , Maynard, Freese, and Schaeffer (2010) , Conrad et al. (2013) และ Schaeffer et al. (2013) สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการสำรวจแบบผสมผสานโปรดดู Dillman, Smyth, and Christian (2014)

Stone et al. (2007) เสนอการรักษาระยะยาวของหนังสือเกี่ยวกับการประเมินผลทางนิเวศวิทยาและวิธีการที่เกี่ยวข้อง

สำหรับคำแนะนำเพิ่มเติมเกี่ยวกับการทำแบบสำรวจเป็นประสบการณ์ที่สนุกสนานและมีคุณค่าสำหรับผู้เข้าร่วมกิจกรรมโปรดดูที่วิธีการออกแบบที่ได้รับการออกแบบอย่างสวยงาม (Dillman, Smyth, and Christian 2014) สำหรับตัวอย่างที่น่าสนใจอื่น ๆ เกี่ยวกับการใช้แอป Facebook สำหรับการสำรวจทางสังคมศาสตร์โปรดดูที่ Bail (2015)

• แบบสำรวจที่เชื่อมโยงกับแหล่งข้อมูลขนาดใหญ่ (ส่วนที่ 3.6)

Judson (2007) อธิบายขั้นตอนการรวมการสำรวจและข้อมูลการบริหารจัดการว่า "การรวมข้อมูล" และกล่าวถึงข้อดีบางอย่างของแนวทางนี้เช่นเดียวกับการนำเสนอตัวอย่างบางส่วน

เกี่ยวกับการถามที่เพิ่มขึ้นมีการพยายามตรวจสอบความถูกต้องก่อนหน้านี้เป็นจำนวนมาก สำหรับภาพรวมของวรรณคดีนั้นดูที่ Belli et al. (1999) , Ansolabehere and Hersh (2012) , Hanmer, Banks, and White (2014) และ Berent, Krosnick, and Lupia (2016) ดู Berent, Krosnick, and Lupia (2016) สำหรับมุมมองที่สงสัยมากขึ้นของผลที่นำเสนอใน Ansolabehere and Hersh (2012)

เป็นสิ่งสำคัญที่จะต้องทราบว่าแม้ว่า Ansolabehere และ Hersh ได้รับการส่งเสริมโดยคุณภาพของข้อมูลจาก Catalist การประเมินอื่น ๆ ของผู้ค้าในเชิงพาณิชย์มีความกระตือรือร้นน้อยลง Pasek et al. (2014) พบว่ามีคุณภาพไม่ดีเมื่อข้อมูลจากการสำรวจถูกเปรียบเทียบกับไฟล์ผู้บริโภคจากกลุ่มระบบการตลาด (ซึ่งรวมข้อมูลจากผู้ให้บริการสามราย ได้แก่ Acxiom, Experian และ InfoUSA) กล่าวคือไฟล์ข้อมูลไม่ตรงกับการตอบแบบสอบถามที่นักวิจัยคาดว่าจะถูกต้องไฟล์ข้อมูลผู้บริโภคมีข้อมูลขาดหายไปสำหรับคำถามจำนวนมากและรูปแบบข้อมูลที่ขาดหายไปมีความสัมพันธ์กับค่าการสำรวจที่รายงาน (กล่าวคือขาดหายไป ข้อมูลเป็นระบบไม่ใช่แบบสุ่ม)

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการเชื่อมโยงข้อมูลระหว่างการสำรวจและข้อมูลการบริหารโปรดดูที่ Sakshaug and Kreuter (2012) และ Schnell (2013) สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการเชื่อมโยงบันทึกโดยทั่วไปดู Dunn (1946) และ Fellegi and Sunter (1969) (historical) และ Larsen and Winkler (2014) (modern) นอกจากนี้ยังมีการพัฒนาวิทยาการคอมพิวเตอร์ในรูปแบบต่างๆเช่นการคัดลอกข้อมูลการระบุอินสแตนซ์การจับคู่ชื่อการตรวจสอบซ้ำและการตรวจสอบระเบียนที่ซ้ำกัน (Elmagarmid, Ipeirotis, and Verykios 2007) นอกจากนี้ยังมีแนวทางการรักษาความเป็นส่วนตัวในการบันทึกการเชื่อมโยงซึ่งไม่จำเป็นต้องมีการส่งข้อมูลระบุตัวบุคคล (Schnell 2013) นักวิจัยในเฟสบุ๊คได้พัฒนาวิธีการในการเชื่อมโยงระเบียนของพวกเขาไปสู่พฤติกรรมการลงคะแนน (Jones et al. 2013) การเชื่อมโยงนี้ทำเพื่อประเมินการทดสอบที่ฉันจะบอกคุณเกี่ยวกับในบทที่ 4 (Bond et al. 2012) สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการได้รับความยินยอมในการบันทึกการเชื่อมโยงให้ดูที่ Sakshaug et al. (2012)

อีกตัวอย่างหนึ่งของการเชื่อมโยงการสำรวจทางสังคมขนาดใหญ่กับบันทึกการบริหารของรัฐบาลมาจากการสำรวจด้านสุขภาพและการเกษียณอายุและการบริหารจัดการความมั่นคงทางสังคม สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการศึกษานั้นรวมถึงข้อมูลเกี่ยวกับขั้นตอนการยินยอมให้ดูที่โอลสัน (1996, 1999)

กระบวนการของการรวมแหล่งข้อมูลบันทึกการจัดการไว้เป็นข้อมูลหลัก - กระบวนการที่นายจ้างของ Catalist ใช้ - เป็นเรื่องธรรมดาในสำนักงานสถิติของรัฐบาลแห่งชาติบางแห่ง นักวิจัยสองคนจากสถิติสวีเดนได้เขียนหนังสือรายละเอียดเกี่ยวกับหัวข้อนี้ (Wallgren and Wallgren 2007) สำหรับตัวอย่างของวิธีการนี้ในเขตเดียวในสหรัฐอเมริกา (Olmstead County, Minnesota, ที่บ้านของ Mayo Clinic) ดู Sauver et al. (2011) สำหรับข้อมูลเพิ่มเติมเกี่ยวกับข้อผิดพลาดที่สามารถปรากฏในบันทึกการดูแลระบบโปรดดู Groen (2012)

อีกวิธีหนึ่งที่นักวิจัยสามารถใช้แหล่งข้อมูลขนาดใหญ่ในการวิจัยเชิงสำรวจเป็นกรอบการสุ่มตัวอย่างสำหรับผู้ที่มีลักษณะเฉพาะ ขออภัยวิธีนี้สามารถเพิ่มคำถามเกี่ยวกับความเป็นส่วนตัว (Beskow, Sandler, and Weinberger 2006)

เกี่ยวกับการถามที่เพิ่มขึ้นวิธีการนี้ไม่ได้ใหม่เท่าที่จะปรากฏได้จากที่ฉันได้อธิบายไว้ มีการเชื่อมโยงลึกถึงสามพื้นที่ขนาดใหญ่ในสถิติ: แบบตามโพสต์ - แบ่งชั้น (Little 1993) , imputation (Rubin 2004) และการประมาณพื้นที่ขนาดเล็ก (Rao and Molina 2015) นอกจากนี้ยังเกี่ยวข้องกับการใช้ตัวแปรตัวแทนในการวิจัยทางการแพทย์ (Pepe 1992)

ค่าใช้จ่ายและเวลาใน Blumenstock, Cadamuro, and On (2015) หมายถึงต้นทุนผันแปร - ค่าใช้จ่ายของการสำรวจเพิ่มเติมหนึ่งรายการและไม่รวมค่าใช้จ่ายคงที่เช่นค่าใช้จ่ายในการทำความสะอาดและประมวลผลข้อมูลการโทร โดยทั่วไปการถามที่มีการขยายอาจมีต้นทุนคงที่สูงและต้นทุนผันแปรต่ำเหมือนกับการทดลองดิจิทัล (ดูบทที่ 4) สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการสำรวจโทรศัพท์มือถือในประเทศกำลังพัฒนาโปรดดู Dabalen et al. (2016)

สำหรับความคิดเกี่ยวกับวิธีการขยายเสียงขอให้ดีขึ้นฉันขอแนะนำให้เรียนรู้เพิ่มเติมเกี่ยวกับการพัวพันหลายครั้ง (Rubin 2004) นอกจากนี้หากนักวิจัยกำลังขยายความกังวลเกี่ยวกับการนับรวมแทนที่จะเป็นลักษณะเฉพาะในระดับบุคคลอาจเป็นประโยชน์ในแนวทางของ King and Lu (2008) และ Hopkins and King (2010) สุดท้ายสำหรับข้อมูลเพิ่มเติมเกี่ยวกับแนวทางการเรียนรู้ด้วยเครื่องใน Blumenstock, Cadamuro, and On (2015) ดู James et al. (2013) (บทนำเพิ่มเติม) หรือ Hastie, Tibshirani, and Friedman (2009) (ขั้นสูงกว่า)

ประเด็นด้านจริยธรรมหนึ่งเกี่ยวกับการถามเรื่องขยายคือสามารถนำมาใช้เพื่อสรุปลักษณะที่ละเอียดอ่อนซึ่งผู้คนอาจไม่เลือกที่จะเปิดเผยในแบบสำรวจตามที่อธิบายไว้ใน Kosinski, Stillwell, and Graepel (2013)