Các hoạt động

  • mức độ khó khăn: dễ dàng dễ dàng , Trung bình Trung bình , cứng cứng , rất chăm chỉ rất khó
  • yêu cầu toán học ( yêu cầu toán học )
  • yêu cầu mã hóa ( yêu cầu mã hóa )
  • thu thập dữ liệu ( thu thập dữ liệu )
  • mục yêu thích của tôi ( yêu thích của tôi )
  1. [ cứng , yêu cầu toán học Trong chương này, tôi rất lạc quan về phân tầng sau. Tuy nhiên, điều này không phải lúc nào cũng cải thiện chất lượng ước tính. Xây dựng một tình huống mà phân tầng sau có thể làm giảm chất lượng của các ước tính. (Để biết gợi ý, xem Thomsen (1973) .)

  2. [ cứng , thu thập dữ liệu , yêu cầu mã hóa ] Thiết kế và tiến hành một cuộc khảo sát không xác suất trên Amazon Mechanical Turk để hỏi về quyền sở hữu súng và thái độ đối với việc kiểm soát súng. Để bạn có thể so sánh ước tính của mình với những ước tính từ mẫu xác suất, vui lòng sao chép văn bản câu hỏi và tùy chọn phản hồi trực tiếp từ cuộc khảo sát chất lượng cao như khảo sát do Trung tâm nghiên cứu Pew điều hành.

    1. Bản khảo sát của bạn mất bao lâu? Chi phí là bao nhiêu? Làm thế nào để nhân khẩu học của mẫu của bạn so sánh với nhân khẩu học của dân số Hoa Kỳ?
    2. Ước tính thô của quyền sở hữu súng bằng cách sử dụng mẫu của bạn là gì?
    3. Đúng đối với sự không đại diện của mẫu của bạn bằng cách sử dụng phân tầng sau hoặc một số kỹ thuật khác. Bây giờ ước tính quyền sở hữu súng là gì?
    4. Ước tính của bạn so sánh với ước tính mới nhất từ ​​mẫu dựa trên xác suất như thế nào? Bạn nghĩ gì giải thích sự khác biệt, nếu có?
    5. Lặp lại các câu hỏi (b) - (d) về thái độ đối với việc điều khiển súng. Các phát hiện của bạn khác nhau như thế nào?
  3. [ rất khó , thu thập dữ liệu , yêu cầu mã hóa Goel và cộng sự (2016) quản lý 49 câu hỏi trắc nghiệm thu được từ Khảo sát xã hội chung (GSS) và các khảo sát chọn từ Trung tâm nghiên cứu Pew đến mẫu không xác suất của người trả lời được lấy từ Amazon Mechanical Turk. Sau đó, họ điều chỉnh tính không đại diện của dữ liệu bằng cách sử dụng phân tầng sau dựa trên mô hình và so sánh các ước tính được điều chỉnh của chúng với các ước tính từ các khảo sát GSS và Pew dựa trên xác suất. Tiến hành khảo sát tương tự trên Amazon Mechanical Turk và cố gắng nhân rộng hình 2a và hình 2b bằng cách so sánh các ước tính được điều chỉnh của bạn với các ước tính từ các vòng khảo sát gần đây nhất của các khảo sát GSS và Pew. (Xem bảng phụ lục A2 để biết danh sách 49 câu hỏi.)

    1. So sánh và đối chiếu kết quả của bạn với những kết quả từ Pew và GSS.
    2. So sánh và đối chiếu kết quả của bạn với những kết quả từ cuộc khảo sát cơ khí Turk ở Goel, Obeng, and Rothschild (2016) .
  4. [ Trung bình , thu thập dữ liệu , yêu cầu mã hóa ] Nhiều nghiên cứu sử dụng các biện pháp tự báo cáo về việc sử dụng điện thoại di động. Đây là một thiết lập thú vị trong đó các nhà nghiên cứu có thể so sánh hành vi tự báo cáo với hành vi đã đăng nhập (xem ví dụ, Boase and Ling (2013) ). Hai hành vi phổ biến để hỏi về gọi điện và nhắn tin và hai khung thời gian chung là “ngày hôm qua” và “trong tuần qua”.

    1. Trước khi thu thập bất kỳ dữ liệu nào, bạn nghĩ chính xác các biện pháp tự báo cáo nào là chính xác hơn? Tại sao?
    2. Tuyển dụng năm người bạn trong cuộc khảo sát của bạn. Vui lòng tóm tắt ngắn gọn về cách năm người bạn này được lấy mẫu. Quy trình lấy mẫu này có thể tạo ra các thành kiến ​​cụ thể trong các ước tính của bạn không?
    3. Hỏi họ những câu hỏi sau đây về microsurvey:
    • "Đã bao nhiêu lần bạn sử dụng điện thoại di động của bạn để gọi cho người khác ngày hôm qua?"
    • “Hôm qua bạn gửi bao nhiêu tin nhắn văn bản?”
    • "Đã bao nhiêu lần bạn sử dụng điện thoại di động của mình để gọi cho những người khác trong bảy ngày qua?"
    • “Đã bao nhiêu lần bạn sử dụng điện thoại di động của mình để gửi hoặc nhận tin nhắn văn bản / SMS trong bảy ngày qua?”
    1. Một khi microsurvey này đã được hoàn thành, yêu cầu kiểm tra dữ liệu sử dụng của họ như được ghi lại bởi điện thoại hoặc nhà cung cấp dịch vụ của họ. Làm cách nào để tự báo cáo việc sử dụng so sánh với dữ liệu nhật ký? Cái nào chính xác nhất, ít chính xác nhất?
    2. Bây giờ kết hợp dữ liệu mà bạn đã thu thập với dữ liệu từ những người khác trong lớp của bạn (nếu bạn đang thực hiện hoạt động này cho một lớp). Với tập dữ liệu lớn hơn này, hãy lặp lại phần (d).
  5. [ Trung bình , thu thập dữ liệu ] Schuman và Presser (1996) cho rằng các đơn đặt hàng câu hỏi sẽ là vấn đề đối với hai loại câu hỏi: các câu hỏi bán phần mà hai câu hỏi có cùng mức độ cụ thể (ví dụ, xếp hạng của hai ứng cử viên tổng thống); và toàn bộ câu hỏi trong đó một câu hỏi chung sau một câu hỏi cụ thể hơn (ví dụ: hỏi “Bạn hài lòng với công việc của mình như thế nào?” theo sau là “Bạn hài lòng với cuộc sống của mình như thế nào?”).

    Chúng tiếp tục mô tả hai loại hiệu ứng thứ tự câu hỏi: các hiệu ứng nhất quán xảy ra khi các câu trả lời cho một câu hỏi sau đó được đưa tới gần hơn (so với các câu hỏi trước); hiệu ứng tương phản xảy ra khi có sự khác biệt lớn hơn giữa các câu trả lời cho hai câu hỏi.

    1. Tạo một cặp câu hỏi bán phần mà bạn cho rằng sẽ có một hiệu ứng đặt hàng câu hỏi lớn; một cặp câu hỏi toàn bộ một phần mà bạn cho rằng sẽ có hiệu ứng đặt hàng lớn; và một cặp câu hỏi mà bạn nghĩ sẽ không quan trọng. Chạy thử nghiệm khảo sát trên Amazon Mechanical Turk để kiểm tra câu hỏi của bạn.
    2. Bạn có thể tạo hiệu ứng một phần lớn đến mức nào? Đó có phải là hiệu ứng tương phản hay nhất quán không?
    3. Bạn có thể tạo ra hiệu ứng toàn bộ một phần lớn như thế nào? Đó có phải là hiệu ứng tương phản hay nhất quán không?
    4. Có một câu hỏi đặt hàng có hiệu lực trong cặp của bạn, nơi bạn không nghĩ rằng thứ tự sẽ quan trọng?
  6. [ Trung bình , thu thập dữ liệu ] Xây dựng trên công trình của Schuman và Presser, Moore (2002) mô tả một chiều hướng riêng biệt của hiệu ứng thứ tự câu hỏi: các hiệu ứng cộng và trừ. Trong khi các hiệu ứng tương phản và nhất quán được tạo ra như là kết quả của các đánh giá của người trả lời về hai mục liên quan đến nhau, các hiệu ứng cộng và trừ được tạo ra khi người trả lời nhạy cảm hơn với khung lớn hơn trong đó các câu hỏi được đặt ra. Đọc Moore (2002) , sau đó thiết kế và chạy thử nghiệm khảo sát trên MTurk để chứng minh các hiệu ứng cộng hoặc trừ.

  7. [ cứng , thu thập dữ liệu ] Christopher Antoun và cộng sự (2015) đã tiến hành một nghiên cứu so sánh các mẫu tiện lợi thu được từ bốn nguồn tuyển dụng trực tuyến khác nhau: MTurk, Craigslist, Google AdWords và Facebook. Thiết kế một cuộc khảo sát đơn giản và tuyển dụng người tham gia thông qua ít nhất hai nguồn tuyển dụng trực tuyến khác nhau (các nguồn này có thể khác với bốn nguồn được sử dụng trong Antoun et al. (2015) ).

    1. So sánh chi phí mỗi lần tuyển dụng - về tiền bạc và thời gian — giữa các nguồn khác nhau.
    2. So sánh thành phần của các mẫu thu được từ các nguồn khác nhau.
    3. So sánh chất lượng dữ liệu giữa các mẫu. Để biết các ý tưởng về cách đo lường chất lượng dữ liệu từ người trả lời, xem Schober et al. (2015) .
    4. Nguồn ưa thích của bạn là gì? Tại sao?
  8. [ Trung bình ] Trong một nỗ lực để dự đoán kết quả của cuộc trưng cầu dân ý EU năm 2016 (tức là Brexit), YouGov - một công ty nghiên cứu thị trường dựa trên Internet - đã tiến hành các cuộc thăm dò trực tuyến của một bảng điều khiển khoảng 800.000 người trả lời tại Vương quốc Anh.

    Bạn có thể tìm thấy mô tả chi tiết về mô hình thống kê của YouGov tại https://yougov.co.uk/news/2016/06/21/yougov-referendum-model/. Nói chung, YouGov phân chia các cử tri thành các loại dựa trên lựa chọn bầu cử tổng quát năm 2015, tuổi tác, trình độ, giới tính và ngày phỏng vấn, cũng như cử tri mà họ đã sống. Đầu tiên, họ sử dụng dữ liệu thu thập từ các tham luận viên YouGov để ước tính, trong số những người đã bỏ phiếu, tỷ lệ người thuộc từng loại cử tri có ý định bỏ phiếu Rời bỏ. Họ ước tính số cử tri đi bầu của từng cử tri bằng cách sử dụng Nghiên cứu Bầu cử Anh năm 2015 (BES), một cuộc khảo sát mặt đối mặt sau cuộc bầu cử, xác nhận cử tri đi bầu từ các cuộc bầu cử cử tri. Cuối cùng, họ ước tính có bao nhiêu người có từng loại cử tri trong cử tri, dựa trên Điều tra Dân số và Điều tra dân số hàng năm (với một số thông tin bổ sung từ các nguồn dữ liệu khác).

    Ba ngày trước ngày bỏ phiếu, YouGov đã cho thấy một điểm dẫn hai điểm cho Rời. Vào đêm trước bầu cử, cuộc thăm dò cho thấy kết quả quá gần để gọi (49/51 còn lại). Nghiên cứu cuối cùng được dự đoán vào ngày 48/52 ủng hộ cho Remain (https://yougov.co.uk/news/2016/06/23/yougov-day-poll/). Trong thực tế, ước tính này đã bỏ lỡ kết quả cuối cùng (52/48 Leave) bởi bốn điểm phần trăm.

    1. Sử dụng khung tổng số lỗi khảo sát được thảo luận trong chương này để đánh giá những gì có thể đã đi sai.
    2. Phản ứng của YouGov sau cuộc bầu cử (https://yougov.co.uk/news/2016/06/24/brexit-follows-close-run-campaign/) giải thích: “Điều này có vẻ là một phần lớn do việc cử tri đi bầu - điều gì đó chúng tôi đã nói tất cả cùng sẽ là rất quan trọng đối với kết quả của một cuộc đua cân bằng tinh vi như vậy. Mô hình cử tri của chúng tôi dựa trên một phần, cho dù người trả lời đã bỏ phiếu tại cuộc tổng tuyển cử cuối cùng và mức cử tri vượt quá cuộc bầu cử tổng quát sẽ làm đảo lộn mô hình, đặc biệt là ở miền Bắc. ”Điều này có thay đổi câu trả lời của bạn cho phần (a) không?
  9. [ Trung bình , yêu cầu mã hóa ] Viết một mô phỏng để minh họa từng lỗi biểu diễn trong hình 3.2.

    1. Tạo một tình huống mà các lỗi này thực sự hủy bỏ.
    2. Tạo một tình huống trong đó các lỗi kết hợp lẫn nhau.
  10. [ rất khó , yêu cầu mã hóa ] Nghiên cứu của Blumenstock và cộng sự (2015) liên quan đến việc xây dựng một mô hình học máy có thể sử dụng dữ liệu theo dõi kỹ thuật số để dự đoán các phản ứng khảo sát. Bây giờ, bạn sẽ thử cùng một điều với một tập dữ liệu khác. Kosinski, Stillwell, and Graepel (2013) nhận thấy rằng Facebook thích có thể dự đoán các đặc điểm và đặc điểm riêng lẻ. Đáng ngạc nhiên, những dự đoán này thậm chí còn chính xác hơn những dự đoán của bạn bè và đồng nghiệp (Youyou, Kosinski, and Stillwell 2015) .

    1. Đọc Kosinski, Stillwell, and Graepel (2013) , và nhân rộng hình 2. Dữ liệu của họ có sẵn tại http://mypersonality.org/
    2. Bây giờ, nhân bản hình 3.
    3. Cuối cùng, hãy thử mô hình của họ trên dữ liệu Facebook của riêng bạn: http://applymagicsauce.com/. Nó hoạt động tốt như thế nào cho bạn?
  11. [ Trung bình Toole et al. (2015) sử dụng các bản ghi chi tiết cuộc gọi (CDR) từ điện thoại di động để dự đoán xu hướng thất nghiệp tổng thể.

    1. So sánh và đối chiếu thiết kế nghiên cứu của Toole et al. (2015) với Blumenstock, Cadamuro, and On (2015) .
    2. Bạn có nghĩ rằng CDR nên thay thế các cuộc điều tra truyền thống, bổ sung cho họ hoặc không được sử dụng cho các nhà hoạch định chính sách để theo dõi tình trạng thất nghiệp? Tại sao?
    3. Bằng chứng nào sẽ thuyết phục bạn rằng CDR có thể thay thế hoàn toàn các biện pháp truyền thống của tỷ lệ thất nghiệp?