Kegiatan

  • tingkat kesulitan: mudah mudah , medium medium , keras keras , sangat keras sangat keras
  • membutuhkan matematika ( membutuhkan matematika )
  • membutuhkan pengkodean ( membutuhkan pengkodean )
  • pengumpulan data ( pengumpulan data )
  • kesukaanku ( kesukaanku )
  1. [ keras , membutuhkan matematika ] Dalam bab ini, saya sangat positif tentang post-stratifikasi. Namun, ini tidak selalu meningkatkan kualitas perkiraan. Bangun situasi di mana pasca-stratifikasi dapat menurunkan kualitas perkiraan. (Untuk petunjuk, lihat Thomsen (1973) .)

  2. [ keras , pengumpulan data , membutuhkan pengkodean ] Merancang dan melakukan survei non-probabilitas di Amazon Mechanical Turk untuk bertanya tentang kepemilikan senjata dan sikap terhadap kontrol senjata. Agar Anda dapat membandingkan perkiraan Anda dengan yang berasal dari sampel probabilitas, harap salin teks pertanyaan dan opsi tanggapan langsung dari survei berkualitas tinggi seperti yang dijalankan oleh Pew Research Center.

    1. Berapa lama survei Anda? Berapa biayanya? Bagaimana demografi sampel Anda dibandingkan dengan demografi populasi AS?
    2. Apa estimasi mentah kepemilikan senjata menggunakan sampel Anda?
    3. Koreksi untuk ketidakpresentasian sampel Anda menggunakan post-stratifikasi atau teknik lainnya. Sekarang berapa perkiraan kepemilikan senjata?
    4. Bagaimana perkiraan Anda dibandingkan dengan perkiraan terbaru dari sampel berbasis probabilitas? Menurut Anda apa yang menjelaskan ketidaksesuaian itu, jika ada?
    5. Ulangi pertanyaan (b) - (d) untuk sikap terhadap kontrol senjata. Bagaimana temuan Anda berbeda?
  3. [ sangat keras , pengumpulan data , membutuhkan pengkodean ] Goel dan rekan (2016) memberikan 49 pertanyaan-pertanyaan sikap pilihan ganda yang diambil dari Survei Sosial Umum (GSS) dan survei pilihan oleh Pusat Penelitian Pew untuk sampel non-probabilitas responden yang diambil dari Amazon Mechanical Turk. Mereka kemudian disesuaikan untuk non-keterwakilan data menggunakan model pasca-stratifikasi berbasis dan membandingkan perkiraan mereka disesuaikan dengan mereka dari survei GSS dan Pew berbasis probabilitas. Lakukan survei yang sama di Amazon Mechanical Turk dan cobalah untuk mereplikasi gambar 2a dan gambar 2b dengan membandingkan perkiraan yang Anda sesuaikan dengan perkiraan dari putaran terbaru survei GSS dan Pew. (Lihat lampiran tabel A2 untuk daftar 49 pertanyaan.)

    1. Bandingkan dan bedakan hasil Anda dengan hasil dari Pew dan GSS.
    2. Bandingkan dan bedakan hasil Anda dengan hasil survei Mechanical Turk di Goel, Obeng, and Rothschild (2016) .
  4. [ medium , pengumpulan data , membutuhkan pengkodean ] Banyak penelitian menggunakan ukuran penggunaan ponsel yang dilaporkan sendiri. Ini adalah pengaturan yang menarik di mana peneliti dapat membandingkan perilaku yang dilaporkan sendiri dengan perilaku login (lihat misalnya, Boase and Ling (2013) ). Dua perilaku umum untuk ditanyakan adalah menelepon dan mengirim pesan, dan dua kerangka waktu umum adalah "kemarin" dan "dalam seminggu terakhir."

    1. Sebelum mengumpulkan data apa pun, mana dari ukuran laporan mandiri yang menurut Anda lebih akurat? Mengapa?
    2. Rekrut lima teman Anda untuk mengikuti survei Anda. Silakan ringkas secara singkat bagaimana kelima teman ini dijadikan sampel. Mungkin prosedur pengambilan sampel ini menginduksi bias tertentu dalam perkiraan Anda?
    3. Tanyakan kepada mereka pertanyaan microsurvey berikut:
    • "Berapa kali kamu menggunakan ponselmu untuk menelepon orang lain kemarin?"
    • "Berapa banyak SMS yang Anda kirim kemarin?"
    • "Berapa kali Anda menggunakan ponsel Anda untuk menelepon orang lain dalam tujuh hari terakhir?"
    • "Berapa kali Anda menggunakan ponsel Anda untuk mengirim atau menerima pesan teks / SMS dalam tujuh hari terakhir?"
    1. Setelah mikrosurvey ini selesai, tanyakan untuk memeriksa data penggunaan mereka sebagaimana dicatat oleh ponsel atau penyedia layanan mereka. Bagaimana cara penggunaan laporan sendiri dibandingkan dengan data log? Mana yang paling akurat, yang paling tidak akurat?
    2. Sekarang gabungkan data yang telah Anda kumpulkan dengan data dari orang lain di kelas Anda (jika Anda melakukan kegiatan ini untuk kelas). Dengan dataset yang lebih besar ini, ulangi bagian (d).
  5. [ medium , pengumpulan data ] Schuman dan Presser (1996) berpendapat bahwa urutan pertanyaan akan penting untuk dua jenis pertanyaan: pertanyaan bagian-bagian di mana dua pertanyaan berada pada tingkat spesifisitas yang sama (misalnya, peringkat dari dua kandidat presiden); dan sebagian pertanyaan di mana pertanyaan umum mengikuti pertanyaan yang lebih spesifik (misalnya, menanyakan “Seberapa puaskah Anda dengan pekerjaan Anda?” diikuti oleh “Seberapa puaskah Anda dengan hidup Anda?”).

    Mereka lebih lanjut mencirikan dua jenis efek urutan pertanyaan: efek konsistensi terjadi ketika tanggapan terhadap pertanyaan kemudian dibawa lebih dekat (daripada yang seharusnya) kepada mereka yang diberikan untuk pertanyaan sebelumnya; efek kontras terjadi ketika ada perbedaan yang lebih besar antara tanggapan terhadap dua pertanyaan.

    1. Buat sepasang pertanyaan bagian-bagian yang menurut Anda akan memiliki efek urutan pertanyaan besar; sepasang pertanyaan sebagian-utuh yang menurut Anda akan memiliki efek pesanan besar; dan sepasang pertanyaan yang urutannya menurut Anda tidak akan berarti. Jalankan percobaan survei di Amazon Mechanical Turk untuk menguji pertanyaan Anda.
    2. Seberapa besar efek bagian-bagian yang dapat Anda ciptakan? Apakah itu efek konsistensi atau kontras?
    3. Seberapa besar efek sebagian-keseluruhan yang dapat Anda ciptakan? Apakah itu efek konsistensi atau kontras?
    4. Apakah ada efek urutan pertanyaan di pasangan Anda di mana Anda tidak berpikir urutannya akan berpengaruh?
  6. [ medium , pengumpulan data ] Membangun karya Schuman dan Presser, Moore (2002) menjelaskan dimensi terpisah dari efek urutan pertanyaan: efek aditif dan subtraktif. Sementara kontras dan konsistensi efek diproduksi sebagai konsekuensi dari evaluasi responden dari dua item dalam kaitannya satu sama lain, efek aditif dan subtraktif dihasilkan ketika responden dibuat lebih sensitif terhadap kerangka yang lebih besar di mana pertanyaan diajukan. Baca Moore (2002) , lalu rancang dan jalankan percobaan survei pada MTurk untuk menunjukkan efek aditif atau subtraktif.

  7. [ keras , pengumpulan data ] Christopher Antoun dan rekan (2015) melakukan penelitian yang membandingkan sampel yang diperoleh dari empat sumber perekrutan online yang berbeda: MTurk, Craigslist, Google AdWords dan Facebook. Rancang survei sederhana dan rekrut peserta melalui setidaknya dua sumber perekrutan online yang berbeda (sumber-sumber ini dapat berbeda dari empat sumber yang digunakan dalam Antoun et al. (2015) ).

    1. Bandingkan biaya per rekrut — dalam hal uang dan waktu — di antara berbagai sumber.
    2. Bandingkan komposisi sampel yang diperoleh dari berbagai sumber.
    3. Bandingkan kualitas data antar sampel. Untuk gagasan tentang cara mengukur kualitas data dari responden, lihat Schober et al. (2015) .
    4. Apa sumber pilihan Anda? Mengapa?
  8. [ medium ] Dalam upaya untuk memprediksi hasil Referendum Uni Eropa 2016 (yaitu, Brexit), YouGov — sebuah firma riset pasar berbasis internet — melakukan jajak pendapat online dari sebuah panel yang terdiri dari sekitar 800.000 responden di Inggris.

    Deskripsi rinci tentang model statistik YouGov dapat ditemukan di https://yougov.co.uk/news/2016/06/21/yougov-referendum-model/. Secara kasar, YouGov mempartisi pemilih ke dalam jenis berdasarkan pemilihan suara pemilihan umum tahun 2015, usia, kualifikasi, jenis kelamin, dan tanggal wawancara, serta konstituensi di mana mereka tinggal. Pertama, mereka menggunakan data yang dikumpulkan dari panelis YouGov untuk memperkirakan, di antara mereka yang memilih, proporsi orang dari setiap jenis pemilih yang dimaksudkan untuk memilih Keluar. Mereka memperkirakan jumlah pemilih masing-masing dengan menggunakan Studi Pemilu Inggris (BES) 2015, survei tatap muka pasca-pemilihan, yang mengesahkan jumlah pemilih dari daftar pemilih. Akhirnya, mereka memperkirakan berapa banyak orang yang ada di masing-masing jenis pemilih di pemilih, berdasarkan Sensus terbaru dan Survei Populasi Tahunan (dengan beberapa informasi tambahan dari sumber data lain).

    Tiga hari sebelum pemungutan suara, YouGov menunjukkan keunggulan dua poin untuk Cuti. Pada malam pemungutan suara, jajak pendapat menunjukkan bahwa hasilnya terlalu dekat untuk panggilan (49/51 Tetap). Studi terakhir pada hari itu memperkirakan 48/52 mendukung Remain (https://yougov.co.uk/news/2016/06/23/yougov-day-poll/). Bahkan, perkiraan ini merindukan hasil akhir (52/48 Cuti) dengan empat poin persentase.

    1. Gunakan kerangka kesalahan survei total yang dibahas dalam bab ini untuk menilai apa yang mungkin salah.
    2. Tanggapan YouGov setelah pemilihan (https://yougov.co.uk/news/2016/06/24/brexit-follows-close-run-campaign/) menjelaskan: “Ini tampaknya sebagian besar karena jumlah pemilih — sesuatu yang Kami telah mengatakan selama ini akan sangat penting untuk hasil dari balapan yang seimbang. Model pemilih kami didasarkan, sebagian, pada apakah responden telah memberikan suara pada pemilihan umum terakhir dan tingkat pemilih di atas bahwa pemilihan umum mengecewakan model, khususnya di Utara. "Apakah ini mengubah jawaban Anda untuk bagian (a)?
  9. [ medium , membutuhkan pengkodean ] Tulis simulasi untuk mengilustrasikan masing-masing kesalahan representasi pada gambar 3.2.

    1. Buat situasi di mana kesalahan ini benar-benar hilang.
    2. Buat situasi di mana kesalahan saling bersambungan.
  10. [ sangat keras , membutuhkan pengkodean ] Penelitian Blumenstock dan rekan (2015) melibatkan membangun model pembelajaran mesin yang dapat menggunakan data jejak digital untuk memprediksi tanggapan survei. Sekarang, Anda akan mencoba hal yang sama dengan dataset yang berbeda. Kosinski, Stillwell, and Graepel (2013) menemukan bahwa suka Facebook dapat memprediksi sifat dan atribut individu. Anehnya, prediksi ini bisa lebih akurat daripada teman dan kolega (Youyou, Kosinski, and Stillwell 2015) .

    1. Baca Kosinski, Stillwell, and Graepel (2013) , dan ulangi angka 2. Data mereka tersedia di http://mypersonality.org/
    2. Sekarang, gandakan angka 3.
    3. Terakhir, coba model mereka pada data Facebook Anda sendiri: http://applymagicsauce.com/. Seberapa baik kerjanya bagi Anda?
  11. [ medium ] Toole et al. (2015) menggunakan catatan detail panggilan (CDR) dari ponsel untuk memprediksi tren pengangguran agregat.

    1. Bandingkan dan bedakan desain penelitian Toole et al. (2015) dengan Blumenstock, Cadamuro, and On (2015) .
    2. Menurut Anda apakah CDR harus menggantikan survei tradisional, melengkapi mereka atau tidak digunakan sama sekali bagi pembuat kebijakan pemerintah untuk melacak pengangguran? Mengapa?
    3. Bukti apa yang akan meyakinkan Anda bahwa CDR sepenuhnya dapat menggantikan langkah-langkah tradisional tingkat pengangguran?