2.4.3 eksperimen yang hampir

Kami boleh menganggarkan eksperimen yang tidak ada atau tidak boleh dilakukan. Dua pendekatan yang terutamanya mendapat manfaat daripada sumber data besar adalah eksperimen semula jadi dan padanan.

Beberapa soalan saintifik dan dasar penting adalah kausa. Sebagai contoh, apakah kesan program latihan pekerjaan mengenai upah? Seorang penyelidik cuba menjawab soalan ini mungkin membandingkan pendapatan orang yang mendaftar untuk latihan kepada mereka yang tidak. Tetapi berapa banyak perbezaan gaji di antara kumpulan-kumpulan ini adalah kerana latihan dan berapa banyak kerana perbezaan yang sudah ada antara orang yang mendaftar dan yang tidak? Ini adalah soalan yang sukar, dan ia adalah satu yang tidak secara automatik hilang dengan lebih banyak data. Dengan kata lain, keprihatinan mengenai kemungkinan perbezaan yang sedia ada timbul tidak kira betapa banyak pekerja dalam data anda.

Dalam banyak situasi, cara terkuat untuk menganggarkan kesan kausal beberapa rawatan, seperti latihan pekerjaan, adalah untuk menjalankan percubaan terkawal secara rawak di mana seorang penyelidik secara rawak menyampaikan rawatan kepada sesetengah orang dan bukan orang lain. Saya akan menumpukan semua bab 4 kepada eksperimen, jadi di sini saya akan memberi tumpuan kepada dua strategi yang boleh digunakan dengan data bukan eksperimen. Strategi pertama bergantung kepada mencari sesuatu yang berlaku di dunia yang secara rawak (atau hampir secara rawak) memberikan rawatan kepada sesetengah orang dan bukan orang lain. Strategi kedua bergantung pada statistik menyesuaikan data bukan percubaan dalam percubaan untuk menjelaskan perbezaan sebelumnya antara mereka yang melakukan dan tidak menerima rawatan.

Seorang skeptis mungkin mendakwa bahawa kedua-dua strategi ini harus dielakkan kerana mereka memerlukan andaian yang kuat, andaian-andaian yang sukar untuk dinilai dan itu, dalam praktiknya, sering dilanggar. Walaupun saya bersimpati dengan tuntutan ini, saya fikir ia pergi terlalu jauh. Sudah tentu benar bahawa sukar untuk membuat estimasi kausal daripada data bukan percubaan, tetapi saya tidak fikir ia bermakna kita tidak boleh cuba. Secara khususnya, pendekatan yang tidak eksperimen boleh membantu jika kekangan logistik menghalang anda daripada menjalankan eksperimen atau jika kekangan etika bermakna anda tidak mahu menjalankan percubaan. Lebih jauh, pendekatan yang tidak eksperimen dapat membantu jika anda ingin memanfaatkan data yang sudah ada untuk merancang percubaan terkawal secara rawak.

Sebelum meneruskan, ia juga diperhatikan bahawa membuat anggaran kausal adalah salah satu topik yang paling kompleks dalam penyelidikan sosial, dan satu yang boleh membawa kepada perdebatan sengit dan emosi. Dalam apa yang berikut, saya akan memberikan penjelasan yang optimis mengenai setiap pendekatan untuk membina intuisi mengenainya, maka saya akan menerangkan beberapa cabaran yang timbul ketika menggunakan pendekatan tersebut. Butiran lanjut mengenai setiap pendekatan boleh didapati dalam bahan-bahan pada akhir bab ini. Sekiranya anda merancang untuk menggunakan sama ada pendekatan ini dalam penyelidikan anda sendiri, saya amat mengesyorkan membaca salah satu daripada banyak buku yang sangat baik mengenai kesimpulan kausal (Imbens and Rubin 2015; Pearl 2009; Morgan and Winship 2014) .

Satu pendekatan untuk membuat anggaran kausal dari data bukan percubaan adalah untuk mencari peristiwa yang secara rawak memberikan rawatan kepada sesetengah orang dan bukan kepada orang lain. Keadaan ini dipanggil eksperimen semula jadi . Salah satu contoh yang jelas tentang percubaan semulajadi adalah dari penyelidikan Joshua Angrist (1990) mengukur kesan perkhidmatan ketenteraan ke atas pendapatan. Semasa perang di Vietnam, Amerika Syarikat meningkatkan saiz angkatan bersenjatanya melalui draf. Untuk menentukan siapa warganegara akan dipanggil ke perkhidmatan, kerajaan AS mengadakan loteri. Setiap tarikh kelahiran telah ditulis di atas kertas, dan, seperti yang ditunjukkan dalam rajah 2.7, kepingan-kepingan kertas ini dipilih satu demi satu untuk menentukan susunan lelaki muda yang akan dipanggil untuk berkhidmat (wanita muda tidak tertakluk kepada draf). Berdasarkan hasilnya, lelaki yang dilahirkan pada 14 September dipanggil pertama, lelaki yang dilahirkan pada 24 April dipanggil kedua, dan sebagainya. Akhirnya, dalam loteri ini, lelaki yang dilahirkan pada 195 hari berbeza telah dirangka, manakala lelaki yang lahir pada 171 hari tidak.

Gambar 2.7: Ahli Kongres Alexander Pirnie (R-NY) melukis kapsul pertama untuk draf Perkhidmatan Selektif pada 1 Disember 1969. Joshua Angrist (1990) menggabungkan loteri draf dengan data pendapatan daripada Pentadbiran Keselamatan Sosial untuk menganggarkan kesan perkhidmatan ketenteraan pada pendapatan. Ini adalah contoh penyelidikan menggunakan percubaan semulajadi. Sumber: Sistem Perkhidmatan Selektif A.S. (1969) / Wikimedia Commons.

Gambar 2.7: Ahli Kongres Alexander Pirnie (R-NY) melukis kapsul pertama untuk draf Perkhidmatan Selektif pada 1 Disember 1969. Joshua Angrist (1990) menggabungkan loteri draf dengan data pendapatan daripada Pentadbiran Keselamatan Sosial untuk menganggarkan kesan perkhidmatan ketenteraan pada pendapatan. Ini adalah contoh penyelidikan menggunakan percubaan semulajadi. Sumber: Sistem Perkhidmatan Selektif AS (1969) / Wikimedia Commons .

Walaupun ia tidak dapat dilihat dengan jelas, loteri draf mempunyai persamaan kritis terhadap eksperimen terkawal rawak: dalam kedua-dua situasi, para peserta secara rawak ditugaskan untuk menerima rawatan. Untuk mengkaji kesan rawatan rambang ini, Angrist memanfaatkan sistem data yang selalu digunakan: Pentadbiran Keselamatan Sosial AS, yang mengumpul maklumat mengenai hampir setiap pendapatan Amerika daripada pekerjaan. Dengan menggabungkan maklumat mengenai siapa yang dipilih secara rawak dalam loteri draf dengan data pendapatan yang dikutip dalam rekod pentadbiran kerajaan, Angrist menyimpulkan bahawa pendapatan veteran adalah kira-kira 15% kurang daripada pendapatan bukan veteran yang setanding.

Sebagai contoh ini, kadang-kadang pasukan sosial, politik, atau alam menugaskan rawatan dengan cara yang dapat dimanfaatkan oleh penyelidik, dan kadang-kadang kesan-kesan dari rawatan ini ditangkap dalam sumber-sumber data yang selalu ada. Strategi penyelidikan ini boleh diringkaskan seperti berikut: \[\text{random (or as if random) variation} + \text{always-on data} = \text{natural experiment}\]

Untuk menggambarkan strategi ini dalam era digital, mari kita pertimbangkan kajian oleh Alexandre Mas dan Enrico Moretti (2009) yang cuba menganggarkan kesan kerja dengan rakan-rakan produktif terhadap produktiviti pekerja. Sebelum melihat hasilnya, ia patut menunjukkan bahawa terdapat harapan yang bercanggah yang mungkin anda miliki. Di satu pihak, anda mungkin menjangkakan bahawa bekerja dengan rakan-rakan yang produktif akan membawa seorang pekerja untuk meningkatkan produktiviti beliau kerana tekanan rakan sebaya. Atau, sebaliknya, anda mungkin menjangkakan bahawa mempunyai rakan kerja yang gigih dapat menyebabkan seorang pekerja terlambat kerana pekerjaan itu akan dilakukan oleh teman sebayanya. Cara paling jelas untuk mengkaji kesan rakan sebaya mengenai produktiviti adalah percubaan terkawal secara rawak di mana pekerja secara rawak ditugaskan untuk beralih dengan pekerja yang mempunyai tahap produktiviti yang berbeza dan kemudian produktiviti yang dihasilkan diukur untuk semua orang. Namun, penyelidik tidak mengawal jadual pekerja dalam perniagaan yang sebenarnya, dan oleh itu Mas dan Moretti harus bergantung kepada eksperimen semula jadi yang melibatkan juruwang di pasar raya.

Di pasar raya tertentu ini, kerana cara penjadualannya dilakukan dan cara yang beralih tumpang tindih, setiap juruwang mempunyai rekan kerja yang berbeza pada waktu yang berbeza sepanjang hari. Selanjutnya, di pasar raya tertentu ini, tugasan juruwang tidak berkaitan dengan produktiviti rakan sebaya mereka atau bagaimana sibuk kedai itu. Dalam erti kata lain, walaupun penjadualan juruwang tidak ditentukan oleh loteri, seolah-olah pekerja kadang-kadang ditugaskan untuk bekerja dengan rakan-rakan produktiviti yang tinggi (atau rendah). Nasib baik, pasar raya ini juga mempunyai sistem pemeriksaan umur digital yang mengesan barang-barang yang setiap juruwang telah mengimbas sepanjang masa. Dari data log keluar ini, Mas dan Moretti dapat menghasilkan produktiviti yang tepat, individu, dan selalu pada: bilangan item yang diimbas sesaat. Menggabungkan dua perkara ini-variasi yang semulajadi dalam produktiviti rakan sebaya dan ukuran produktiviti sentiasa-Mas dan Moretti menganggarkan bahawa jika seorang juruwang dilantik sebagai rakan sekerja yang 10% lebih produktif daripada purata, produktivitinya akan meningkat sebanyak 1.5% . Selain itu, mereka menggunakan saiz dan kekayaan data mereka untuk meneroka dua isu penting: heterogenitas kesan ini (Untuk mana jenis pekerja adalah kesan yang lebih besar?) Dan mekanisme di sebalik kesannya (Kenapa mempunyai rekan produktiviti tinggi membawa kepada produktiviti yang lebih tinggi?). Kami akan kembali kepada dua isu penting ini-heterogenitas kesan dan mekanisme rawatan-dalam bab 4 apabila kita membincangkan eksperimen dengan lebih terperinci.

Pengenalpastian dari kedua-dua kajian ini, jadual 2.3 meringkaskan kajian lain yang mempunyai struktur yang sama: menggunakan sumber data selalu untuk mengukur kesan beberapa variasi rawak. Dalam praktiknya, para penyelidik menggunakan dua strategi yang berbeza untuk mencari eksperimen semula jadi, kedua-duanya boleh menjadi berbuah. Sesetengah penyelidik bermula dengan sumber data yang sentiasa ada dan mencari peristiwa rawak di dunia; yang lain memulakan acara rawak di dunia dan mencari sumber data yang menimbulkan impaknya.

Jadual 2.3: Contoh Eksperimen Semulajadi Menggunakan Sumber Data Besar
Tumpuan substantif Sumber percubaan semulajadi Sumber data sentiasa ada Rujukan
Kesan rakan sebaya ke atas produktiviti Proses penjadualan Data urus niaga Mas and Moretti (2009)
Pembentukan Persahabatan Angin ribut Facebook Phan and Airoldi (2015)
Penyebaran emosi Hujan Facebook Lorenzo Coviello et al. (2014)
Pemindahan ekonomi rakan kongsi ke rakan Gempa bumi Data wang mudah alih Blumenstock, Fafchamps, and Eagle (2011)
Tingkah laku penggunaan peribadi 2013 penutupan kerajaan AS Data kewangan peribadi Baker and Yannelis (2015)
Impak ekonomi sistem pengesyorkan Pelbagai Menyemak imbas data di Amazon Sharma, Hofman, and Watts (2015)
Kesan tekanan pada bayi yang belum lahir 2006 Israel-Hizbullah perang Rekod kelahiran Torche and Shwed (2015)
Membaca tingkah laku di Wikipedia Wahyu Snowden Log Wikipedia Penney (2016)
Kesan rakan sebaya pada senaman Cuaca Pelacak kecergasan Aral and Nicolaides (2017)

Dalam perbincangan sejauh ini mengenai eksperimen semula jadi, saya telah meninggalkan satu perkara penting: pergi dari alam semula jadi apa yang anda inginkan kadang-kadang boleh menjadi rumit. Mari kita kembali ke contoh draf Vietnam. Dalam kes ini, Angrist berminat untuk menganggarkan kesan perkhidmatan ketenteraan ke atas pendapatan. Malangnya, perkhidmatan ketenteraan tidak ditugaskan secara rawak; Sebaliknya ia telah dirangka yang secara rawak ditugaskan. Walau bagaimanapun, tidak semua orang yang telah direkrut berkhidmat (terdapat pelbagai pengecualian), dan tidak semua orang yang berkhidmat telah digubal (orang boleh menjadi sukarelawan untuk berkhidmat). Kerana sedang dirangka secara rawak ditugaskan, seorang penyelidik dapat menganggarkan kesannya dibuat untuk semua orang dalam draf. Tetapi Angrist tidak mahu mengetahui kesannya dibuat; dia mahu mengetahui kesan berkhidmat dalam tentera. Namun, untuk membuat anggaran ini, andaian dan komplikasi tambahan diperlukan. Pertama, para penyelidik perlu menganggap bahawa satu-satunya cara yang diramal pendapatan yang diperolehi adalah melalui perkhidmatan tentera, satu asumsi yang disebut sekatan pengecualian . Anggapan ini mungkin salah jika, sebagai contoh, lelaki yang telah direkabentuk tinggal di sekolah lebih lama untuk mengelakkan berkhidmat atau jika majikan cenderung tidak menyewa lelaki yang telah dirangka. Secara umum, sekatan pengecualian adalah andaian kritikal, dan biasanya sukar untuk mengesahkan. Walaupun sekatan pengecualian adalah betul, masih mustahil untuk menganggarkan kesan perkhidmatan kepada semua lelaki. Sebaliknya, penyelidik hanya boleh menganggarkan kesan pada subset tertentu lelaki yang dipanggil pengganti (lelaki yang akan berkhidmat semasa dirangka, tetapi tidak akan berkhidmat apabila tidak diolah) (Angrist, Imbens, and Rubin 1996) . Walau bagaimanapun, para pembekal bukanlah penduduk asli yang asal. Perhatikan bahawa masalah ini timbul walaupun dalam kes yang relatif bersih dari loteri draf. Satu set lagi komplikasi timbul apabila rawatan tidak diberikan oleh loteri fizikal. Sebagai contoh, dalam kajian Mas dan Moretti mengenai juruwang, soalan tambahan timbul mengenai andaian bahawa tugasan rakan sebaya adalah secara rawak. Sekiranya andaian ini telah dilanggar dengan kuat, ia boleh mengira anggaran mereka. Untuk membuat kesimpulan, eksperimen semulajadi boleh menjadi strategi yang kuat untuk membuat anggaran kausal daripada data bukan eksperimen, dan sumber data yang besar meningkatkan keupayaan kami untuk memanfaatkan eksperimen semula jadi apabila ia berlaku. Walau bagaimanapun, ia mungkin memerlukan penjagaan yang baik-dan kadang-kadang andaian yang kuat-untuk pergi dari apa yang telah disediakan oleh sifat kepada anggaran yang anda mahukan.

Strategi kedua yang saya ingin sampaikan kepada anda tentang membuat taksiran kausal dari data bukan percubaan bergantung kepada data penyelarasan statistik yang tidak eksperimental dalam percubaan untuk mengira perbezaan sebelumnya antara mereka yang melakukan dan tidak menerima rawatan. Terdapat banyak pendekatan pelarasan sedemikian, tetapi saya akan memberi tumpuan kepada satu pemadanan dipanggil. Dalam padanan, penyelidik melihat melalui data bukan percubaan untuk mencipta pasang orang yang serupa kecuali orang yang telah menerima rawatan dan tidak ada. Dalam proses pencocokan, penyelidik sebenarnya juga pemangkasan ; iaitu, membuang kes di mana tidak ada perlawanan yang jelas. Oleh itu, kaedah ini akan lebih tepat dipanggil pencocokan-dan-pemangkasan, tetapi saya akan tetap dengan istilah tradisional: padanan.

Salah satu contoh kuasa strategi yang sepadan dengan sumber data bukan eksperimen secara besar-besaran berasal dari penyelidikan mengenai kelakuan pengguna oleh Liran Einav dan rakan sekerja (2015) . Mereka berminat dengan lelongan yang berlaku di eBay, dan dalam menggambarkan kerja mereka, saya akan memberi tumpuan kepada kesan harga bermula lelongan pada hasil lelong, seperti harga jualan atau kebarangkalian penjualan.

Cara yang paling naif untuk menganggarkan kesan harga bermula pada harga jualan adalah untuk mengira harga akhir untuk lelongan dengan harga permulaan yang berbeza. Pendekatan ini akan baik jika anda mahu meramalkan harga jualan yang diberi harga permulaan. Tetapi jika soalan anda menyangkut kesan harga permulaan, maka pendekatan ini tidak akan berfungsi kerana ia tidak berdasarkan perbandingan yang adil; lelongan dengan harga permulaan yang lebih rendah mungkin agak berbeza dari mereka dengan harga permulaan yang lebih tinggi (contohnya, mereka mungkin untuk jenis barang yang berlainan atau termasuk jenis penjual yang berlainan).

Sekiranya anda sudah mengetahui tentang masalah yang boleh timbul apabila membuat anggaran kausal dari data tidak eksperimen, anda mungkin melangkau pendekatan naif dan mempertimbangkan menjalankan eksperimen lapangan di mana anda akan menjual item tertentu-kata, sebuah kelab golf-dengan tetap set parameter lelongan-katakan, penghantaran dan lelongan percuma dibuka selama dua minggu-tetapi dengan harga permulaan yang ditetapkan secara rawak. Dengan membandingkan hasil pasaran yang dihasilkan, eksperimen bidang ini akan memberikan pengukuran yang sangat jelas mengenai kesan harga bermula pada harga jualan. Tetapi pengukuran ini hanya akan terpakai kepada satu produk tertentu dan set parameter lelongan. Hasilnya mungkin berbeza, contohnya, untuk pelbagai jenis produk. Tanpa teori yang kuat, sukar untuk mengekstrapolasi dari percubaan tunggal ini ke pelbagai kemungkinan eksperimen yang mungkin dijalankan. Tambahan pula, eksperimen lapangan cukup mahal bahawa ia tidak mungkin untuk menjalankan setiap variasi yang mungkin anda ingin cuba.

Berbeza dengan pendekatan naif dan eksperimen, Einav dan rakan sekerja mengambil pendekatan ketiga: padanan. Tipu utama dalam strategi mereka adalah untuk menemui perkara yang serupa dengan eksperimen lapangan yang telah terjadi di eBay. Sebagai contoh, angka 2.8 menunjukkan sebahagian daripada 31 penyenaraian untuk sama-sama kelab golf yang sama-Pemandu Taylormade Burner 09 - dijual dengan penjual yang sama - "budgetgolfer." Walau bagaimanapun, 31 senarai ini mempunyai ciri-ciri yang sedikit berbeza, seperti permulaan yang berbeza harga, tarikh akhir, dan yuran perkapalan. Dalam erti kata lain, ia seolah-olah "budgetgolfer" menjalankan eksperimen untuk penyelidik.

Senarai ini Pemandu Taylormade Burner 09 yang dijual oleh "budgetgolfer" adalah salah satu contoh senarai sepadan yang sepadan, di mana item yang sama dijual oleh penjual yang sama, tetapi setiap kali mempunyai ciri-ciri yang sedikit berbeza. Dalam log besar eBay terdapat beratus ribu set yang sesuai dengan berjuta-juta penyenaraian. Oleh itu, daripada membandingkan harga akhir untuk semua lelongan dengan harga permulaan yang diberikan, Einav dan rakan sekerja dibandingkan dalam set yang dipadankan. Untuk menggabungkan hasil daripada perbandingan dalam ratusan ribu set yang sepadan, Einav dan rakan sekerja menyatakan harga awal dan harga akhir dari segi nilai rujukan setiap item (contohnya, harga jualan purata). Sebagai contoh, jika Pemandu Taylormade Burner 09 mempunyai nilai rujukan $ 100 (berdasarkan jualan), maka harga bermula sebanyak $ 10 akan dinyatakan sebagai 0.1 dan harga akhir $ 120 sebagai 1.2.

Rajah 2.8: Contoh set yang sepadan. Ini adalah kelab golf yang sama (Pemandu Taylormade Burner 09) yang dijual oleh orang yang sama (budgetgolfer), tetapi beberapa jualan tersebut dilakukan dalam keadaan yang berbeza (mis., Harga permulaan yang berbeza). Diterbitkan semula dengan kebenaran daripada Einav et al. (2015), angka 1b.

Rajah 2.8: Contoh set yang sepadan. Ini adalah kelab golf yang sama (Pemandu Taylormade Burner 09) yang dijual oleh orang yang sama ("budgetgolfer"), tetapi beberapa jualan telah dilakukan dalam keadaan yang berbeza (misalnya, harga permulaan yang berbeza). Diterbitkan semula dengan kebenaran daripada Einav et al. (2015) , angka 1b.

Ingatlah bahawa Einav dan rakan-rakannya berminat dengan kesan harga permulaan pada hasil lelong. Pertama, mereka menggunakan regresi linear untuk menganggarkan bahawa harga permulaan yang lebih tinggi mengurangkan kebarangkalian penjualan, dan harga permulaan yang lebih tinggi meningkatkan harga jualan akhir (bersyarat atas penjualan yang berlaku). Dengan sendirinya, anggaran ini - yang menggambarkan hubungan linear dan purata pada semua produk-tidak semua yang menarik. Kemudian, Einav dan rakan sekerja menggunakan saiz besar data mereka untuk membuat pelbagai anggaran yang lebih halus. Sebagai contoh, dengan menganggarkan kesan secara berasingan untuk pelbagai harga permulaan yang berbeza, mereka mendapati bahawa hubungan antara harga permulaan dan harga jualan adalah tidak linear (angka 2.9). Khususnya, untuk memulakan harga di antara 0.05 dan 0.85, harga permulaan mempunyai kesan yang sangat sedikit terhadap harga jualan, satu penemuan yang benar-benar tidak terjawab oleh analisis pertama mereka. Selanjutnya, daripada purata pada semua item, Einav dan rakan sekerja menganggarkan kesan harga permulaan untuk 23 kategori item yang berbeza (misalnya, bekalan haiwan, elektronik, dan memorabilia sukan) (angka 2.10). Anggaran ini menunjukkan bahawa untuk item yang lebih tersendiri-seperti harga permulaan memorabilia mempunyai kesan yang lebih kecil terhadap kebarangkalian jualan dan kesan yang lebih besar pada harga jualan akhir. Selanjutnya, untuk item yang lebih banyak diperkodkan-seperti DVD-harga permulaan hampir tidak memberi impak pada harga akhir. Dalam erti kata lain, purata yang menggabungkan hasil dari 23 kategori item yang berbeza menyembunyikan perbezaan penting antara item ini.

Rajah 2.9: Hubungan antara harga permulaan lelongan dan kebarangkalian jualan (a) dan harga jualan (b). Terdapat kira-kira hubungan linear antara harga permulaan dan kebarangkalian jualan, tetapi hubungan tidak linear antara harga permulaan dan harga jualan; untuk memulakan harga di antara 0.05 dan 0.85, harga permulaan mempunyai kesan yang sangat sedikit terhadap harga jualan. Dalam kedua-dua kes, hubungan pada dasarnya adalah bebas daripada nilai item. Diadaptasi dari Einav et al. (2015), angka 4a dan 4b.

Rajah 2.9: Hubungan antara harga permulaan lelongan dan kebarangkalian jualan (a) dan harga jualan (b). Terdapat kira-kira hubungan linear antara harga permulaan dan kebarangkalian jualan, tetapi hubungan tidak linear antara harga permulaan dan harga jualan; untuk memulakan harga di antara 0.05 dan 0.85, harga permulaan mempunyai kesan yang sangat sedikit terhadap harga jualan. Dalam kedua-dua kes, hubungan pada dasarnya adalah bebas daripada nilai item. Diadaptasi dari Einav et al. (2015) , angka 4a dan 4b.

Rajah 2.10: Anggaran dari setiap kategori barangan; titik pepejal adalah anggaran bagi semua kategori yang disatukan (Einav et al 2015). Anggaran ini menunjukkan bahawa untuk item yang lebih tersendiri-seperti memorabilia-harga permulaan mempunyai kesan yang lebih kecil terhadap kebarangkalian jualan (paksi-x) dan kesan yang lebih besar pada harga jualan akhir (paksi-y). Diadaptasi dari Einav et al. (2015), angka 8.

Rajah 2.10: Anggaran dari setiap kategori barangan; titik pepejal adalah anggaran bagi semua kategori yang disatukan (Einav et al. 2015) . Anggaran ini menunjukkan bahawa untuk item yang lebih tersendiri-seperti memorabilia-harga permulaan mempunyai kesan yang lebih kecil pada kebarangkalian jualan ( \(x\) -axis) dan kesan yang lebih besar pada harga jualan akhir ( \(y\) -axis). Diadaptasi dari Einav et al. (2015) , angka 8.

Walaupun anda tidak berminat dengan lelongan di eBay, anda perlu mengagumi cara angka 2.9 dan angka 2.10 menawarkan pemahaman yang lebih kaya tentang eBay daripada anggaran mudah yang menggambarkan hubungan linear dan menggabungkan pelbagai kategori item. Selanjutnya, walaupun mungkin secara saintifik untuk menghasilkan anggaran-anggaran yang lebih halus ini dengan eksperimen lapangan, biaya akan membuat eksperimen seperti itu tidak mungkin.

Seperti eksperimen semulajadi, terdapat beberapa cara yang sepadan dapat mengakibatkan anggaran buruk. Saya fikir kebimbangan terbesar dengan anggaran yang sepadan adalah bahawa mereka boleh berat sebelah oleh perkara yang tidak digunakan dalam padanan. Sebagai contoh, dalam hasil utama mereka, Einav dan rakan-rakan melakukan padanan tepat pada empat ciri: nombor ID penjual, kategori item, tajuk item, dan subtitle. Sekiranya item itu berbeza dengan cara yang tidak digunakan untuk dipadankan, maka ini boleh membuat perbandingan yang tidak adil. Contohnya, jika "budgetgolfer" menurunkan harga untuk Pemandu Taylormade Burner 09 pada musim sejuk (apabila kelab golf kurang popular), maka ia akan kelihatan bahawa harga permulaan yang lebih rendah membawa harga yang lebih rendah, pada kenyataannya ini akan menjadi artifak variasi bermusim dalam permintaan. Salah satu cara untuk menangani masalah ini ialah mencuba pelbagai jenis pencocokan yang berbeza. Sebagai contoh, Einav dan rakan sekerja mengulangi analisis mereka semasa memvariasikan tetingkap masa yang digunakan untuk padanan (set yang dipadankan termasuk item yang dijual dalam tempoh satu tahun, dalam masa satu bulan, dan pada masa yang sama). Nasib baik, mereka mendapati hasil yang sama untuk semua tetingkap masa. Kebimbangan selanjutnya dengan pencocokan muncul dari tafsiran. Anggaran dari padanan hanya dikenakan untuk data yang sepadan; mereka tidak terpakai kepada kes-kes yang tidak dapat dipadankan. Sebagai contoh, dengan mengehadkan penyelidikan mereka kepada item yang mempunyai banyak penyenaraian, Einav dan rakan-rakan memberi tumpuan kepada penjual profesional dan separuh profesional. Oleh itu, apabila mentafsir perbandingan ini kita harus ingat bahawa mereka hanya memohon kepada subset eBay ini.

Pemadanan adalah strategi yang kuat untuk mencari perbandingan yang adil dalam data tidak eksperimen. Kepada banyak ahli sains sosial, sepadan terasa lebih baik untuk eksperimen, tetapi itu adalah kepercayaan yang boleh disemak, sedikit. Pemadanan dalam data besar mungkin lebih baik daripada sebilangan kecil eksperimen bidang apabila (1) heterogenitas dalam kesan adalah penting dan (2) pembolehubah penting yang diperlukan untuk pemadanan telah diukur. Jadual 2.4 menyediakan beberapa contoh lain bagaimana padanan boleh digunakan dengan sumber data besar.

Jadual 2.4: Contoh Kajian yang Menggunakan Padanan dengan Sumber Data Besar
Tumpuan substantif Sumber data yang besar Rujukan
Kesan penembakan terhadap keganasan polis Rekod Stop-and-frisk Legewie (2016)
Kesan 11 September 2001 mengenai keluarga dan jiran Rekod undi dan rekod sumbangan Hersh (2013)
Penularan sosial Komunikasi dan data penggunaan produk Aral, Muchnik, and Sundararajan (2009)

Kesimpulannya, menganggarkan kesan kausal dari data tidak eksperimen adalah sukar, tetapi pendekatan seperti eksperimen semula jadi dan penyesuaian statistik (contohnya, sepadan) boleh digunakan. Dalam sesetengah keadaan, pendekatan ini boleh berlaku dengan salah, tetapi apabila digunakan secara berhati-hati, pendekatan ini boleh menjadi pelengkap berguna kepada pendekatan percubaan yang saya huraikan dalam bab 4. Lebih jauh lagi, kedua-dua pendekatan ini kelihatannya berkemungkinan besar mendapat manfaat daripada pertumbuhan sentiasa- pada, sistem data besar.