4.6.1 Buat nol data biaya variabel

Kunci untuk menjalankan eksperimen besar yang mendorong biaya variabel Anda ke nol. Cara terbaik untuk melakukan ini adalah otomatisasi dan merancang eksperimen menyenangkan.

eksperimen digital dapat memiliki struktur biaya yang berbeda secara dramatis dan ini memungkinkan peneliti untuk menjalankan eksperimen yang tidak mungkin di masa lalu. Lebih khusus, percobaan umumnya memiliki dua jenis utama dari biaya. Biaya tetap dan biaya variabel biaya tetap adalah biaya yang tidak berubah tergantung pada berapa banyak peserta yang Anda miliki. Misalnya, dalam percobaan laboratorium, biaya tetap mungkin biaya sewa ruang dan membeli furniture. Biaya variabel, di sisi lain, perubahan tergantung pada berapa banyak peserta yang Anda miliki. Misalnya, dalam percobaan laboratorium, biaya variabel mungkin datang dari membayar staf dan peserta. Secara umum, percobaan analog memiliki biaya tetap rendah dan biaya variabel yang tinggi, dan percobaan digital memiliki biaya tetap tinggi dan rendah biaya variabel (Gambar 4.18). Dengan desain yang tepat, Anda dapat mendorong biaya variabel percobaan Anda semua jalan ke nol, dan ini dapat membuat peluang penelitian menarik.

Gambar 4.18: Skema struktur biaya dalam eksperimen analog dan digital. Secara umum, percobaan analog memiliki biaya tetap rendah dan biaya variabel yang tinggi sedangkan percobaan digital memiliki biaya tetap yang tinggi dan biaya variabel rendah. Struktur biaya yang berbeda berarti bahwa eksperimen digital dapat dijalankan pada skala yang tidak mungkin dengan eksperimen analog.

Ada dua elemen utama variabel biaya-pembayaran untuk staf dan pembayaran untuk peserta-dan masing-masing dapat digerakkan dengan nol menggunakan strategi yang berbeda. Pembayaran kepada staf berasal dari pekerjaan yang asisten penelitian yang merekrut peserta, memberikan perawatan, dan mengukur hasil. Misalnya, percobaan bidang analog dari Schultz dan rekan (2007) pada norma-norma sosial dan penggunaan listrik asisten penelitian yang diperlukan untuk melakukan perjalanan ke setiap rumah untuk memberikan pengobatan dan membaca meteran listrik (Gambar 4.3). Semua upaya ini dengan asisten peneliti berarti bahwa menambahkan rumah tangga baru untuk penelitian akan ditambahkan ke biaya. Di sisi lain, untuk percobaan lapangan digital Restivo dan van de Rijt (2012) pada penghargaan di Wikipedia, peneliti bisa menambahkan lebih banyak peserta hampir tanpa biaya. Sebuah strategi umum untuk mengurangi biaya administrasi variabel adalah untuk menggantikan pekerjaan manusia (yang mahal) dengan kerja komputer (yang murah). Kira-kira, Anda dapat bertanya pada diri sendiri: dapat percobaan ini berjalan sementara semua orang di tim penelitian saya sedang tidur? Jika jawabannya adalah ya, Anda telah melakukan pekerjaan yang besar otomatisasi.

Jenis utama kedua biaya variabel adalah pembayaran kepada peserta. Beberapa peneliti telah menggunakan Amazon Mechanical Turk dan pasar tenaga kerja online lainnya untuk mengurangi pembayaran yang diperlukan untuk peserta. Untuk mendorong biaya variabel sampai ke nol, bagaimanapun, pendekatan yang berbeda diperlukan. Untuk waktu yang lama, para peneliti telah merancang percobaan yang begitu membosankan mereka harus membayar orang untuk berpartisipasi. Tapi, bagaimana jika Anda bisa membuat eksperimen yang orang ingin berada di? Hal ini mungkin terdengar terlalu jauh, tapi saya akan memberikan contoh di bawah ini dari pekerjaan saya sendiri, dan ada lebih banyak contoh di Tabel 4.4. Perhatikan bahwa pendekatan ini untuk merancang percobaan menyenangkan gema beberapa tema dalam Bab 3 tentang merancang survei lebih menyenangkan dan dalam Bab 5 tentang desain kolaborasi massa. Jadi, saya berpikir bahwa peserta kenikmatan-apa yang mungkin juga disebut pengguna pengalaman-akan menjadi bagian yang semakin penting dari desain penelitian di era digital.

Jika Anda ingin membuat nol variabel biaya percobaan Anda akan ingin memastikan bahwa semuanya sepenuhnya otomatis dan peserta tidak memerlukan pembayaran apapun. Dalam rangka untuk menunjukkan bagaimana ini mungkin, saya akan menjelaskan penelitian disertasi saya pada keberhasilan dan kegagalan produk budaya. Contoh ini juga menunjukkan bahwa nol variabel data biaya bukan hanya tentang melakukan hal-hal yang lebih murah. Sebaliknya, ini adalah tentang memungkinkan eksperimen yang tidak akan mungkin sebaliknya.

disertasi saya didorong oleh sifat membingungkan kesuksesan produk budaya. lagu hit, terbaik menjual buku-buku, dan film blockbuster jauh, jauh lebih sukses daripada rata-rata. Karena itu, pasar untuk produk ini sering disebut "pemenang mengambil semua" pasar. Namun, pada saat yang sama, yang lagu tertentu, buku, atau film akan menjadi sukses adalah sangat tak terduga. Penulis skenario William Goldman (1989) elegan menyimpulkan banyak penelitian akademik dengan mengatakan bahwa, ketika datang ke memprediksi kesuksesan, "tidak ada yang tahu apa-apa." The ketidakpastian pemenang mengambil semua pasar membuat saya bertanya-tanya berapa banyak kesuksesan adalah hasil kualitas dan berapa banyak hanya keberuntungan. Atau, menyatakan sedikit berbeda, jika kita bisa menciptakan dunia paralel dan memiliki mereka semua berevolusi secara independen, akan lagu-lagu yang sama menjadi populer di dunia masing-masing? Dan, jika tidak, apa yang mungkin menjadi mekanisme yang menyebabkan perbedaan ini?

Untuk menjawab pertanyaan ini, kita-Peter Dodds, Duncan Watts (saya disertasi penasihat), dan I-berlari serangkaian percobaan lapangan secara online. Secara khusus, kami membangun sebuah situs web disebut MusicLab di mana orang bisa menemukan musik baru, dan kami menggunakannya untuk serangkaian percobaan. Kami merekrut peserta dengan menjalankan iklan banner di situs remaja-bunga (Gambar 4.19) dan melalui menyebutkan di media. Peserta tiba di website yang disediakan informed consent kami, menyelesaikan kuesioner latar belakang singkat, dan secara acak ditugaskan untuk salah satu dari pengaruh dua percobaan kondisi-independen dan sosial. Dalam kondisi independen, peserta membuat keputusan tentang lagu untuk mendengarkan, mengingat hanya nama-nama band dan lagu-lagu. Saat mendengarkan lagu, peserta diminta untuk menilai itu setelah mereka memiliki kesempatan (namun bukan kewajiban) untuk men-download lagu. Dalam kondisi pengaruh sosial, peserta memiliki pengalaman yang sama, kecuali mereka juga bisa melihat berapa kali setiap lagu telah diunduh oleh peserta sebelumnya. Selanjutnya, peserta dalam kondisi pengaruh sosial secara acak ditugaskan untuk salah satu dari delapan dunia paralel yang masing-masing berevolusi secara independen (Gambar 4.20). Menggunakan desain ini, kami berlari dua percobaan terkait. Pada bagian pertama, kita disajikan peserta lagu di grid disortir, yang memberikan mereka sinyal lemah popularitas. Dalam percobaan kedua, kami mempresentasikan lagu dalam daftar peringkat, yang memberikan sinyal lebih kuat dari popularitas (Gambar 4.21).

Gambar 4.19: Contoh iklan banner yang rekan-rekan saya dan saya digunakan untuk merekrut peserta untuk percobaan MusicLab (Salganik, Dodds, and Watts 2006) .

Gambar 4.20: desain eksperimental untuk percobaan MusicLab (Salganik, Dodds, and Watts 2006) . Peserta secara acak ke dalam salah satu dari dua kondisi: pengaruh independen dan sosial. Peserta dalam kondisi independen membuat pilihan mereka tanpa informasi apapun tentang apa yang telah dilakukan orang lain. Peserta dalam kondisi pengaruh sosial secara acak ke dalam salah satu dari delapan dunia paralel, di mana mereka bisa melihat popularitas-sebagai diukur dengan download dari peserta-of sebelumnya setiap lagu dalam dunia mereka, tetapi mereka tidak bisa melihat informasi apapun, juga tidak mereka bahkan tahu tentang keberadaan, salah satu dunia lain.

Kami menemukan bahwa popularitas lagu-lagu berbeda di seluruh dunia menunjukkan peran penting keberuntungan. Misalnya, dalam satu dunia lagu "Lockdown" oleh 52Metro datang 1, dan di dunia lain itu datang di 40 dari 48 lagu. Ini adalah persis lagu yang sama bersaing semua lagu yang sama, tapi di satu dunia itu beruntung dan di lain itu tidak. Selanjutnya, dengan membandingkan hasil di dua percobaan kami menemukan bahwa pengaruh sosial mengarah ke lebih sukses tidak sama, yang mungkin menciptakan penampilan prediktabilitas. Tapi, mencari di dunia (yang tidak dapat dilakukan di luar semacam ini dunia percobaan paralel), kami menemukan bahwa pengaruh sosial benar-benar meningkatkan ketidakpastian tersebut. Selanjutnya, mengejutkan, itu adalah lagu banding tertinggi yang memiliki hasil yang paling tak terduga (Gambar 4.22).

Gambar 4.21: Screenshots dari kondisi pengaruh sosial dalam percobaan MusicLab (Salganik, Dodds, and Watts 2006) . Dalam pengaruh kondisi sosial dalam percobaan 1, lagu-lagu, bersama dengan jumlah download sebelumnya, disajikan kepada para peserta diatur dalam 16 X 3 kotak persegi panjang, di mana posisi dari lagu-lagu secara acak ditugaskan untuk setiap peserta. Dalam percobaan 2, peserta dalam kondisi pengaruh sosial menunjukkan lagu-lagu, dengan jumlah unduhan, yang disajikan dalam satu kolom di urutan popularitas saat ini.

Gambar 4.22: Hasil dari percobaan MusicLab menunjukkan hubungan antara daya tarik dan keberhasilan (Salganik, Dodds, and Watts 2006) . Sumbu x adalah pangsa pasar dari lagu di dunia yang independen, yang berfungsi sebagai ukuran dari daya tarik lagu, dan sumbu y adalah pangsa pasar dari lagu yang sama di 8 pengaruh dunia sosial, yang melayani sebagai ukuran keberhasilan lagu. Kami menemukan bahwa peningkatan pengaruh sosial yang peserta mengalami-khusus, perubahan tata letak dari percobaan 1 bereksperimen 2 (Gambar 4.21) -caused sukses untuk menjadi lebih tak terduga, terutama untuk lagu banding tertinggi.

MusicLab mampu berjalan pada dasarnya nol biaya variabel karena cara bahwa itu dirancang. Pertama, semuanya sepenuhnya otomatis sehingga mampu berjalan sementara aku sedang tidur. Kedua, kompensasi itu musik gratis sehingga tidak ada biaya kompensasi peserta variabel. Penggunaan musik sebagai kompensasi juga menggambarkan bagaimana kadang-kadang ada trade-off antara biaya tetap dan biaya variabel. Menggunakan musik meningkatkan biaya tetap karena saya harus menghabiskan waktu mengamankan izin dari band dan mempersiapkan laporan untuk band tentang reaksi peserta musik mereka. Tapi, dalam hal ini, peningkatan biaya tetap dalam rangka mengurangi biaya variabel adalah hal yang benar untuk dilakukan; itulah yang memungkinkan kita untuk menjalankan eksperimen itu sekitar 100 kali lebih besar dari percobaan laboratorium standar.

Selanjutnya, percobaan MusicLab menunjukkan bahwa nol biaya variabel tidak harus menjadi tujuan itu sendiri; bukan, itu dapat menjadi sarana untuk menjalankan jenis baru percobaan. Perhatikan bahwa kita tidak menggunakan semua peserta untuk menjalankan standar pengaruh sosial lab percobaan 100 kali. Sebaliknya, kami melakukan sesuatu yang berbeda, yang Anda bisa memikirkan beralih dari eksperimen psikologis untuk percobaan sosiologis (Hedström 2006) . Daripada berfokus pada individu pengambilan keputusan, kami fokus percobaan kami pada popularitas, hasil kolektif. switch ini untuk hasil kolektif berarti bahwa kita diperlukan sekitar 700 peserta untuk menghasilkan titik data tunggal (ada 700 orang di masing-masing dunia paralel). skala itu hanya mungkin karena struktur biaya percobaan. Secara umum, jika peneliti ingin mempelajari bagaimana hasil kolektif muncul dari keputusan individu, percobaan kelompok seperti MusicLab sangat menarik. Di masa lalu, mereka telah logistik sulit, tetapi mereka kesulitan memudar karena kemungkinan nol data biaya variabel.

Selain menggambarkan manfaat nol data biaya variabel, percobaan MusicLab juga menunjukkan tantangan dengan pendekatan ini: biaya tetap tinggi. Dalam kasus saya, saya sangat beruntung bisa bekerja dengan pengembang web berbakat bernama Peter Hausel selama sekitar enam bulan untuk membangun percobaan. Ini hanya mungkin karena penasihat saya, Duncan Watts, telah menerima sejumlah hibah untuk mendukung jenis penelitian. Teknologi telah membaik sejak kami membangun MusicLab pada tahun 2004, dan itu akan menjadi jauh lebih mudah untuk membangun sebuah eksperimen seperti ini sekarang. Tapi, strategi biaya tetap tinggi benar-benar hanya mungkin bagi para peneliti yang entah bagaimana bisa menutupi biaya tersebut.

Kesimpulannya, percobaan digital dapat memiliki struktur biaya secara dramatis berbeda dari eksperimen analog. Jika Anda ingin menjalankan percobaan benar-benar besar, Anda harus mencoba untuk menurunkan biaya variabel Anda sebanyak mungkin dan idealnya semua jalan ke 0. Anda dapat melakukan ini dengan mengotomatisasi mekanisme percobaan (misalnya, mengganti waktu manusia dengan waktu komputer) dan merancang eksperimen yang orang ingin berada di. peneliti yang dapat merancang eksperimen dengan fitur ini akan dapat menjalankan jenis baru dari eksperimen yang tidak mungkin di masa lalu.