4.6.1 Tạo zero dữ liệu chi phí biến đổi

Chìa khóa để chạy các thử nghiệm lớn là lái xe chi phí biến đổi của bạn không. Những cách tốt nhất để làm điều này là tự động hóa và thiết kế thí nghiệm thú vị.

thí nghiệm kỹ thuật số có thể có cấu trúc chi phí đáng kể khác nhau và điều này cho phép các nhà nghiên cứu để chạy thí nghiệm là không thể trong quá khứ. Cụ thể hơn, các thí nghiệm thường có hai loại chính của chi phí:. Chi phí cố định và chi phí biến đổi chi phí cố định là những chi phí không thay đổi tùy thuộc vào có bao nhiêu người tham gia mà bạn có. Ví dụ, trong một thí nghiệm trong phòng thí nghiệm, chi phí cố định có thể là chi phí thuê không gian và mua đồ nội thất. Các chi phí khác, mặt khác, thay đổi tùy thuộc vào có bao nhiêu người tham gia mà bạn có. Ví dụ, trong một thí nghiệm trong phòng thí nghiệm, chi phí biến đổi có thể đến từ trả tiền nhân viên và những người tham gia. Nói chung, các thí nghiệm tương tự có chi phí cố định thấp và chi phí biến đổi cao, và các thí nghiệm kỹ thuật số có chi phí cố định cao và chi phí biến đổi thấp (Hình 4.18). Với thiết kế phù hợp, bạn có thể lái xe chi phí biến đổi của thử nghiệm của bạn tất cả các cách để không, và điều này có thể tạo ra các cơ hội nghiên cứu thú vị.

Hình 4.18: Sơ đồ cơ cấu chi phí trong các thí nghiệm tương tự và số. Nói chung, các thí nghiệm tương tự có chi phí cố định thấp và chi phí biến đổi cao, trong khi các thí nghiệm kỹ thuật số có chi phí cố định cao và chi phí biến đổi thấp. Các cấu trúc chi phí khác nhau có nghĩa là các thí nghiệm kỹ thuật số có thể chạy ở quy mô đó là không thể với các thí nghiệm tương tự.

Có hai yếu tố chính của biến chi phí thanh toán cho nhân viên và thanh toán cho người tham gia và mỗi người trong số này có thể được điều khiển để không sử dụng các chiến lược khác nhau. Thanh toán cho nhân viên gốc từ công việc mà trợ lý nghiên cứu làm việc tuyển sinh, cung cấp phương pháp điều trị, và đo lường kết quả. Ví dụ, thí nghiệm lĩnh vực tương tự của Schultz và đồng nghiệp (2007) về chuẩn mực xã hội và sử dụng điện trợ lý nghiên cứu cần thiết để đi đến từng nhà để cung cấp việc điều trị và đọc đồng hồ đo điện (Hình 4.3). Tất cả những nỗ lực này bằng cách trợ lý nghiên cứu có nghĩa là thêm một gia đình mới để nghiên cứu sẽ có thêm chi phí. Mặt khác, đối với các thí nghiệm lĩnh vực kỹ thuật số của Restivo và van de Rijt (2012) khen thưởng trong Wikipedia, các nhà nghiên cứu có thể thêm nhiều người tham gia hầu như không có chi phí. Một chiến lược chung để giảm chi phí hành chính biến là để thay thế công việc của con người (mà là tốn kém) với máy tính làm việc (mà là giá rẻ). Khoảng, bạn có thể tự hỏi mình: thí nghiệm này có thể chạy trong khi tất cả mọi người trong nhóm nghiên cứu của tôi đang ngủ? Nếu câu trả lời là có, bạn đã thực hiện một công việc tuyệt vời của tự động hóa.

Các loại chính thứ hai của chi phí biến đổi là chi trả cho người tham gia. Một số nhà nghiên cứu đã sử dụng Amazon Mechanical Turk và thị trường lao động trực tuyến khác để giảm các khoản thanh toán cần thiết cho người tham gia. Để lái xe chi phí biến đổi tất cả các cách để không, tuy nhiên, một cách tiếp cận khác nhau là cần thiết. Trong một thời gian dài, các nhà nghiên cứu đã thiết kế các thí nghiệm được rất nhàm chán họ phải trả tiền cho người tham gia. Nhưng, nếu bạn có thể tạo một thử nghiệm mà mọi người muốn được ở? Điều này nghe có vẻ xa vời, nhưng tôi sẽ cho bạn một ví dụ dưới đây từ công việc của tôi, và có rất nhiều ví dụ trong Bảng 4.4. Lưu ý rằng phương pháp này để thiết kế các thí nghiệm thú vị vang một số các chủ đề trong Chương 3 về thiết kế khảo sát thú vị hơn và trong Chương 5 về thiết kế của sự hợp tác đại chúng. Vì vậy, tôi nghĩ rằng người tham gia hưởng thụ-gì cũng có thể được gọi là người dùng kinh nghiệm sẽ là một phần quan trọng của thiết kế nghiên cứu trong thời đại kỹ thuật số.

Nếu bạn muốn tạo không biến thí nghiệm chi phí bạn sẽ muốn đảm bảo rằng mọi thứ được hoàn toàn tự động và những người tham gia không yêu cầu bất kỳ khoản thanh toán. Để hiển thị cách này là có thể, tôi sẽ mô tả nghiên cứu luận án của tôi về sự thành công và thất bại của các sản phẩm văn hoá. Ví dụ này cũng cho thấy rằng không chi phí biến đổi dữ liệu không chỉ là về làm việc rẻ hơn. Thay vào đó, nó là về tạo điều kiện cho các thí nghiệm không thể khác.

luận án của tôi đã được thúc đẩy bởi tính chất khó hiểu của sự thành công cho sản phẩm văn hoá. bài hát hit, bán chạy nhất cuốn sách và phim bom tấn là nhiều, nhiều hơn thành công hơn so với trung bình. Bởi vì điều này, các thị trường cho các sản phẩm này thường được gọi là "người thắng được tất cả" thị trường. Tuy nhiên, cùng một lúc, mà bài hát cụ thể, cuốn sách, hoặc bộ phim sẽ trở nên thành công là vô cùng khó lường. Các kịch William Goldman (1989) thanh lịch tóm tắt rất nhiều nghiên cứu khoa học bằng cách nói rằng, khi nói đến việc dự đoán sự thành công ", không ai biết bất cứ điều gì." Sự không đoán trước của người thắng được tất cả các thị trường đã khiến tôi tự hỏi có bao nhiêu thành công là một kết quả chất lượng và bao nhiêu chỉ là may mắn. Hoặc, thể hiện hơi khác nhau, nếu chúng ta có thể tạo ra những thế giới song song và tất cả đều tiến hóa độc lập, các bài hát cùng sẽ trở thành phổ biến ở mỗi thế giới? Và, nếu không, những gì có thể là một cơ chế mà gây ra những sự khác biệt?

Để trả lời những câu hỏi này, chúng tôi-Peter Dodds, Duncan Watts (cố vấn luận án của tôi), và I-chạy một loạt các thí nghiệm trực tuyến. Đặc biệt, chúng tôi xây dựng một trang web được gọi MusicLab nơi mọi người có thể khám phá âm nhạc mới, và chúng tôi sử dụng nó cho một loạt các thí nghiệm. Chúng tôi tuyển chọn người tham gia bằng cách chạy các banner quảng cáo trên một trang web tuổi teen quan tâm (Hình 4.19) và thông qua đề cập đến trong các phương tiện truyền thông. Những người tham gia đến tại trang web cung cấp sự đồng ý của chúng tôi, hoàn thành một bảng câu hỏi nền ngắn, và được phân ngẫu nhiên vào một trong những ảnh hưởng của hai thí nghiệm các điều kiện độc lập và xã hội. Trong điều kiện độc lập, tham gia thực hiện các quyết định về những bài hát để nghe, nhất định chỉ có tên của các ban nhạc và các bài hát. Trong khi lắng nghe một bài hát, người tham gia được yêu cầu đánh giá nó sau đó họ đã có cơ hội (nhưng không phải là nghĩa vụ) để tải bài hát. Trong điều kiện ảnh hưởng xã hội, các đại biểu đã có những kinh nghiệm tương tự, ngoại trừ họ cũng có thể xem bao nhiêu lần mỗi bài hát đã được tải về bởi người tham gia trước đó. Hơn nữa, những người tham gia trong điều kiện ảnh hưởng xã hội được phân ngẫu nhiên vào một trong tám thế giới song song mỗi trong số đó tiến hóa độc lập (Hình 4.20). Sử dụng thiết kế này, chúng tôi chạy hai thí nghiệm liên quan. Trong lần đầu tiên, chúng tôi trình bày tham gia các bài hát trong một lưới điện không được phân loại, trong đó cung cấp cho họ một tín hiệu yếu của sự nổi tiếng. Trong thí nghiệm thứ hai, chúng tôi trình bày các bài hát trong danh sách xếp hạng, trong đó cung cấp một tín hiệu mạnh mẽ hơn của sự nổi tiếng (Hình 4.21).

Hình 4.19: Ví dụ về quảng cáo banner mà các đồng nghiệp của tôi và tôi đã sử dụng để tuyển dụng người tham gia thí nghiệm MusicLab (Salganik, Dodds, and Watts 2006) .

Hình 4.20: Thiết kế thí nghiệm cho các thí nghiệm MusicLab (Salganik, Dodds, and Watts 2006) . Những người tham gia được phân ngẫu nhiên vào một trong hai điều kiện: ảnh hưởng độc lập và xã hội. Những người tham gia trong điều kiện độc lập thực hiện sự lựa chọn của họ mà không cần bất kỳ thông tin về những gì người khác đã làm. Những người tham gia trong điều kiện ảnh hưởng xã hội được phân ngẫu nhiên vào một trong tám thế giới song song, nơi mà họ có thể thấy sự phổ biến-được đo bằng tải của người tham gia, trong trước mỗi bài hát trong thế giới của họ, nhưng họ không thể nhìn thấy bất kỳ thông tin, họ cũng không thậm chí biết về sự tồn tại của bất kỳ của các thế giới khác.

Chúng tôi thấy rằng sự phổ biến của các bài hát khác nhau trên khắp thế giới cho thấy vai trò quan trọng của may mắn. Ví dụ, trong một thế giới ca khúc "Lockdown" của 52Metro đến trong 1, và ở một thế giới khác nó đến trong lần thứ 40 trong số 48 bài hát. Đây chính xác là cùng một bài hát cạnh tranh với tất cả các bài hát giống nhau, nhưng trong một thế giới nó đã may mắn và những người khác nó không. Hơn nữa, bằng cách so sánh kết quả giữa hai thí nghiệm, chúng tôi thấy rằng ảnh hưởng của xã hội dẫn đến thành công không đồng đều hơn, mà có lẽ tạo ra sự xuất hiện của khả năng dự báo. Nhưng, nhìn trên thế giới (trong đó có thể không được thực hiện bên ngoài của loại thí nghiệm thế giới song song), chúng tôi thấy rằng ảnh hưởng của xã hội thực sự gia tăng không thể tiên đoán. Hơn nữa, đáng ngạc nhiên, đó là những bài hát của sức hấp dẫn cao nhất mà có những kết quả khó lường nhất (Hình 4.22).

Hình 4.21: Ảnh chụp màn hình từ các điều kiện ảnh hưởng xã hội trong các thí nghiệm MusicLab (Salganik, Dodds, and Watts 2006) . Trong điều kiện ảnh hưởng xã hội trong thí nghiệm 1, các bài hát, cùng với số lượng tải về trước đó, đã được trao cho những người tham gia sắp xếp trong một lưới hình chữ nhật 16 X 3, nơi mà vị trí của các bài hát được phân ngẫu nhiên cho mỗi người tham gia. Trong thí nghiệm thứ 2, những người tham gia trong điều kiện ảnh hưởng xã hội được thể hiện các bài hát, có số lượng tải về, trình bày trong một cột theo thứ tự giảm dần phổ biến hiện nay.

Hình 4.22: Kết quả từ các thí nghiệm MusicLab thấy mối quan hệ giữa sức hấp dẫn và thành công (Salganik, Dodds, and Watts 2006) . Trục x là thị phần của bài hát trong thế giới độc lập, phục vụ như là một thước đo của sự hấp dẫn của bài hát, và trục y là thị phần của cùng một bài hát trong 8 thế giới ảnh hưởng xã hội, phục vụ là thước đo sự thành công của bài hát. Chúng tôi thấy rằng việc tăng ảnh hưởng xã hội mà người tham gia có kinh nghiệm, đặc biệt, sự thay đổi trong cách bố trí từ thí nghiệm 1 để thử nghiệm 2 (Hình 4.21) -caused thành công để trở thành không thể đoán trước, đặc biệt là cho những ca khúc hấp dẫn nhất.

MusicLab đã có thể chạy tại về cơ bản không có chi phí biến vì cách mà nó được thiết kế. Đầu tiên, tất cả mọi thứ đã được hoàn toàn tự động nên nó đã có thể chạy trong khi tôi đang ngủ. Thứ hai, việc bồi thường là âm nhạc miễn phí nên không có biến chi phí bồi thường tham gia. Việc sử dụng âm nhạc như bồi thường cũng minh họa cách đôi khi có một thương mại-off giữa chi phí cố định và chi phí biến đổi. Sử dụng âm nhạc làm tăng chi phí cố định vì tôi đã phải dành nhiều thời gian đảm bảo sự cho phép của ban nhạc và chuẩn bị các báo cáo cho ban nhạc về phản ứng của người tham gia để âm nhạc của họ. Nhưng, trong trường hợp này, tăng chi phí cố định để giảm chi phí biến là điều phải làm; đó là những gì cho phép chúng tôi chạy thử nghiệm lớn hơn một thí nghiệm trong phòng thí nghiệm tiêu chuẩn khoảng 100 lần.

Hơn nữa, các thí nghiệm MusicLab cho thấy không biến chi phí không phải là một kết thúc trong chính nó; đúng hơn, nó có thể là một phương tiện để chạy một loại mới của thí nghiệm. Chú ý rằng chúng tôi đã không sử dụng tất cả những người tham gia của chúng tôi để chạy một ảnh hưởng xã hội thí nghiệm trong phòng thí nghiệm tiêu chuẩn 100 lần. Thay vào đó, chúng tôi đã làm một cái gì đó khác nhau, bạn có thể nghĩ như chuyển đổi từ một thử nghiệm tâm lý để một thí nghiệm xã hội học (Hedström 2006) . Thay vì tập trung vào cá nhân ra quyết định, chúng tôi tập trung thử nghiệm trên phổ biến, một kết quả tập thể. Chuyển đổi này đến một kết quả tập thể có nghĩa là chúng ta cần khoảng 700 người tham gia để tạo ra một điểm dữ liệu đơn (đã có 700 người trong từng thế giới song song). quy mô mà chỉ có thể vì có cấu trúc chi phí của thí nghiệm. Nói chung, nếu các nhà nghiên cứu muốn tìm hiểu cách thức kết quả tập thể phát sinh từ các quyết định cá nhân, nhóm thí nghiệm như MusicLab là rất thú vị. Trong quá khứ, họ đã có hậu cần khó khăn, nhưng những khó khăn đang mờ dần vì khả năng của zero dữ liệu chi phí biến đổi.

Ngoài việc minh họa lợi ích của zero dữ liệu chi phí biến đổi, các thí nghiệm MusicLab cũng cho thấy một thách thức với cách tiếp cận này: chi phí cao cố định. Trong trường hợp của tôi, tôi đã rất may mắn để có thể làm việc với một nhà phát triển web tài năng mang tên Peter Hausel cho khoảng sáu tháng để xây dựng thí nghiệm. Điều này chỉ có thể vì cố vấn của tôi, Duncan Watts, đã nhận được một số khoản tài trợ để hỗ trợ loại nghiên cứu này. Công nghệ đã được cải thiện kể từ khi chúng tôi xây dựng MusicLab vào năm 2004, và nó sẽ được dễ dàng hơn nhiều để xây dựng một thí nghiệm như thế này bây giờ. Nhưng, chiến lược chi phí cố định cao thực sự chỉ có thể cho các nhà nghiên cứu người bằng cách nào đó có thể bao gồm những chi phí.

Trong kết luận, thí nghiệm kỹ thuật số có thể có cấu trúc chi phí đáng kể khác nhau hơn so với các thí nghiệm tương tự. Nếu bạn muốn chạy các thí nghiệm thực sự lớn, bạn nên cố gắng giảm chi phí biến đổi của bạn càng nhiều càng tốt và tốt nhất là tất cả các cách để 0. Bạn có thể làm điều này bằng cách tự động cơ học của thử nghiệm của bạn (ví dụ, thay thế thời gian của con người với máy tính thời gian) và thiết kế các thí nghiệm mà mọi người muốn ở trong. các nhà nghiên cứu người có thể thiết kế các thí nghiệm với các tính năng này sẽ có thể chạy các loại mới của thí nghiệm là không thể trong quá khứ.