4.3 Два вимірювання експериментів: лабораторного поля і аналого-цифрові
Лабораторні експерименти пропонують контроль, польові експерименти пропонують реалізм, і експерименти цифрові поля поєднують контроль і реалізм в масштабі.
Експерименти надходять різноманітними формами та розмірами. У минулому дослідники виявили корисним проведення експериментів по континууму між лабораторними експериментами та польовими експериментами . Однак, тепер дослідники також повинні організувати експерименти по другому континууму між аналоговими експериментами та цифровими експериментами . Це двовимірне дизайнерське приміщення допоможе вам зрозуміти сильні та слабкі сторони різних підходів та виділити сфери, що мають найбільшу можливість (рис. 4.1).
Рисунок 4.1: Схема проектного простору для експериментів. У минулому експерименти змінювалися вздовж виміру лабораторного поля. Тепер вони також варіюються в аналого-цифровому вимірі. Цей двовимірний простір дизайну ілюструється чотирма експериментами, які я описую в цьому розділі. На мій погляд, область найбільших можливостей - це цифрові польові експерименти.
Одне вимірювання, за яким можна організувати експерименти, - це вимірювання лабораторного поля. Багато експериментів у соціальних науках - це лабораторні експерименти, в яких студенти-студенти виконують дивні завдання в лабораторії для курсової підготовки. Цей тип експерименту домінує досліджень у галузі психології, оскільки дозволяє дослідникам створювати висококонтрольовані параметри, щоб точно виділити і протестувати певні теорії про соціальну поведінку. Проте, для деяких проблем, щось відчуває себе дещо дивно, роблячи сильні висновки про поведінку людини від таких незвичайних людей, які виконують такі незвичайні завдання в такому незвичайному середовищі. Ці занепокоєння призвели до руху до польових експериментів . Польові експерименти об'єднують сильний дизайн рандомізованих контрольних експериментів з більш представницькими групами учасників, які виконують більш поширені завдання в більш природних умовах.
Хоча деякі люди думають про лабораторні та польові експерименти як конкуруючі методи, краще думати про них як до додаткових, з різними сильними та слабкими сторонами. Наприклад, Correll, Benard, and Paik (2007) використовували як лабораторний експеримент, так і польовий експеримент, намагаючись знайти джерела "кари материнства". У Сполучених Штатах матері отримують менше грошей, ніж бездітні жінки, навіть коли порівнюючи жінок з подібними навичками, що працюють на подібних роботах. Є багато можливих пояснень для цієї моделі, одним з яких є те, що роботодавці упереджені проти матерів. (Цікаво, що навпаки, це справедливо для батьків: вони, як правило, заробляють більше, ніж порівнювані бездітні чоловіки.) Щоб оцінити можливий упередження щодо матерів, Коррел та його колеги провели два експерименти: один в лабораторії та один у полі.
По-перше, в лабораторному експерименті вони розповіли учасникам, які були студентами коледжу, що компанія проводить пошук роботи для людини, щоб очолити свій новий відділ маркетингу у Східному узбережжі. Студенти сказали, що компанія хотіла б отримати допомогу в процесі найму, і їм було запропоновано переглянути резюме деяких потенційних кандидатів та оцінити кандидатів у багатьох аспектах, таких як їх розум, тепло та готовність працювати. Крім того, студентам запитували, чи вони рекомендують найняти заявника і що вони будуть рекомендувати як початкову зарплату. Проте студентам невідомо, що резюме були спеціально сконструйовані, щоб бути подібними за винятком одного: деякі з них сигналізували про материнство (шляхом включення до участі в асоціації батьків-педагогів), а деякі - ні. Коррел та його колеги виявили, що студенти менш схильні рекомендувати найму матерів і пропонують їм нижчу початкову зарплату. Крім того, за допомогою статистичного аналізу як рейтингів, так і рішень, пов'язаних з наймом, Коррелл та його колеги виявили, що недоліки матерів багато в чому пояснюються тим фактом, що їх оцінка була меншою з точки зору компетенції та зобов'язань. Таким чином, цей лабораторний експеримент дозволив Корреллу та його колегам виміряти причинний ефект і забезпечити можливе пояснення цього ефекту.
Звичайно, можна скептично ставитись до висновків про весь ринок праці США, виходячи з рішень кількох сотень студентів, які, мабуть, ніколи не мали повної зайнятості, не кажучи вже про найманого когось. Тому Коррелл та його колеги також провели додатковий польовий експеримент. Вони відповіли на сотні рекламованих вакансій з підробленими супровідними листами та резюме. Подібно до матеріалів, показаних студентам, деякі з них свідчать про материнство, а деякі - ні. Коррел та його колеги виявили, що мами менш імовірно, що вони отримають інтерв'ю, а не кваліфіковані бездітні жінки. Інакше кажучи, реальні роботодавці, які приймають послідовні рішення в природному середовищі, поводилися так само, як і студенти. Чи приймали вони аналогічні рішення з тієї ж причини? На жаль, ми не знаємо. Дослідники не змогли попросити роботодавців оцінювати кандидатів або пояснювати свої рішення.
Ця пара експериментів багато показує про лабораторні та польові експерименти в цілому. Лабораторні експерименти пропонують дослідникам майже загальний контроль над середовищем, в якому учасники приймають рішення. Так, наприклад, в лабораторному експерименті Коррелл та його колеги змогли забезпечити, щоб усі резюме були прочитані в тихому середовищі; в польовому експерименті деякі з резюме можуть навіть не читатися. Крім того, оскільки учасники лабораторії знають, що вони вивчаються, дослідники часто можуть збирати додаткові дані, які можуть допомогти пояснити, чому учасники приймають рішення. Наприклад, Коррел та його колеги попросили учасників лабораторного експерименту оцінити кандидатів у різних аспектах. Такі дані процесу можуть допомогти дослідникам зрозуміти механізми відмінностей у тому, як учасники розглядають резюме.
З іншого боку, ці точні характеристики, які я щойно описав як переваги, також іноді вважаються недоліками. Дослідники, які віддають перевагу польові експерименти, стверджують, що учасники лабораторних експериментів можуть діяти дуже по-різному, оскільки вони знають, що вони вивчаються. Наприклад, в лабораторному експерименті учасники, можливо, вгадали мету дослідження та змінили свою поведінку, щоб не виглядати упереджено. Крім того, дослідники, які віддають перевагу польові експерименти, можуть стверджувати, що невеликі відмінності в резюме можуть виділятися лише в дуже чистому, стерильному лабораторному середовищі, і, таким чином, лабораторний експеримент переоцінює ефект материнства на реальних рішеннях щодо найму. Нарешті, багато прихильників польових експериментів критикують ставлення лабораторних експериментів до учасників WEIRD: головним чином студентам із західних, освічених, промислово розвинених, багатих і демократичних країн (Henrich, Heine, and Norenzayan 2010a) . Експерименти Коррелла та його колег (2007) ілюструють дві крайності континууму лабораторного поля. Між цими двома крайнощами існує також різноманітність гібридних конструкцій, включаючи такі підходи, як залучення студентів до лабораторії або виходу на поле, але все ще учасники виконують незвичайне завдання.
На додаток до того, що в минулому існувало вимірювання лабораторного поля, цифрова епоха означає, що у дослідників зараз є другий основний вимір, за яким експерименти можуть змінюватися: аналого-цифровий. Так само, як є чисті лабораторні експерименти, чисті польові експерименти та різноманітні гібриди, між ними існують чисті аналогові експерименти, чисті цифрові експерименти та різні гібриди. Це складно запропонувати формальне визначення цього виміру, але корисним робочим визначенням є те, що цілком цифрові експерименти є експериментами, які використовують цифрову інфраструктуру для набору учасників, рандомізації, доставки лікування та оцінки результатів. Наприклад, дослідження від "Барнарстарс" та "Вікіпедія" від Restivo і van de Rijt (2012) - це повністю цифровий експеримент, оскільки він використовував цифрові системи для всіх чотирьох цих кроків. Аналогічно, повністю аналогічні експерименти не використовують цифрову інфраструктуру для будь-якого з цих чотирьох кроків. Багато хто з класичних психологічних експериментів є цілком аналоговими експериментами. Між цими двома крайнощами є частково цифрові експерименти, які використовують комбінацію аналогових та цифрових систем.
Коли хтось думає про цифрові експерименти, вони одразу починають думати про онлайн експерименти. Це невдало, оскільки можливості запускати цифрові експерименти відбуваються не просто в Інтернеті. Дослідники можуть запускати частково цифрові експерименти, використовуючи цифрові пристрої у фізичному світі, щоб доставити лікування або оцінити результати. Наприклад, дослідники можуть використовувати смартфони для доставки обробки або датчиків у вбудованому середовищі для вимірювання результатів. Фактично, як ми побачимо пізніше в цій главі, дослідники вже використали вимірювальні прилади для вимірювання потужності для вимірювання результатів експериментів щодо споживання енергії, що включає 8,5 мільйонів домогосподарств (Allcott 2015) . Оскільки цифрові пристрої стають все більш інтегрованими в життя людей, а сенсори інтегруються у вбудоване середовище, ці можливості для запуску частково цифрових експериментів у фізичному світі різко зростуть. Іншими словами, цифрові експерименти - це не просто онлайн-експерименти.
Цифрові системи створюють нові можливості для експериментів всюди уздовж ланцюгового континууму. Наприклад, у чистих лабораторних експериментах дослідники можуть використовувати цифрові системи для точного вимірювання поведінки учасників; Одним із прикладів такого виду поліпшеного вимірювання є обладнання для спостереження за головою, яке забезпечує точні та безперервні вимірювання місцезнаходження погляду. Епоха цифр також створює можливість проведення лабораторних експериментів в Інтернеті. Наприклад, дослідники швидко прийняли Amazon Mechanical Turk (MTurk) для набору учасників для онлайнових експериментів (рис 4.2). MTurk відповідає "роботодавцям", які мають завдання, які необхідно виконати з "працівниками", які бажають виконати ці завдання за гроші. Проте, на відміну від традиційних ринків праці, заплановані завдання зазвичай вимагають лише декілька хвилин, а взаємодія між роботодавцем і працівником здійснюється в режимі онлайн. Оскільки MTurk імітує аспекти традиційних лабораторних експериментів, що платять людям для виконання завдань, які вони не будуть робити безкоштовно, це, природно, підходить для певних типів експериментів. По суті, компанія MTurk створила інфраструктуру для управління пулом учасників - підбору та планування людей, а дослідники скористалися цією інфраструктурою, щоб задіяти наявний пул учасників.
Малюнок 4.2: Статті опубліковані з використанням даних Amazon Mechanical Turk (MTurk). MTurk та інші онлайнові ринки праці пропонують дослідникам зручний спосіб залучити учасників до експериментів. Адаптований з Bohannon (2016) .
Цифрові системи створюють ще більше можливостей для польових експериментів. Зокрема, вони дозволяють дослідникам поєднувати в собі жорсткі контрольні та оброблювальні дані, пов'язані з лабораторними експериментами з більш різноманітними учасниками та більш природними налаштуваннями, пов'язаними з лабораторними експериментами. Крім того, у цифрових польових експериментах також пропонуються три можливості, які в аналогічних експериментах виявилися складними.
По-перше, оскільки більшість аналогових лабораторних і польових експериментів мають сотні учасників, цифрові польові експерименти можуть мати мільйони учасників. Ця зміна масштабу полягає в тому, що деякі цифрові експерименти можуть створювати дані за нульової змінної вартості. Тобто, коли дослідники створили експериментальну інфраструктуру, збільшення кількості учасників зазвичай не збільшує вартість. Збільшення кількості учасників у 100 разів і більше - це не лише кількісна зміна; це якісна зміна, оскільки вона дозволяє дослідникам вивчати різні речі від експериментів (наприклад, неоднорідність ефектів лікування) та запускати зовсім інші експериментальні конструкції (наприклад, експерименти великих груп). Цей пункт настільки важливий, що я повернуся до нього до кінця розділу, коли я пропоную пораду щодо створення цифрових експериментів.
По-друге, тоді як більшість аналогових лабораторних та польових експериментів ставлять учасників до невід'ємних віджетів, цифрові польові експерименти часто використовують довідкову інформацію про учасників етапів проектування та аналізу. Ця довідкова інформація, яка називається інформацією про початкову обробку , часто доступна в цифрових експериментах, оскільки вони працюють над системою постійного вимірювання (див. Розділ 2). Наприклад, дослідник у Facebook має набагато більше інформації про попереднє лікування людей у своєму експерименті з цифрового поля, ніж дослідник університету, про людей у своєму аналоговому польовому експерименті. Ця попередня обробка забезпечує більш ефективні експериментальні проекти, такі як блокування (Higgins, Sävje, and Sekhon 2016) та цілеспрямоване підбір учасників (Eckles, Kizilcec, and Bakshy 2016) та більш глибокий аналіз, такий як оцінка неоднорідності ефектів лікування (Athey and Imbens 2016a) та коваріатуру для покращення точності (Bloniarz et al. 2016) .
По-третє, тоді як багато аналогових лабораторних і польових експериментів забезпечують лікування та вимірювання результатів у відносно стиснутому періоді часу, деякі цифрові польові експерименти проходять надзвичайно довгими періодами. Наприклад, досвід експерименту Рестіво та ван де Рієта вимірювався щодня протягом 90 днів, і в одному з експериментів я розповім вам про це в розділі (Ferraro, Miranda, and Price 2011) відстежували результати протягом трьох років, в основному ні вартість Ці три варіанти можливостей, попередня обробка інформації, а також дані про довготривалу обробку та результати даних виникають найчастіше, коли експерименти виконуються поверх завжди-на вимірювальних систем (див. Розділ 2 для більш докладних відомостей про завжди вимірювальні системи).
Хоча цифрові польові експерименти пропонують багато можливостей, вони також мають деякі слабкі сторони як аналогових лабораторій, так і аналогових польових експериментів. Наприклад, експерименти не можуть бути використані для вивчення минулого, і вони можуть тільки оцінити ефекти лікування, які можна маніпулювати. Крім того, хоча експерименти, безсумнівно, корисні для керівництва політикою, точні вказівки, які вони можуть запропонувати, дещо обмежені через ускладнення, такі як залежність від навколишнього середовища, проблеми дотримання та рівноваги (Banerjee and Duflo 2009; Deaton 2010) . Цифрові польові експерименти також збільшують етичні проблеми, створені польовими експериментами, тема, яку я розглянув пізніше в цьому розділі та в главі 6.
