4.3 Два вимірювання експериментів: лабораторного поля і аналого-цифрові

Лабораторні експерименти пропонують контроль, польові експерименти пропонують реалізм, і експерименти цифрові поля поєднують контроль і реалізм в масштабі.

Експерименти бувають різних форм і розмірів. Але, незважаючи на ці відмінності, дослідники виявили , що корисно організувати експерименти уздовж континууму між лабораторних експериментів і польових експериментів. Тепер, однак, дослідники повинні також організувати експерименти уздовж континууму між аналоговими і цифровими експериментами експериментів. Це двомірне простір проектування допоможе вам зрозуміти сильні і слабкі сторони різних підходів і запропонувати області найбільші можливості (Малюнок 4.1).

Малюнок 4.1: Схема дизайну простору для експериментів. У минулому експерименти варіювали по вимірюванню лабораторного поля. Тепер, вони також змінюються на аналого-цифровому вимірі. На мій погляд, область найбільшої можливістю є цифрові польові експерименти.

У минулому, головним чином, що дослідники організували експериментів по вимірюванню лабораторного поля. Більшість експериментів в соціальних науках є лабораторні експерименти , в яких студенти виконують дивні завдання в лабораторії для курсу кредиту. Цей тип експерименту домінує дослідження в області психології, оскільки вона дозволяє дослідникам створювати дуже специфічні процедури, розроблені для перевірки вельми специфічні теорії про соціальну поведінку. Для деяких проблем, однак, щось відчуває себе трохи дивно, про малювання сильні висновки про поведінку людини від таких незвичайних людей, що виконують такі незвичайні завдання в такій незвичній обстановці. Ці проблеми призвели до руху в напрямку польових експериментів. Польові експерименти поєднують в собі міцну конструкцію рандомізованих контрольних експериментів з більш репрезентативних груп учасників, виконуючи більш загальних задач, в більш природних умовах.

Хоча деякі люди думають, лабораторних і польових експериментів як конкуруючі методи, то краще думати про них як додаткові методи з різними сильними і слабкими сторонами. Наприклад, Correll, Benard, and Paik (2007) використовується як лабораторний експеримент і польовий експеримент в спробі знайти витоки "Материнство страти" . У Сполучених Штатах, матері заробляють менше грошей , ніж бездітні жінки, навіть якщо порівнюють жінки з подібними навичками, які працюють в аналогічних роботах. Є багато можливих пояснень цієї моделі, а також є те, що роботодавці налаштовані проти матерів. (Цікаво, що навпроти, здається, вірно для батьків: вони, як правило, заробляють більше, ніж зіставні бездітних чоловіків). Для того, щоб оцінити можливі відхилення від матерів, Коррелл і його колеги провів два експерименти: один в лабораторії і один в полі.

По-перше, в лабораторії експерименту Коррелл і його колеги розповіли учасникам, які були студентів коледжу, що в Каліфорнії старт-ап зв'язку компанія була створена проведення пошуку зайнятості для людини, щоб привести його новий відділ маркетингу Східного узбережжя. Студенти сказали, що компанія хотіла їх допомогу в процесі прийому на роботу і їм було запропоновано розглянути резюме декількох потенційних кандидатів і голосувати за кандидатів по ряду напрямків, таких як їх інтелект, тепло, і прихильність до роботи. Крім того, студенти запитали, чи були вони рекомендували б наймати заявника і що вони будуть рекомендувати в якості вихідного окладу. Непомітно для студентів, проте, резюме були спеціально побудовані, щоб бути схожими за винятком однієї речі: деякі з резюме сигналізував материнство (шляхом перерахування участь в батьківському асоціації), а деякі з них не зробив. Коррелл виявили, що студенти були менш схильні рекомендувати наймання матерів і запропонував їм більш низьку початкову зарплату. Крім того, за допомогою статистичного аналізу обох рейтингів і рішень, пов'язаних з наймом, Коррелл виявили, що недоліки матерів були в значній мірі пояснюється тим, що матері були віднесені до категорії нижче з точки зору компетентності та відданості справі. Іншими словами, Коррелл стверджує , що ці риси є механізмом , за допомогою якого матері перебувають в несприятливому становищі. Таким чином, ця лабораторія експеримент дозволив Correll і колегам, щоб виміряти причинно-наслідкового зв'язку та забезпечити можливе пояснення цього ефекту.

Звичайно, можна було б ставитися скептично робити висновки про цілий на ринку праці США на основі рішень кількох сотень студентів, які, ймовірно, ніколи мали повний робочий день, не кажучи вже найнятих людей. Тому Коррелл і його колеги також провели додатковий польовий експеримент. Дослідники відповіли на сотні рекламованих вакансій, відправивши в підроблених супровідних листів і резюме. Подібно матеріалами, поданими до магістрантів, деякі резюме сигналізував материнство і деякі з них не зробив. Коррелл і його колеги виявили, що матері було менше шансів отримати передзвонив для інтерв'ю, ніж в рівній мірі кваліфікованих бездітних жінок. Іншими словами, реальні роботодавці роблять випливають рішення в природному середовищі поводилися так само, як магістрантів. Можливо, вони роблять подібні рішення по тій же причині? На жаль, ми не знаємо. Дослідники не змогли попросити роботодавців оцінити кандидатів або пояснювати свої рішення.

Ця пара експериментів показує багато про лабораторних і польових експериментів в цілому. Лабораторні експерименти пропонують дослідників поблизу тотального контролю навколишнього середовища, в якій учасники приймають рішення. Так, наприклад, в лабораторних умовах експерименту, Коррелл вдалося забезпечити, щоб всі резюме були прочитані в спокійній обстановці; в експерименті поля, деякі з резюме, можливо, не були навіть читати. Крім того, оскільки учасники лабораторних знають, що вони вивчаються, дослідники часто в змозі зібрати додаткові дані, які можуть допомогти їм зрозуміти, чому учасники роблять свої рішення. Наприклад, Коррелл попросили учасників в лабораторії експерименту, щоб оцінити кандидатів на різні розміри. Такого роду дані процесу можуть допомогти вченим зрозуміти механізми , які стоять за відмінності в тому , як ставитися до учасників резюме.

З іншого боку, ці ті ж самі характеристики, які я тільки що описав, як переваги також іноді розглядаються недоліки. Дослідники, які віддають перевагу польові експерименти доводять, що учасники лабораторних експериментів можуть діяти зовсім по-іншому, коли вони пильно спостерігають. Наприклад, в лабораторії учасники експерименту могли здогадатися мети дослідження і змінили свою поведінку так, щоб не здаватися упередженим. Крім того, дослідники, які віддають перевагу польові експерименти могли б стверджувати, що невеликі відмінності на резюме може тільки виділитися в дуже чистою, стерильною лабораторному середовищі, і, таким чином, лабораторія експеримент буде переоцінювати вплив материнства на реальних наймом рішень. І, нарешті, багато прихильників польових експериментів критикують лабораторних експериментів залежність від Weird учасників: в основному студенти із Західної, освічені, Industrialized, багатий і демократичних країн (Henrich, Heine, and Norenzayan 2010) . Експерименти по Correll і його колеги (2007) ілюструють дві крайності на лабораторному поля континууму. У проміжку між цими двома крайностями існує безліч гібридних конструкцій, включаючи такі підходи, як в результаті чого неучащихся в лабораторію або йти в поле, але все ще мають учасники виконують незвичайне завдання.

На додаток до вимірювання лабораторного поля, який існував в минулому, цифровий вік означає, що дослідники тепер мають другий основний розмір, уздовж якого експерименти можуть варіюватися: аналого-цифрові. Так само, як є чисті лабораторні експерименти, експерименти чисті поля і безліч гібридів між ними, є чисто аналогові експерименти, чисті цифрові експерименти і різноманітність гібридів. Це складно запропонувати формальне визначення цього розміру, але корисне робоче визначення є те , що повністю цифрові експерименти експерименти , які використовують цифрову інфраструктуру для набору учасників, рандомізації, доставити лікування і оцінки результатів. Наприклад, Restivo і ван де Rijt - х (2012) дослідження barnstars і Wikipedia була повністю цифровий експеримент , тому що він використовував цифрові системи для всіх цих чотирьох кроків. Точно так же в повній мірі аналогові експерименти експерименти , які не використовують цифровий інфраструктури для будь-якого з цих чотирьох кроків. Багато з класичних експериментів в психології аналогові експерименти. У проміжку між цими двома крайностями існують частково цифрові експерименти , які використовують комбінацію аналогових і цифрових систем для чотирьох кроків.

Критично, можливості для запуску цифрових експериментів не тільки в Інтернеті. Дослідники можуть працювати частково цифрові експерименти з використанням цифрових пристроїв в фізичному світі для того, щоб доставити лікування або оцінки результатів. Наприклад, дослідники можуть використовувати смартфони для забезпечення лікування або датчиків в штучному середовищі для оцінки результатів. Насправді, як ми побачимо далі в цій главі, дослідники вже використовували метрів домашнього харчування для вимірювання результатів в експериментах по приводу соціальних норм і споживання енергії з участю 8,5 млн домогосподарств (Allcott 2015) . Оскільки цифрові пристрої стають все більш і більш інтегровані в життя людей і датчики інтегруватися в штучному середовищі, ці можливості для запуску частково цифрові експерименти в фізичному світі різко зросте. Іншими словами, цифрові експерименти не просто онлайн експериментів.

Цифрові системи створюють нові можливості для експериментів всюди вздовж лабораторного поля континууму. У чистих лабораторних експериментах, наприклад, дослідники можуть використовувати цифрові системи для вимірювання більш тонкого поведінки учасників; Одним із прикладів цього типу поліпшення вимірювання є очей відстеження обладнання, яке забезпечує точні і безперервні заходи погляду розташування. Цифровий століття також створює можливість для запуску лабораторії подібні експерименти в Інтернеті. Наприклад, дослідники швидко прийняті Amazon Mechanical Turk (MTurk) набрати учасників для онлайн-експериментів (Малюнок 4.2). MTurk відповідає "роботодавців", які мають завдання, які повинні бути завершені з "робочими", які хочуть, щоб завершити ці завдання за гроші. На відміну від традиційних ринків праці, однак, завдання, пов'язані, як правило, потрібно лише кілька хвилин, щоб закінчити і вся взаємодія між роботодавцем і працівником є ​​віртуальним. Оскільки MTurk наслідує аспекти традиційних лабораторних експериментів високооплачувану людей для виконання завдань, які вони не могли б зробити для вільного вона природним чином підходить для певних типів експериментів. По суті, MTurk створила інфраструктуру для управління пулом учасників-рекрутингу та виплати на людей і дослідники скористалися цією інфраструктури задіяти в завжди доступний пул учасників.

Малюнок 4.2: Статті , опубліковані з використанням даних від Amazon Механічний турок (MTurk) (Bohannon 2016) . MTurk і інших інтернет-ринків праці пропонують дослідникам зручний спосіб відбору учасників для експериментів.

Цифрові експерименти створюють ще більше можливостей для польових подібних експериментів. Експерименти Цифрові поля можуть запропонувати жорсткі дані управління і процесів, щоб зрозуміти можливі механізми (наприклад, лабораторних експериментів) і більш різноманітних учасників робить реальні рішення в природному середовищі (наприклад, польових експериментів). На додаток до цього поєднання хороших характеристик більш ранніх експериментів, експерименти цифрових області також пропонують три можливості, які було важко в аналогових лабораторних і польових експериментів.

По-перше, в той час як більшість аналогових лабораторних і польових експериментів сотні учасників, експерименти цифрові поля можуть мати мільйони учасників. Ця зміна в масштабі, тому що деякі цифрові експерименти можуть отримати дані за нульовою змінної вартості. Тобто, як тільки дослідники створили експериментальну інфраструктуру, збільшення кількості учасників, як правило, не призводить до збільшення вартості. Збільшення кількості учасників на коефіцієнт 100 або більше це не просто кількісне зміна, це якісна зміна, тому що вона дозволяє дослідникам вивчати різні речі з експериментів (наприклад, гетерогенність ефектів лікування) і запустити абсолютно різні експериментальні зразки ( наприклад, великі експерименти в групах). Цей момент настільки важливий, я повернуся до нього в кінці глави, коли я дати пораду про створення цифрових експериментів.

По-друге, в той час як більшість аналогових лабораторних і польових експериментах з ними поводяться, як невиразні віджети, експерименти цифрові поля часто використовують довідкову інформацію про учасників розробки і аналізу етапів дослідження. Ця довідкова інформація, яка називається інформація для попередньої обробки, часто доступні в цифрових експериментів , тому що вони мають місце в повністю вимірюваних середовищах. Наприклад, дослідник в Facebook має набагато більше інформації для попередньої обробки, ніж дослідник проектує стандартний лабораторний експеримент з магістрантами. Ця інформація попередня обробка дозволяє дослідникам вийти за рамки лікування учасників, відрізнити віджетів. Більш конкретно, інформація попередня обробка дозволяє здійснювати більш ефективні експериментальні проекти, такі як блокування (Higgins, Sävje, and Sekhon 2016) і цільовий набір учасників (Eckles, Kizilcec, and Bakshy 2016) -І багато іншого глибокий аналіз, такі як оцінка неоднорідності ефектів лікування (Athey and Imbens 2016a) і коваріатівних регулювання для підвищення точності (Bloniarz et al. 2016) і (Bloniarz et al. 2016) .

По-третє, в той час як багато лабораторій аналогових і польових експериментів забезпечують процедури і результати виміряти у відносно стислому кількість часу, деякі експерименти цифрові поля включають методи лікування, які можуть бути доставлені протягом довгого часу і ефекти можуть бути виміряні з плином часу. Наприклад, експеримент Restivo ван де Rijt має результат , який вимірюється щодня в протягом 90 днів, і один з експериментів , які я вам розповім пізніше в цій главі (Ferraro, Miranda, and Price 2011) відстежує результати в протягом 3 -х років в основному немає вартість. Ці три можливості розміру, інформація про попередньої обробки, а також поздовжнє лікування та наслідки дані-є найбільш поширеними, коли експерименти виконуються на вершині завжди на системах вимірювань (див главу 2 для отримання більш докладної завжди на вимірювальних системах).

У той час як експерименти цифрові поля пропонують багато можливостей, вони також мають деякі недоліки як з аналогової лабораторії і польових експериментів. Наприклад, експерименти не можуть бути використані для вивчення минулого, і вони можуть оцінити тільки ефекти лікування, які можна маніпулювати. Крім того , хоча експерименти, безсумнівно , корисні для розробки політики, точне наведення вони можуть запропонувати кілька обмежена з - за ускладнень , таких як екологічна залежність, проблеми дотримання і рівноважних ефектів (Banerjee and Duflo 2009; Deaton 2010) . І, нарешті, експерименти цифрових полів звеличувати етичних проблем, створених польових експериментів. Прихильники польових експериментів труба їх здатність ненав'язливо і випадковим чином втручатися в наступні рішення, прийняті мільйонами людей. Ці особливості пропонують певні наукові переваги, але вони також можуть зробити польові експерименти з етичної точки зору комплекс (думаю про нього, як дослідники лікування таких людей, як "лабораторних щурів" в масовому масштабі). Крім того, на додаток до можливих шкодою для учасників, експерименти цифрові поля, через їх масштабу, можуть також викликають занепокоєння з приводу порушення роботи соціальних систем (наприклад, занепокоєння з приводу порушення системи винагороди у Вікіпедії, якщо Restivo і ван дер Rijt дав занадто багато barnstars) ,