4.4 Переход от простых экспериментов

Давайте двигаться дальше простых экспериментов. Три концепции полезны для богатых экспериментов: действительность, неоднородность эффектов лечения, а также механизма.

Исследователи, которые являются новыми для экспериментов часто сосредотачиваются на очень конкретной узкой вопрос: делает это лечение "работа"? Например, делает телефонный звонок от волонтера поощрять кого голосовать? Есть ли изменения кнопки сайта от синего до зеленого кликов увеличения? К сожалению, свободно фразировка о том, что "работает" затеняет тот факт, что узконаправленные эксперименты на самом деле не сказать вам, является ли "работает" лечение в общем смысле. Скорее всего, узконаправленные эксперименты ответить гораздо более конкретный вопрос: каков средний эффект этого специфического лечения с этой конкретной реализации этой популяции участников в это время? Я буду называть эксперименты , которые сосредоточены на этой узкой вопрос простых экспериментов.

Простые эксперименты могут дать ценную информацию, но они не в состоянии ответить на многие вопросы, которые являются важными и интересными такие как: есть некоторые люди, для которых лечение имело больший или меньший эффект ?; есть другое лечение, которое было бы более эффективным ?; и как этот эксперимент связаны с более широкими социальными теориями?

Для того чтобы показать значение выходит за рамки простых экспериментов, давайте рассмотрим один из моих любимых экспериментов аналоговых полевых, исследование П. Уэсли Шульца и его коллег о взаимосвязи между социальными нормами и потреблением энергии (Schultz et al. 2007) и (Schultz et al. 2007) , (Schultz et al. 2007) . Шульц и его коллеги повесили doorhangers на 300 семей в Сан-Маркос, штат Калифорния, и эти doorhangers доставлены различные сообщения, предназначенные для стимулирования энергосбережения. Затем Шульц и его коллеги измерили влияние этих сообщений на потребление электроэнергии, как после одной недели и три недели; Рисунок 4.3 см для более подробного описания эксперимента.

Рисунок 4.3: Схема конструкции от Schultz et al. (2007) и Schultz et al. (2007) . Эксперимент на местах, участвующих посещения около 300 семей в Сан-Маркос, Калифорния пять раз в течение восьми недель. На каждом посещении исследователи вручную взяли показания от измерителя мощности в дома. На двух из визитов исследователи помещают doorhangers на дом, обеспечивая некоторую информацию об их использовании энергии. Вопрос исследования был как содержание этих сообщений будет воздействовать на потребление энергии.

Эксперимент имел два условия. В первом состоянии, домохозяйства получали советы по экономии энергии вообще (например, использовать вентиляторы вместо кондиционеров) и информация об использовании энергии их домашнего хозяйства, по сравнению со средними показателями использования энергии в их районе. Шульц и его коллеги назвали это описательный нормативную условие , потому что информация об использовании энергии в их районе представили информацию о типичном поведении (т.е. описательная норма). Когда Шульц и его коллеги смотрели на результате использования энергии в этой группе, лечение оказалось не иметь никакого эффекта, либо в краткосрочной или долгосрочной перспективе; Другими словами, лечение, похоже, не «работа» (Рисунок 4.4).

Но, к счастью, Schultz et al. (2007) и Schultz et al. (2007) не соглашайтесь на этом простеньком анализа. До начала эксперимента они полагали , что тяжелые потребители электричества людей выше среднего значения, может уменьшить их потребление, и свет , потребители электричества людей ниже среднего значения, может фактически увеличить их потребление. Когда они смотрели на данные, что это именно то, что они нашли (рисунок 4.4). Таким образом, что было похоже на лечение, которое было имеющим никакого эффекта не было на самом деле лечение, которое было два компенсирующих эффектов. Исследователи назвали этот контрпродуктивным увеличение среди легких пользователей обратный эффект.

Рисунок 4.4: Результаты Schultz et al. (2007) и Schultz et al. (2007) . Первая панель показывает, что описательная лечение норма имеет оценочную нулевой средний эффект лечения. Тем не менее, вторая панель показывает, что этот средний эффект лечения на самом деле состоит из двух компенсирующих эффектов. Для тяжелых пользователей, лечение уменьшилось использование, но для легких пользователей, лечение увеличилось использование. И, наконец, третья группа показывает, что вторая обработка, которая использовала описательные и Обеспечительная нормы, имели примерно тот же эффект на тяжелых пользователей, но смягчить эффект бумеранга на легких пользователей.

Кроме того, Шульц и его коллеги ожидали эту возможность, а во втором условии, что они развернуты несколько иной обработки, один явно предназначен для устранения эффекта бумеранга. Домохозяйства во втором состоянии получили точно такие же лечения, которое дает общие советы по экономии энергии и информации об использовании энергии их домашнего хозяйства по сравнению с их соседство, с одной маленькой дополнение: для людей с ниже среднего уровня потребления, исследователи добавили :) и люди с выше среднего потребления они добавили :(. Эти смайликов были разработаны , чтобы вызвать то , что исследователи называют Обеспечительная нормы. Обеспечительная нормы относятся к восприятию того , что обычно утвержден (и отклоненные) , тогда как описательные нормы относятся к восприятию того , что обычно делается (Reno, Cialdini, and Kallgren 1993) .

Добавив этот один крошечный смайлик, исследователи резко снизили эффект бумеранга (Рисунок 4.4). Таким образом, делая это одно простое изменение-изменение , которое было мотивировано абстрактным социально - психологической теории (Cialdini, Kallgren, and Reno 1991) -The исследователи смогли превратить программу из одного , что не похоже на работу в тот , который работал, и, одновременно, они были в состоянии внести свой вклад в общее понимание того, как социальные нормы влияют на поведение человека.

На данный момент, однако, вы можете заметить, что что-то немного по-другому об этом эксперименте. В частности, эксперимент Шульца и его коллег действительно не имеет контрольную группу таким же образом, что рандомизированные контролируемые эксперименты делают. Сравнение этой конструкции и конструкции Restivo и ван де Rijt иллюстрирует различия между двумя основными конструкциями, используемых исследователями. В перерывах между-субъектов конструкций, таких как Restivo и ван де Rijt, есть лечение группы и контрольной группы, а также в пределах-субъектов проектирует поведение участников сравнивают до и после лечения (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . В пределах объекта съемки эксперимента это как если бы каждый участник выступает в качестве ее собственной контрольной группой. Сила между-субъектов конструкции является то, что он обеспечивает защиту от вмешивающихся (как я описал ранее), и сила внутри-субъектов экспериментов повышается точность в оценках. Когда каждый участник выступает в качестве их собственным контролем, между-участника вариации устраняется (см Техническое приложение). Предвещают ап, придет позже , когда я предлагаю советы о разработке цифровых экспериментов, есть окончательный дизайн, называемый смешанный дизайн, который сочетает в себе улучшенную точность в пределах-субъектов конструкции и защиту от смешению между субъектами-конструкций.

Рисунок 4.5: Три экспериментальные конструкции. Стандартный рандомизированные контролируемые эксперименты используют между-субъектов конструкции. Пример конструкции , между-субъектами является Restivo и ван де Rijt в (2012) эксперимент по barnstars и вклад в Википедии: Исследователи случайным образом разделили участников на лечение и контрольной групп, дали участникам в группе лечения с barnstar, и сравнили результаты для двух группы. Второй тип конструкции является дизайн внутри-субъектов. Оба эксперимента в Шульца и коллеги (2007) исследования по социальным нормам и использования энергии иллюстрируют конструкцию внутри-субъектов: исследователи сравнили потребление электроэнергии участников до и после получения лечения. В-субъектов конструкции обеспечивают повышенную статистическую точность за счет устранения между предметной дисперсией (см Техническое приложение), но они открыты для возможных вмешивающихся (например, изменения в погоде между предварительной обработки и лечения период) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . В-субъектов конструкции также иногда называют повторными измерениями конструкций. И, наконец, смешанные конструкции сочетают в себе улучшенную точность в пределах-субъектов конструкции и защиту от смешению между субъектами-конструкций. В смешанной конструкции, исследователь сравнивает изменения в конечных результатах для людей в лечении и контрольных группах. Когда исследователи уже имеют информацию для предварительной обработки, как это происходит во многих цифровых экспериментов, смешанные конструкции предпочтительнее между субъектами-конструкций из-за достижения в точности (см Техническое приложение).

В целом, дизайн и результаты Schultz et al. (2007) и Schultz et al. (2007) показывают значение выходит за рамки простых экспериментов. К счастью, вам не нужно быть гением, чтобы создать эксперименты, как это. Социальные ученые разработали три концепции, которые будут направлять вас к более богатым и более творческих экспериментов: 1) срок действия, 2) гетерогенность эффектов лечения, и 3) механизмы. То есть, если вы держите эти три идеи в виду, в то время как вы разрабатываете свой эксперимент, вы, естественно, создавать более интересные и полезные эксперименты. Для того чтобы проиллюстрировать эти три понятия в действии, я опишу ряд последующих экспериментов частично цифровых полей, построенных на элегантный дизайн и интересные результаты в Schultz et al. (2007) и Schultz et al. (2007) . Как вы увидите, за счет более тщательного планирования, реализации, анализа и интерпретации, вы тоже можете выйти за рамки простых экспериментов.