3.3.2 Измерение
Измерение - это вывод о том, что ваши респонденты думают и делают из того, что они говорят.
В дополнение к проблемам представления, общая структура ошибок опроса показывает, что вторым основным источником ошибок является измерение : как мы делаем выводы из ответов, которые респонденты дают на наши вопросы. Оказывается, ответы, которые мы получаем, и, следовательно, сделанные нами выводы, могут зависеть критически, а иногда и удивительно, от того, как мы спрашиваем. Возможно, ничто не иллюстрирует этот важный момент лучше, чем шутка в замечательной книге « Вопросы по заданию» Нормана Брэдберна, Сеймура Судмана и Брайана Вансинка (2004) :
Два священника, доминиканский и иезуитский, обсуждают, является ли это грехом курить и молиться в то же время. После неудачной попытки прийти к выводу, каждый уходит проконсультироваться его вышестоящего. Доминиканский говорит: «Что же ваш начальник сказал?"
Иезуит отвечает: "Он сказал, что это было в порядке."
"Это смешно" Доминиканскую отвечает: "Мой руководитель сказал, что это грех."
Иезуит сказал: "Что вы спросили?" Доминиканский отвечает: "Я спросил его, если это было в порядке курить во время молитвы." "О", сказал иезуит, "Я спросил, если это было в порядке, чтобы молиться во время курения."
Помимо этой конкретной шутки, исследователи исследования задокументировали много систематических способов, что то, что вы узнаете, зависит от того, как вы спрашиваете. Фактически, сама проблема, лежащая в основе этой шутки, имеет название в сообществе исследователей: эффекты формы вопроса (Kalton and Schuman 1982) . Чтобы увидеть, как эффекты формы вопроса могут повлиять на реальные обследования, рассмотрите эти два очень похожих вопроса опроса:
- "Насколько вы согласны со следующим утверждением: Лица , более виноваты , чем социальные условия для совершения преступлений и беззакония в этой стране."
- "Насколько вы согласны с утверждением , социальные условия являются более виноваты , чем физических лиц за преступления и беззакония в этой стране."
Хотя оба вопроса, по-видимому, измеряют одно и то же, они дали разные результаты в реальном исследовательском эксперименте (Schuman and Presser 1996) . Когда его спросили в одном направлении, около 60% респондентов сообщили, что люди больше виноваты в преступлении, но, когда его спросили по-другому, около 60% сообщили, что больше виноваты социальные условия (рисунок 3.3). Другими словами, небольшая разница между этими двумя вопросами может привести исследователей к другому выводу.
Рисунок 3.3: Результаты опроса, показывающего, что исследователи могут получать разные ответы в зависимости от того, как они задавали этот вопрос. Большинство респондентов согласились с тем, что люди больше виноваты, чем социальные условия для преступности и беззакония. И большинство респондентов согласились с обратным: социальные условия более ответственны, чем люди. Адаптировано из Schuman and Presser (1996) , таблица 8.1.
В дополнение к структуре вопроса респонденты могут также давать разные ответы в зависимости от конкретных слов. Например, для оценки мнений о приоритетах правительства респондентам было предложено следующее сообщение:
"Мы столкнулись со многими проблемами в этой стране, ни один из которых может быть решена легко и недорого. Я собираюсь назвать некоторые из этих проблем, и для каждого из них я хотел бы, чтобы вы сказали мне, считаете ли вы, что мы тратить слишком много денег на него, слишком мало денег, или о правильном количестве ".
Затем половина респондентов спросили о «благосостоянии», а половину респондентов попросили «помочь бедным». Хотя это может показаться двумя разными фразами для одного и того же, они вызвали очень разные результаты (рисунок 3.4); Американцы сообщают, что они гораздо более поддерживают «помощь бедным», чем «благосостояние» (Smith 1987; Rasinski 1989; Huber and Paris 2013) .
Рисунок 3.4: Результаты опроса, показывающие, что респонденты гораздо более поддерживают «помощь бедным», чем «благосостояние». Это пример эффекта формулировки вопроса, при котором ответы, которые получают исследователи, зависят от того, какие слова они используют в их вопросы. Адаптировано из Huber and Paris (2013) , таблица A1.
Поскольку эти примеры о эффектах формы вопроса и эффектах формулировки показывают, ответы, которые получают исследователи, могут зависеть от того, как они задают свои вопросы. Эти примеры иногда заставляют исследователей задуматься о «правильном» способе задать свои вопросы для опроса. Хотя я думаю, что есть некоторые явно неправильные способы задать вопрос, я не думаю, что всегда есть один правильный путь. То есть, очевидно, лучше не спрашивать о «благосостоянии» или «помощи бедным»; это два разных вопроса, которые измеряют две разные вещи относительно отношения респондентов. Эти примеры также иногда побуждают исследователей сделать вывод о том, что опросы не должны использоваться. К сожалению, иногда выбора нет. Вместо этого я считаю, что правильный урок, который следует извлечь из этих примеров, заключается в том, что мы должны тщательно строить наши вопросы, и мы не должны принимать ответы некритически.
Наиболее конкретно это означает, что если вы анализируете данные опроса, собранные кем-то другим, убедитесь, что вы прочитали фактический вопросник. И если вы создаете свой собственный вопросник, у меня есть четыре предложения. Во-первых, я предлагаю вам больше ознакомиться с дизайном вопросника (например Bradburn, Sudman, and Wansink (2004) ); это больше, чем я мог описать здесь. Во-вторых, я предлагаю вам скопировать слово для текстовых вопросов из высококачественных опросов. Например, если вы хотите спросить респондентов о своей расе / этнической принадлежности, вы можете скопировать вопросы, которые используются в крупномасштабных правительственных опросах, таких как перепись. Хотя это может звучать как плагиат, в исследовательских исследованиях рекомендуется копировать вопросы (пока вы ссылаетесь на первоначальный опрос). Если вы копируете вопросы из высококачественных опросов, вы можете быть уверены, что они были протестированы, и вы можете сравнить ответы на свои опросы с ответами на некоторые другие опросы. В-третьих, если вы считаете, что ваш вопросник может содержать важные эффекты формулировки вопроса или эффекты формы вопроса, вы можете провести опрос, в котором половина респондентов получит одну версию вопроса, а половину - другую версию (Krosnick 2011) . Наконец, я предлагаю вам пилотировать ваши вопросы с некоторыми людьми из вашей группы кадров; исследователи исследования называют это предварительное тестирование этого процесса (Presser et al. 2004) . Мой опыт заключается в том, что предварительное тестирование опроса чрезвычайно полезно.
