Опрос на сто человек: что он покажет, а что нет

Однако он НЕ МОЖЕТ поддерживать излишне точные рейтинги, анализ подгрупп или проценты с одним знаком после запятой, если только выборка и дизайн вопросов не исключительно сильны.

100 ответов: что возможно, а что — нет

Небольшой опрос может уверенно сигнализировать о проблеме или, наоборот, о её отсутствии. Согласно компании SurveyMonkey, специализирующейся на программном обеспечении для опросов, сто ответов позволяют определить, существует ли проблема. «Результат — это либо обнаружение чего-то, либо его отметание».

Сто ответов подтверждают или опровергают общую картину. «Важно фактическое число или размер выборки, а не процент от популяции», — отмечает Университет Арканзаса в руководстве «Как определить размер выборки».

Для исследователя сложность заключается в понимании, когда остановиться. Вопросы с множественным выбором, предлагающие спектр ответов, приведут к средним значениям и ранжированию, но они не способны поддерживать незначительные изменения или точность до десятичных знаков, если методология не очень сильна. «Каждый вопрос должен быть конкретным, а респонденты — иметь возможность ответить», — говорит Pew Research Center, поясняя, что формулировки должны избегать предвзятости и не должны объединять два вопроса в один.

Многие ошибки происходят от сложных или наводящих формулировок. «Вопросы в опросах должны использовать нейтральный, естественный и понятный язык», — подчёркивается в материале Nielsen Norman Group «Написание хороших вопросов для опросов». Их десять рекомендаций включают ограничение одного вопроса одной темой.

Набор респондентов не аутсорсят — он влияет на репрезентативность

Даже внутри широкой категории смещение при наборе искажает выборку. «Сопротивляйтесь искушению опрашивать только самых доступных», — предупреждает SOGOLytics в рекомендациях «Написание вопросов для опросов для получения лучших данных».

Особенно не стоит использовать ответы на вопросы опроса как прогнозы. «Люди ненадёжны в предсказании своих будущих действий», — говорит SOGOLytics. Пусть респонденты исследуют, готовятся, фиксируют действия и только потом отвечают: «что вы сделали». Открытые вопросы позволяют проверить предвзятые, автоматически позитивно или негативно нагруженные формулировки с множественным выбором; Национальный центр биотехнологической информации отмечает риск того, что открытые вопросы дадут данные разного качества.

Используйте открытые и точные закрытые вопросы

В некоторых контекстах открытые исследовательские вопросы работают лучше всего. По мнению экспертов по процессу опросов, их стоит рассматривать, но делать инструкции чёткими. «Открытый вопрос лучше всего подходит, когда вы ожидаете ответов, требующих пояснения или деталей, которых не передать в формате множественного выбора», — объясняет Nielsen Norman Group. «Однако убедитесь, что открытые вопросы не слишком открытые, иначе анализ результатов будет затруднён. Просите узкий, конкретный ответ, чтобы исследователи могли быстро сортировать ответы».

Pew Research Center акцентирует предупреждение: «Проверьте логику, если вопрос открытый. Также убедитесь, что из самого вопроса ясно, что респонденты должны отвечать своими словами, и предоставьте пояснения, где это может помочь».

Специалисты сходятся во мнении: задавайте баланс вопросов, требующих развёрнутого ответа, и вопросов с множественным выбором, а также отражайте в вариантах ответов реальные формулировки. Typeform, SOGOLytics и Nielsen Norman Group предлагают очень похожие чек-листы.

Как сообщать о результатах

Набор респондентов, даты и процесс важнее ответов при такой малой выборке, поэтому начните с них. SurveyMonkey лучше всего объясняет этот момент: «Чтобы получить более точные результаты опроса, нужно убедиться, что вы задаёте правильные вопросы правильным способом, правильным людям, а ваша выборка достаточно велика для статистической значимости».

Делайте формулировки в опросе ясными, используйте нейтральный язык, спрашивайте о самом важном в проблеме, а затем предлагайте свободные варианты перед вопросами с оценкой. «Предложите вариант «другое» по шкале Лайкерта, чтобы респондент при необходимости мог дать ответ в свободной форме», — советует Typeform.

Связывайте это с конкретными действиями: «предоставляйте пояснения, где это может помочь», — инструктирует Pew, особенно в отношении открытых вопросов.

Недоразумения: преувеличение результатов

Некоторые из самых больших ошибок в опросах — это преувеличение. Опрос сотни людей не показывает точно сгруппированные будущие выборы; он выявляет темы и настроения. «Открытые вопросы неожиданно могут восприниматься респондентами как пустая трата времени, и они могут их пропускать», — говорится в отчёте NCBI о формулировках вопросов. Слышите просто число людей, выражающих мнение по пункту? Их настроение существует, будь это один человек или несколько десятков. Дисциплина заключается в отчёте об этом настроении, а затем в перестройке опроса, чтобы услышать их ответы точнее: «Нужно убедиться, что вы задаёте правильные вопросы правильной аудитории, чтобы представлять всю популяцию».

Отчёт о результатах малого опроса — это выявление тем, а не критика процентов респондентов за одно мнение против другого; такой отчёт применим к опросам и статистическим кампаниям с размерами выборки, которые могут их поддерживать. «Если вы спрашиваете клиентов, как часто они будут пробовать ваш новый продукт, не предлагайте им выбрать что-то конкретное из списка — позвольте им быть субъективными, чтобы получить содержательные ответы», — поясняет рекомендация Nielsen Norman по опросам. Когда настанет тот день, это будет следующим шагом после текущего.