Онлайн-панель: кто все эти люди и почему они участвуют в опросах?
 |
Артем Тинчурин,
генеральный директор компании
Tiburon Researchwise Sampling |
За последние два-три года онлайн-исследования в России продемонстрировали значимый рост. И это несмотря на звучащие реплики об их нерепрезентативности. Но это не врожденный порок методики, а скорее ограничение, про которое нужно помнить, но которое вовсе не ставит крест на онлайн-опросах. К тому же, число маркетинговых задач, для решения которых не требуется репрезентативная в классическом понимании этого слова выборка, весьма велико. Рост сегмента онлайн-опросов это наглядно демонстрирует.
Давайте на секунду забудем про репрезентативность и зададимся гораздо более важным вопросом.
"Кто все эти люди?" - любимый вопрос клиентов, когда речь заходит об онлайн-исследованиях. Подразумевается: Нормальные ли они? Не являются ли они все профессиональными респондентами? Насколько можно доверять их ответам? Ответы на эти вопросы действительно важны для качества данных.
Чтобы ответить на эти вопросы мы провели масштабное исследование мотивации участников панели InternetOpros.ru. При этом мы преследовали две основные цели:
1. Оптимизировать процесс управления панелью, а для этого сегментировать панелистов по мотивации к участию в онлайн-опросах.
2. Продемонстрировать рынку на конкретном примере, что все не так плохо и панель в подавляющей части состоит из "нормальных" людей.
Основные этапы исследования сведены в следующую таблицу:
Таблица 1. Этапы исследования.
| Когда | Когда | Зачем |
| Регулярный мониторинг удовлетворенности панелистов |
Два раза в год, начиная с 2009 года |
Начальные гипотезы о факторах мотивации |
| Офлайн фокус-группа с участниками панели InternetOpros.ru* |
Февраль 2010 года |
Уточнение гипотез, подготовка анкеты |
| Количественный опрос участников панели InternetOpros.ru |
Сентябрь 2010 года |
Количественная оценка важности факторов и сегментация панелистов |
Важно, что количественный опрос проводился по короткой "оценочной" анкете после завершения участником очередного опроса. Это позволило задавать вопросы, не абстрактно, а применительно к только что завершенному опросу по горячим следам. Всего было опрошено 5327 панелистов.
Вопросы, которые мы задавали в "оценочной" анкете:
1. Оценка респондентами только что законченного опроса по ряду факторов (удобство заполнения, понятность, дизайн и т.д.)
2. Причины участия респондентов в только что законченном опросе
3. Отношение участников панели к опросам в целом
Деньги vs Идея
В ответах на прямой вопрос "Почему Вы приняли участие в этом опросе?" превалируют нематериальные мотивы. Деньги, конечно, тоже важны, но они только на четвертом месте, как это следует из Диаграммы 1 (похожие результаты были независимо получены и другими компаниями, владеющими онлайн-панелями, - R&T).
Диаграмма 1. Почему панелисты соглашаются заполнить анкету?
Источник: Tiburon Research, 5327 интервью
Однако вполне можно предположить, что респонденты водят исследователей за нос, говорят не то, что думают, чтобы "выглядеть красиво". Популярность ответа "Чтобы высказать мнение, что-то изменить" действительно может быть обусловлена его социальной желательностью. Чтобы проверить эту гипотезу мы посмотрели на то, как указанные факторы взаимодействуют между собой и какие группы образуют.
Для этого мы сегментировали панелистов по причинам участия в опросе. Были выделены пять устойчивых, хорошо дифференцируемых сегментов:
1. "Небезразличные";
2. "Азартные";
3. "Убивающие время";
4. "Любопытные";
5. "Профи".
Вот их краткая характеристика (в скобках указана доля каждого сегмента, в сумме - 100%):
Небезразличные (24%). Считают, что опросы - нужное дело (71%), ценят возможность высказывать свое мнение (69%) и узнавать из опросов что-то новое (55%). Стараются давать максимально точные ответы (97%), любят открытые вопросы за возможность точно выразить свои мысли (50%). Добросовестны.
|
Азартные (20%). Важна и материальная сторона (деньги - 80%, призы - 26%) и возможность высказать мнение, что-то изменить (66%). Фанаты опросов, вовлеченные. Участники нескольких панелей. Не склонны к недобросовестному поведению, т.к. действительно готовы делиться своим мнением за вознаграждение.
|
Убить время (16%). Самая невовлеченная группа панелистов. Участвуют, т.к. "ничего сложного, а деньги капают" (56%), в перерывах между делами, чтобы отвлечься (54%). Менее других склонны делиться действительно личной информацией, не готовы прилагать существенные усилия: добросовестны до тех пор, пока это их "не напрягает".
|
Любопытные (31%). Любопытство - основной мотив участия: узнать, про что в этот раз спрашивают (66%), узнать, что будет в конце опроса (42%), узнать что-то новое (37%). Чувствительны к интересности темы, бывает, торопятся при заполнении, если тема им не очень интересна (18%) или лукавят, чтобы пройти отбор и посмотреть, что внутри (8%). На пути к добросовестности препятствием является не столько корысть, сколько природное любопытство.
|
Профи (10%). Участвуют во всех опросах без разбора (97%), деньги, безусловно, важны (44%), члены нескольких панелей одновременно (21%), стремятся во чтобы то ни стало закончить начатую анкету (97%), раздражаются, если не подходят по критериям отбора. При этом тематика опросов по-прежнему важна (60%): в этом случае есть шанс получить от них адекватные ответы. Вероятность недобросовестного поведения - высокая.
|
Источник: Tiburon Research
Если теперь изобразить полученные сегменты в виде матрицы, на осях которой находятся качество данных и вовлеченность панелистов тему опросов (их увлеченность опросами), то получим следующее (см. Диаграмму 2):
Диаграмма 2. Качество и вовлеченность
Источник: Tiburon Research
Среди полученных сегментов есть только один однозначно нежелательный сегмент - это "Профи". В силу чрезмерной вовлеченности и объективно низкого качества данных, они представляют реальную угрозу качеству данных. Причем, несмотря на то, что другим сегментам в той или иной (хотя и в гораздо меньшей) степени тоже может быть присуще недобросовестное поведение, их нельзя считать нежелательными, т.к. панель должна отражать реальный мир, а реальный мир состоит не только из "Небезразличных" людей.
Результаты исследования, характеризующие сегменты панели в разрезе влияющих на качество параметров, приведены в Таблице 2:
Таблица 2. Показатели качества данных.
| |
Небезразличные
(24%) |
Азартные
(20%) |
Убивающие
время (16%) |
Любопытные
(31%) |
Профи
(10%) |
| Заполняли на работе, % |
15 |
14 |
23 |
13 |
14 |
| Самооценка внимаьельности, % |
92 |
91 |
88 |
89 |
87 |
| Невнимательных (не следовали простым инструкциям), % |
4.4 |
5.2 |
4.3 |
5.4 |
4.3 |
| Непоследовательных (нелогичные ответы), % |
6.2 |
8.6 |
12.5 |
12.2 |
15.4 |
| Speeding (заполнили анкету слишком быстро), % |
2.0 |
1.8 |
2.6 |
3.7 |
2.2 |
| Время жизни в панели (медианное значение), дней |
145 |
146 |
146 |
146 |
142 |
| Учавствуют в нескольких панелях, % |
13 |
17 |
11 |
13 |
21 |
Источник: Tiburon Research
| |
Значимо выше, чем в среднем |
| |
Значимо ниже, чем в среднем |
А вот как участники панели InternetOpros.ru, входящие в разные сегменты, оценивают анкету только что законченного опроса:
Таблица 3. Оценка только что законченного опроса участниками.
% "хорошо" +
"отлично" |
Небезразличные
(24%) |
Азартные
(20%) |
Убивающие
время (16%) |
Любопытные
(31%) |
Профи
(10%) |
| Дизайн, внешний вид |
96 |
95 |
95 |
95 |
95 |
| Удобство заполнения |
97 |
95 |
96 |
96 |
95 |
| Понятность анкеты |
98 |
96 |
96 |
97 |
95 |
| Грамотность языка |
98 |
98 |
98 |
97 |
97 |
| Интересность темы |
96 |
93 |
89 |
92 |
90 |
| Длительность |
91 |
87 |
83 |
85 |
85 |
| Вознаграждение |
85 |
78 |
80 |
84 |
79 |
Возможность точно
выразить мысли |
93 |
89 |
86 |
89 |
85 |
Источник: Tiburon Research
| |
Значимо выше, чем в среднем |
| |
Значимо ниже, чем в среднем |
Кратко же рекомендации по работе с описанными сегментами можно свести в следующую таблицу:
Таблица 4. Рекомендации по работе с сегментами.
| Небезразличные (24%) |
Азартные (20%) |
Убивающие время (16%) |
Любопытные (31%) |
Профи (10%) |
Качество:
Очень высокое |
Качество:
Высокое |
Качество:
Зависит от сложности и интересности опроса |
Качество:
Зависит от сложности и интересности опроса |
Качество данных:
Низкое |
Факторы риска:
Плохая анкета, плохой перевод, небрежное оформление, другие признаки неуважения |
Факторы риска:
Принадлежность к нескольким панелям в мультипанельных проектах |
Факторы риска:
Сложные / скучные анкеты, личные вопросы, плохой перевод |
Факторы риска:
Очевидный скрининг, занудные анкеты |
Факторы риска:
Отсутствие средств объективного контроля качества данных |
Что делать:
Поддерживать вовлеченность (нематериальные стимулы) |
Что делать:
Поддерживать вовлеченность (материальные и нематериальные стимулы), бороться с множественными регистрациями |
Что делать:
Usable анкеты, возможность прерваться по ходу заполнения и продолжить позже |
Что делать:
Usable анкеты, развлекать, отказаться от очевидных отборочных вопросов - сложный скрининг, контроль времени заполнения |
Что делать:
Бороться: множественные регистрации, контроль времени заполнения, проверочные вопросы |
Источник: Tiburon Research
Выводы
Доля участников панели, представляющих опасность для качества данных, мала - это сегмент "Профи", составляющий лишь 10%, что соответствует стандартной величине рекомендуемого запаса выборки. К тому же с этими людьми можно эффективно бороться техническими средствами (отслеживание множественных регистраций, контрольные вопросы, система штрафов), удерживая долю профессиональных респондентов на низком уровне.
С остальными сегментами, вполне можно эффективно работать. Не все они, конечно, идеальны, но на наш взгляд, это отражает реальную действительность, которую мы и пытаемся измерить. Панель, состоящая только из "Небезразличных" участников, выглядела бы подозрительно, если бы даже и могла существовать.
Комплексная (денежная и неденежная) мотивация, так же как и удобные, понятные и красивые анкеты жизненно необходимы для поддержания качества панели на высоком уровне.
Артем Тинчурин, генеральный директор компании Tiburon Researchwise Sampling
*Благодарим компанию Validata за помощь в проведении фокус-группы.
r-trends.ru
Карта рекламного рынка
