Онлайн-исследования: препарируя качество

В 2008 году по данным ESOMAR в России на долю онлайн-исследований приходилось 7% всех исследовательских бюджетов. Это на 2% больше, чем в 2007 и на 5% больше, чем в 2006 году. Хотя сами цифры и представляются завышенными, они отражают реальный рост, который наблюдается в этом секторе.

Очевидно, что онлайн-исследования еще не прошли стадию признания рынком. Но нет сомнений, что исход этого процесса для них: проникновение Интернета растет, отклик при традиционных методах падает, онлайн-исследованиям есть, что предложить рынку в смысле уникальных преимуществ.

Уже сейчас можно утверждать, что онлайн-исследования могут быть надежным инструментом для принятия адекватных бизнес-решений. Именно «могут», потому что, как и любое другое маркетинговое исследование, они полезны ровно настолько, насколько понимаемы.

Онлайн-качество: проникновение, онлайн-панель, анкета

Под качеством данных мы будем понимать степень адекватности принимаемых на их основе бизнес-решений. Можно выделить три основных фактора, влияющих на качество онлайн-исследований: 

1.      Проникновение Интернета в исследуемой целевой группе

2.      Качество онлайн-панели

3.      Качество инструментария, в частности, онлайн-анкеты.

Проникновение Интернета

По разным оценкам в России от 30 до 40% городского населения более или менее регулярно пользуются Интернетом. Цифра не поражает воображение, но это и не важно, т.к. нас интересует проникновение по изучаемой целевой группе, а не в целом по рынку. Например, в Москве в возрастной группе 14-40 лет доля пользователей превышает 80%, а в городах-миллионниках вплотную приближается к 50%. Для сравнения проникновение фиксированной телефонной связи в тех же крупных региональных городах едва превышает 60%. Потенциальный охват аудитории такими методами, как холл-тесты или уличные интервью вряд ли даже приближается к этим значениям. Тем не менее, и телефонные опросы и холл-тесты успешно используются для решения определенных исследовательских задач. 

Вывод – онлайн-опрос можно рекомендовать, если:

1.      Мы знаем, что подавляющая часть целевой группы может быть найдена в Интернете: Москва, Санкт-Петербург, 14-40 лет, «продвинутые» товарные категории и т.д.

2.      Нам не нужны абсолютные цифры, и задача относительно не чувствительна к репрезентативности, т.е. это всевозможные тесты (концепция, упаковка, реклама, слоганы и т.п.).

Качество онлайн-панели

Онлайн-панель – совокупность потенциальных респондентов, инструмент для проведения маркетинговых исследований. Качество онлайн-панели определяется в первую очередь тем, кто и почему в ней участвует. По сути, любой панельный провайдер должен уметь убедительно ответить на два вопроса:

1.      Откуда берутся панелисты, и что им говорится в момент рекрута?

2.      Как поддерживается лояльность панелистов?

Что касается рекрута, то важно, чтобы он обеспечивал: 1) разнообразие (в проекте должны быть разные люди), 2) адекватность мотивационного посыла, с которым потенциальные респонденты приходят на сайт онлайн-панели. Самый простой и не затратный способ привлечения панелистов – контекстная реклама с сообщением, например, «платные интернет-опросы». Денежная мотивация в момент первичного контакта с будущим панелистом работает в 2-3 раза более эффективно, чем неденежная, но она же приводит к увеличению доли недобросовестных панелистов.

Способы поддержания лояльности – вопрос, который каждый владелец панели решает самостоятельно. В конечном итоге, поставщик должен уметь четко и ясно ответить на вопрос, как именно его системы мотивации и управления панелью способствуют удержанию «качественных» и отсеву «некачественных» панелистов?

Всевозможные методы борьбы с недобросовестными панелистами (перекрестная сверка данных, контроль времени и качества заполнения анкет и т.п.) являются неотъемлемой частью хорошей системы контроля качества. Однако, по сути, они направлены лишь на исправления погрешностей рекрутинговых и мотивационных схем.

Качественный инструментарий (онлайн-анкета)

5% «плохих» панелистов компенсируются 5% запаса выборки и отлаженными процедурами контроля качества. В тоже время, плохая анкета - это 100% впустую потраченного исследовательского бюджета.

Некачественные онлайн-анкеты не только плохо решают поставленные перед ними задачи, но и раздражают панелистов, подрывают доверие к организатору панели и тем самым снижают лояльность панелистов, косвенно влияют на результаты последующих опросов.

Показательны различия между международными и местными проектами. К сожалению, до сих пор не являются редкостью иностранные анкеты с вопросами типа «Есть ли в Вашем телефоне голубой зуб?» или предложениями выбрать своего провайдера домашнего интернет из устаревшего списка, в котором нет значимых участников рынка, появившихся в последние годы, например, Акадо и Стрим. Но даже после исправления таких ошибок (обязанность любого панельного провайдера), иностранные анкеты заметно проигрывают локальным.

Цифры говорят сами за себя:

Источник: Tiburon, 214 проектов

Чтобы осознать масштаб бедствия, читатель может попробовать вдумчиво ответить на вопросы типичной для онлайн 25-30-минутной анкеты. Даже если тема опроса будет интересна, вам вряд ли удастся не растерять энтузиазм до конца интервью.

Вот пример из нашего опыта. В проекте с 40-минутной анкетой было забраковано 5% анкет по причине невнимательного заполнения. При этом более 80% забракованных респондентов в более коротких опросах нежелательного поведения не демонстрировали.

Просто  платить больше за заполнение длинных анкет – не выход. Исследователи не привыкли оперировать такими терминами, но респонденту должно быть комфортно и интересно работать с анкетой. Онлайн-анкета должна быть:

1.      Сбалансирована по длительности и динамике интервью. Например, некоторые вопросы лучше группировать на одной странице; полезно чередовать вопросы разных типов, чтобы избежать монотонности.

2.      Оптимизирована с точки зрения юзабилити. Однозначность формулировок, четкость задачи, прозрачность и преемственность оформления, выделение ключевых слов и расстановка акцентов – обязательные требования. Выполнение этих правил позволяет снизить нагрузку на респондента и уменьшить количество ошибок, связанных с рассеиванием внимания. 

3.      Обладать привлекательным дизайном.

4.      В длинных анкетах желательно предусмотреть элементы развлекательного характера.

На практике это означает, что программирование хорошей онлайн-анкеты – задача, которая не решается простым перенесением привычной «бумажной» анкеты в программный код и требует определенной квалификации от исполнителя.

Совсем не черный ящик

Хорошая новость в том, что онлайн-панель – инструмент достаточно прозрачный для конечного клиента, гораздо более прозрачный, чем большинство традиционных инструментов. На настоящий момент все работающие в России панели – это панели с открытой регистрацией. Это значит, что заказчик перед тем, как выбрать исполнителя может анонимно зарегистрироваться в его панели и изнутри оценить, насколько адекватно она администрируется, насколько адекватные опросы на ней проводятся. Возможность следить за ходом полевых работ в режиме реального времени сегодня стала «стандартом отрасли» и предоставляется всеми профессиональными игроками рынка онлайн-исследований.

Артем Тинчурин, генеральный директор компании Tiburon

Research&Trends