А и В сидели на трубе или, Кто-то должен уйти

Любимый лозунг современного бизнеса «Изменяйся или умри» способен оказать плохую службу компаниям, когда дело касается интернет-маркетинга. В интернете изменения можно предпринимать сколь угодно часто, и они, как правило, не требуют таких же больших затрат времени и финансов, как преобразования офлайн.

Изменять можно все: от элементов дизайна на сайте и формулировок контекстного объявления до полного редизайна или изменения концепции PR-кампании. Например, нам известен случай из российской практики, когда компания средней руки полностью меняла облик корпоративного сайта … каждые 6 месяцев. Причиной был не поиск идеального облика, а желание все время удивлять посетителя, оставаться на гребне модной волны.

На самом деле ничего оригинального в действиях этой фирмы не было: практика перманентного редизайна присуща некоторым направлениям бизнеса, прежде всего связанным с миром моды и стиля. Каждые пол-года приходит очередная коллекция, соответственно каждый раз у сайта появляется новая «одежда». Той же практике следуют сайты известных модных домов Prada, Gucci, Hugo Boss и других.

Игры в бесконечные изменения допустимы, когда маркетинговый бюджет велик, а отслеживать эффективность изменений нет ни желания, ни возможности. Однако теперь даже для лучших домов моды, не говоря об остальных компаниях, закончились тучные годы, и отныне каждая копейка и цент, зарезервированные для перемен, должны себя оправдать. Старые концепции «Любые перемены — благо» и «Главное: обратить на себя внимание» оказались с червоточиной. На смену им пришла концепция Эффективности, когда каждый маркетинговый шаг должен быть просчитан и оправдан в цифровом и денежном формате. Если раньше можно было оперировать туманными понятиями «Повысить узнаваемость бренда» и «Заинтересовать целевую аудиторию», то теперь в почете более точные формулировки: «Повысить продажи на 15%» и «Увеличить трафик на сайт на 150%».

Можно подумать, что наступили времена для «настоящего», практичного маркетинга. Но это только в теории. До сих пор клиенты обращаются к интернет-маркетологам примерно с такой просьбой:

Мы хотим повысить эффективность сайта. Еще желаем, чтобы он отличался от сайтов наших конкурентов. Составьте, пожалуйста, коммерческое предложение: что следует поменять и сколько это стоит.

Если маркетолог (агентство или специалист) желает просто освоить бюджет, он составляет список изменений, которые — по его личному мнению! - следует внести, и выставляет счет. Разумеется, опыт работы в интернет-маркетинге позволяет с первого взгляда сделать кое-какие выводы о плюсах и минусах любого сайта, но такой подход означает, что специалист или агентство слишком сильно уверовали в свое чутье и забыли о главных оценщиках сайта — его целевой аудитории.

Любые изменения на сайте, в рекламе - будь то медийной или контекстной, - а также в других направлениях интернет-маркетинга должны пройти верификацию целевой аудитории. Для этой цели у интернет-маркетинга существует как минимум два мощных инструмента: аудит сайта с привлечением данных статистики и сплит-тестирование. Причем, эти инструменты должны использоваться именно в такой последовательности: сначала аудит текущего положения дел, затем постепенное введение изменений и тестирование на аудитории.

В этой статье я хочу остановиться на втором этапе: сплит-тестировании.

Основы cплит-тестирования

Сплит-тестирование — это проверка на практике эффективности конкретных изменений на сайте. С помощью специального скрипта (программы), написанного, например, на языке php, представителям целевой аудитории поочередно демонстрируется то одна, то другая версия страниц сайта, рекламного объявления или другого элемента интернет-маркетинга. С помощью инструментов веб-аналитики или других программ фиксируется реакция пользователя, который не подозревает о своем участии в эксперименте.

У методики сплит-тестирования много имен. Чаще всего встречаются названия «A/В тестирование» и «Дробное тестирование». Последнее, понятно, буквальный перевод «сплит-тестирования». Эти термины часто используют в качестве синонимов, однако сплит-тестирование — более широкое понятие. Оно подразумевает возможность параллельного испытания сразу нескольких вариантов изменений, в то время как А/В-тест — обкатка только двух вариантов.

Сплит-тестирование имеет предшественников в традиционном маркетинге. Например, с помощью фокус-групп или опросных листов специалисты пытались и пытаются уяснить реакцию представителей ЦА на новый продукт, услугу или рекламный ролик.

Еще один популярный вариант сплит-тестирования — размещение в прессе двух вариантов рекламного объявления с целью понять, какой канал коммуникации работает лучше. Тест предполагает, что рекламодатель помещает в журнале или газете два разных рекламных объявления, которые отличаются номерами телефонов или другими контактными данными. В тесте А / В одна половина экземпляров издания содержит рекламное объявления А, а вторая - рекламу В. Далее сравниваются количество и качество откликов.

Какая из этих традиционных методик находится ближе всего к онлайн сплит-тестированию? Вторая, где размещаются разные рекламные макеты. И в том, и в другом случае представители целевой аудитории не в курсе происходящего эксперимента. Их реакции естественны, а «ответы» на заданный «вопрос» лишены желания понравиться, угодить или нарочно повлиять на решение компании.

Преимущества онлайн-теста в том, что оно, как правило, дешевле и дает больший контроль над процессом. В любой момент его можно остановить или скорректировать. Также инструменты анализа результатов дают возможность сделать более точные выводы.

Сплит-тестирование широко применяется в онлайн-маркетинге крупными компаниями. Например, известный ритейлер Ozon.ru был замечен за проверкой эффективности разных видов подписей под изображениями сопутствующих товаров. Судя по всему, компания поставила перед собой задачу увеличить объем продаж дополнительных товаров и проверяла, какой из вариантов описания надежнее подталкивает к совершению покупки. Кстати, я не случайно употребил слово «замечен»: в идеальной ситуации потребитель ничего не должен заметить.

Подробнее остановлюсь на вопросе: что можно тестировать онлайн и какие существуют требования к проведению дробного тестирования.

Теоретически проверять можно почти что угодно. Все, что может иметь более одного варианта, поддается как минимум А/В-тестированию. Это могут быть:

• расположение телефона,
• «шапка» сайта,
• цвет,
• заголовок и текст контекстного объявления,
• шрифт,
• скидочные купоны,
• баннерная реклама,
• внешний вид ссылки и многое другое.

Здесь следует быть осторожным. Если начать тестировать, что душе угодно или все подряд, то такой подход ничем не будет отличаться от подхода маркетолога, который предлагает изменения по своему личному усмотрению. Тестировать следует те элементы сайта или интернет-маркетинга, которые имеют ключевое значение.

Здесь я вкратце остановлюсь на концепции Ключевых Показателей Эффективности (КПЭ), также известных как Key Performance Indicators (KPI). В каждом виде спорта есть свои показатели эффективности. Лозунг «Быстрее. Выше. Сильнее» нельзя навязать всем сразу: бегун должен быть быстрее, а не задирать ноги к облакам; прыгун должен прыгать выше, а не бить шестом о землю со всей силы. Также любой сайт может сформулировать собственные критерии эффективности.

Ключевые Показатели Эффективности (КПЭ) помогают выявить наши основные цели и понять, насколько успешно мы двигаемся к их достижению. КПЭ – обязательно измеряемые данные, которые можно выразить числами. У каждого бизнеса и сайта может быть свой набор КПЭ. Например, интернет-магазин может измерять объем продаж постоянным (возвращающимся) покупателям, а социальная сеть – количество зарегистрированных пользователей и количество постоянных пользователей за определенный период.

Чтобы работать с ключевыми показателями эффективности, у сайта должны быть цели. Пример цели для интернет-магазина: уменьшить количество отказов / уходов с сайта на 20% при заполнении формы заказа. Пример цели для социальной сети: увеличить частоту визитов постоянных пользователей с 2 в неделю, до 5 в неделю и увеличить время пребывания на сайте с 5 до 15 минут.

Не пытайтесь измерять все, что измеряется. Сразу определитесь, при каких условиях вы будете считать вложения в сайт оправданными. Для небольшого сайта или блога достаточно 1-3 показателей, у многофункционального портала их может быть намного больше.
Если сайт достаточно крупный – портал или корпоративный ресурс средней или большой компании – каждый раздел может иметь собственный набор КПЭ.

Например, раздел «Для прессы» в число показателей эффективности может включить:

• количество запросов от журналистов через специальную форму;
• количество просмотров страницы с пресс-релизами;
• количество загрузок медиа-кита и презентации.

Раздел «Для партнеров» может учитывать:

• количество просмотров и загрузок прайс-листа;
• количество заполненных и отправленных форм-запросов на сотрудничество;
• количество звонков по указанному здесь телефону.

Итак, в сплит-тестировании должны участвовать элементы, от которых зависят ключевые показатели эффективности. Предварительный аудит сайта, также как интервью с представителем компании призваны выявить конкретные КПЭ.

Для примера назову несколько объектов тестирования.

• Способ изображения продукта на страницах интернет-магазина. Один и тот же товар может быть показан по разному: обычная фотография, увеличенная фотография, 3D-фотография, увеличенное изображение отдельных элементов товара.
  Часто владельцы сайтов увлекаются модными технологиями и не задумываются об удобстве пользователей. Например, традиционно «грешат» 3х-мерными изображениями моделей сайты автомобильных концернов. Конечно, возможность взглянуть на авто со всех сторон помогает в принятии решения о покупке, однако на большинстве сайтов спецэффекты загружаются чересчур медленно, и благие намерения разработчиков идут насмарку.

С помощью сплит-тестирования можно было бы определить наиболее оптимальное соотношение спецэффектов и скорости загрузки страниц.

• Текст о скидке или специальных условиях. Как лучше сказать: скидка 5% или скидка 50 рублей? Какой вариант звучит привлекательнее: скидка 5% за покупку от 4000 рублей или скидка 10% за покупку от 2000 рублей?
• Нужна ли музыка на сайте? Музыкальное сопровождение на сайте критикуют, как пережиток прошлого, который раздражает посетителя. С другой стороны, аудио-трек как-будто неплохо звучит на сайтах определенной тематики: мода, отдых, портфолио дизайнера.
• Наконец, можно тестировать даже цены, как это сделал интернет-магазин Amazon.com в 2000 году. Правда, крупнейший интернет-ритейлер был пойман за манипуляциями с ценой и получил неприятности с законом.

Обычно тестирование проводят не столько с целью сделать хорошее лучшим, сколько для преодоления найденных недостатков. Например, в результате аудита стало ясно, что на странице «Корзина» обрываются пути слишком большого числа посетителей. Лишь небольшой процент тех, кто положил товар в «корзину», завершил процесс оформления товара. Маркетолог выдвигает ряд гипотез, почему это может происходить и дает рекомендации по изменению каких-то элементов сайта: формы регистрации, текста об условиях доставки, ссылки на страничку «Купить» или описания способов оплаты.

Недавно нами были подведены итоги аудита около 30 бизнес-сайтов. По его итогам выяснилось, что наиболее часто встречающейся проблемой является низкий уровень кликабельности ссылок. Показатель отказов большинства сайтов находится в диапазоне от 45 до 80%. Это означает, что 45-80% посетителей покидают сайт, не кликнув ни по одной ссылке в его пределах. У каждого сайта свои причины слишком высокого показателя отказов. Однако в процессе аудита выявлены общие для многих отрицательные факторы:

• переоптимизация главной страницы. Ссылки с поисковиков независимо от запроса очень часто ведут на домашнюю страницу, а не в раздел о товаре или услуге, которые интересуют пользователя. Тот, не видя предмета своего запроса и не желая разбираться в структуре сайта, просто возвращается назад к поисковику.
  Для того, чтобы посетитель не разочаровался при взгляде на загрузившуюся страницу и не ушел, обещание, которое содержится в тексте ссылки, должно соответствовать результату загрузки.
• непрофессионально написанные и сверстанные тексты, а именно: слишком длинные статьи; текст набран мелким шрифтом, который нельзя масштабировать; верстка «кирпичем» (justify), из-за чего между словами образуются пробелы разной ширины; сухой, официальный или помпезный стиль; переизбыток ключевых слов; скучные, непродающие заголовки.
• неочевидность назначения сайта: что здесь предлагается и почему это может быть интересно посетителю. Если заранее не знать, чем занимается компания, то на сайте об этом можно выяснить только после небольшого расследования.
• несбалансированность дизайна, когда весь «первый экран» занимает большая фотография или флэш-баннер. При небольших разрешениях вся содержательная часть сайта уходит во «второй экран», группируясь плотным месивом ссылок.
• отсутствие или незаметное расположение строки поиска по сайту.

Наконец, еще одна распространенная ошибка, выявленная во время аудита. Она не имеет отношения к кликам, но также снижает эффективность сайта. Ошибка состоит в расположении номера телефона во «втором экране», даже в «подвале» сайта. Обычно посетитель либо не видит номера телефона, либо находит его с большим трудом.

Следующая распространенная причина для тестирования: обкатка новой рекламной камапнии, очередных специальных условий или только что разработанного элемента (карты, флэш-заставки, баннера или формы для регистрации).

Основные требования к сплит-тестированию.

Как и любое исследование, даже простое А / В-тестирование следует проводить с соблюдением ряда правил, в противном случае возникает риск получить искаженные данные или сделать ошибочные выводы. Для простоты перечислю их в виде небольших правил:

• Правило № 1. Одновременно следует тестировать только один единственный элемент. Проверка более одного изменения, конечно, покажет, какая страница, реклама или предложение работают лучше. Однако она не даст ответа на главный вопрос: благодаря какому конкретному фактору большую эффективность продемонстрировал именно этот, а не другой вариант.
• Правило № 2. Нет никакого смысла в поочередном тестировании вариантов. А и В-версии должны испытываться одновременно. Поведение потребителей зависит от времени года, рыночной конъюнктуры, действий конкурентов и даже политических новостей.
• Правило № 3. Нужно избегать показа одному и тому же пользователю разных вариантов. Это можно сделать с помощью кукис (cookies), определения ip-адреса или других распространенных методик. К сожалению, все они не безупречны, вот почему изредка пользователи ловят компании за тестированием, как это произошло с Amazon. Однако следует стремиться к соблюдению правила: один пользователь — один вариант.
• Правило № 4. Выборка должна быть представительной. Тестирование должно проходить настолько длительное время, насколько это необходимо. Чем больше трафик на сайт, тем меньшее время требуется. Малопосещаемым сайтам, возможно, придется растянуть процесс на недели и месяцы, если это возможно.

Как определить оптимальные сроки тестирования? На этот счет существуют разные рекомендации, одной из популярных является такой совет: дождитесь, пока разница в эффективности между двумя вариантами достигнет 3х-кратной величины. Другими словами, кликов, просмотров или регистрации (в зависимости от вашего КПЭ) у варианта А должно быть больше в 3 раза, чем у варианта В.

Еще одна методика получения статистически качественных данных называется А / В / А. Ее суть в том, что одновременно тестируются 2 экземпляра варианта А (изменений нет) и 1 экземпляр варианта В (здесь внедрено изменение). Соответственно, весь трафик также делится на 3 части, двум из которых независимо друг от друга показывается одна и та же А-версия. Данные по варианту В считаются приемлемыми в тот момент, когда метрики обоих А-версий начинают сходиться.

Как становится ясно из указанных рекомендаций, сплит-тестирование — инструмент, который в большей степени подходит крупным и средним, чем мелким сайтам. Небольшие компании просто не могут позволить себе слишком долго ждать результатов, особенно когда речь идет о срочной маркетинговой акции.

Директ-маркетинговые проекты, рассчитанные на небольшое количество адресатов, также слабо приспособлены для дробного тестирования. Несколько десятков или сотен получателей рассылки не образуют статистически корректную выборку.

• Правило № 5. Соотношение показов А и В вариантов не обязательно должно составлять 50 / 50. Чем кардинальнее изменение, чем больший ожидается эффект — тем больше риск. По мере увеличения риска соотношение старого и нового вариантов могут быть 70 / 30, 80 / 20 и 90 /10. Это означает, что новая версия проверяется только на 10% трафика. Если в результатах не наблюдается серьезных ухудшений статистики, то рацио можно менять в более равновесную сторону.
• Правило № 6. Для более глубокого понимания поведения пользователей рекомендуется фильтрация показов по источникам трафика, по географическому признаку и т. п.
• Правило № 7. Следует изучать поведение только релевантного трафика, который можно выявить по источникам, используемым ключевым словам, географическим координатам и т. д.
• Правило № 8. Перед тестированием и при оценке результатов необходимо избегать туманных формулировок из привычного ассортимента маркетолога: популярность сайта, узнаваемость бренда, рост доверия и т. п. Сплит-тестирование — точная методика и нуждается в конкретных цифрах, абсолютных и относительных.

Заключение

Отдельная обширная тема, связанная с дробным тестированием — это программное обеспечение. К сожалению, в рамках статьи ее осветить невозможно. Достаточно лишь сказать, что наиболее популярным сервисом для этой цели является Google Website Optimizer. Российский бизнес должен оценить тот факт, что сервис является полностью бесплатным, как это уже стало традиционным для корпорации Google. GWO обладает обширной документацией и обучающими материалами, поэтому его освоение не представляет труда.