А/В-тестирование, которое увеличило нам CTR на 91% за 5 шагов

6 Мар Время чтения 11 мин 489

В статье о том, как правильно провести А/B-тестирование и избежать частых ошибок. Шаг за шагом объясняем на реальном примере, где мы с помощью тестов увеличили кликабельность рекламы на 91,67%. Поймете, как правильно формулировать гипотезы и сможете сразу же применить инструменты в своей сфере.

Летом мы запустили рекламу для онлайн-курсов программирования для детей. Всё было продумано и всегда давало хороший результат: правильный оффер, понятный текст, качественная картинка.

Но был один нюанс — кликов почти не было. CTR составил всего 0,12%, что критически мало для рекламы во ВКонтакте.

Нужно было вводить изменения в изображения. Но что именно даст результат? Чтобы не гадать, мы провели A/B-тестирование. В результате всего одно изменение — дало прирост CTR на 91%.

Привет, это Ирина, редактор маркетингового агентства «Анкер»! В этой статье мы пошагово разберем, как правильно проводить A/B-тестирование, чтобы получить достоверные данные и реальные результаты. Все на на примере реального конкретного кейса и тестировании.

Сможете применить инструменты в своей сфере и поймете, какие ошибки искажают результаты тестирования.

Давайте читать!

Шаг 1: Определение цели и метрик
Шаг 2: Формулирование гипотез
Шаг 3: Подготовка вариантов для теста
Шаг 4: Определение выборки и её размера
Шаг 5: Запуск теста и анализ результатов

Ошибки, которых стоит избегать

Что такое A/B-тестирование и зачем оно нужно

A/B-тестирование (или сплит-тестирование) — это метод, который помогает определить, какой вариант рекламы, страницы сайта или рассылки работает лучше.

Суть теста проста: аудиторию делят на две группы и показывают им разные версии одного и того же элемента, а затем сравнивают результаты.

Цель метода — понять, какое изменение приведёт к лучшему результату, например к росту конверсии.

Когда стоит проводить A/B-тест?

- Нужно улучшить ключевые показатели (конверсия, кликабельность и т. д.).

- В команде есть разногласия по поводу изменений.

- Клиент предлагает изменения, но нет уверенности, что они улучшат ситуацию.

- Нужно доказать эффективность нового инструмента.

Где применяется (сайты, реклама, email-рассылки и т. д.)

Применяется а/б тестирование практически везде:

Этапы проведения A/B-тестирования

Мы разберем весь процесс тестирование на примере одного из наших проектов, где нам удалось поднять кликабельность на 91%.

-Шаг 1: Определение цели и метрик

Прежде чем запускать тест, нужно чётко понять, что именно вы хотите улучшить.

Например, в нашем примере мы будем рассказывать о том, как проводили A/B-тестирование для повышения кликабельности рекламных объявлений (CTR).

Идеально придерживаться принципа 80/20%. Мы распределяем 80% бюджета на рабочие связки, а 20% пускаем на тестирование, в том числе и текущих рекламных кампаний по принципу A/B теста.

Рекомендации:

- Определите метрику, по которой будете измерять результаты. Подойдут только количественные метрики, выраженные в цифрах. К ним относятся, например, CTR, CPA, конверсия и т. д.);

- Запишите текущие показатели, чтобы иметь точку отсчёта.

На старте работы с одним из наших проектов — онлайн-курсах программирования для детей — кликабельность рекламы была всего 0,12%, что в 4 раза меньше, чем по нашим показателям в других проектах в ВКонтакте для схожих проектов.

Скрин рекламного кабинета до работы с кликабельностью.

Мы поставили цель – увеличить этот показатель, чтобы реклама лучше откручивалась.

-Шаг 2: Формулирование гипотез

Гипотеза в A/B-тестировании — предположение о том, какой вариант объекта принесёт лучший результат. Важно, чтобы гипотеза была чёткой и проверяемой.

❌ «Сделать креатив более цепляющим» – это слишком размыто и непонятно.

✅ «Если переместить кнопку в нижний правый угол страницы, то кликабельность повысится в три раза».

Обычно гипотезу составляют по простой формуле: «вариант B работает лучше, чем вариант A». В процессе A/B-теста вы либо сможете подтвердить гипотезу, либо опровергнете её.

Так как мы ежемесячно откручиваем по 3 млн руб. в нише детского инфобизнеса с другими клиентами, тестировать тексты, офферы и посадочные страницы мы не стали. В них точно не было проблем.

Поэтому мы решили тестировать замену изображений в рекламе.

Наша гипотеза для повышения кликабельности звучала так: «Если заменить текущий креатив на более простой (без дизайнерских элементов), то кликабельность увеличится».

-Шаг 3: Подготовка вариантов для теста

На этом этапе создаются два варианта элемента, который тестируется.

Нам важно было оставить фотографию школы, чтобы цеплялось внимание родителей, которые приводят своего ребенка учиться в это здание. Мы подготовили два новых варианта рекламного креатива:

1. С надписями без дизайнерских элементов: линий, треугольников, минимизировали «вылизанность», но при этом оставили упоминание номера школы и оффер.

2. Без надписей: оставили упор только на фотографии, все офферы были в текст.

-Шаг 4: Определение выборки и её размера

Размер выборки — это количество пользователей, которым покажут разные варианты объекта. От размера выборки зависит достоверность результатов A/B-тестирования: если пользователей слишком мало, результат нельзя считать верным. Для достоверности теста важно определить, сколько людей должны увидеть каждую версию.

Обычно тестируют 2–30% от генеральной совокупности пользователей, это все пользователи, которые взаимодействуют с объектом. Например, число посетителей сайта в месяц.

Чтобы понять, эффективный или нет креатив мы подобрали, с точки зрения продаж, достаточно скрутить его на 15-20к показов по всем объявлениям.

-Шаг 5: Запуск теста и анализ результатов

После теста необходимо сравнить метрики и определить, какой вариант показал лучшие результаты.

Если новый вариант показал, например, конверсию на 5% больше, его внедряют и используют дальше. Если оказалось, что разницы почти нет или старый вариант лучше нового, формируют новую гипотезу и проверяют её.

В нашем случае, результаты тестирования получились такие:

- Исходный креатив: CTR 0,12%;

- Креатив без дизайнерских элементов: CTR 0,23%;

- Креатив без надписей: CTR 0,20%.

Вариант с простым текстом и без дизайнерских элементов дал наилучший результат. Мы увеличили CTR на 91,67% и внедрили этот креатив в рекламную кампанию.

На этом мы не остановились. У нас была ещё одна гипотеза, которая лежит на поверхности, но мало кто об этом задумывается.

Она дала прирост CTR еще на 75%! Подробно об этом рассказывали в прошлой статье Как поднять кликабельность рекламного объявления в ВКонтакте на 166,67%.

Ошибки, которых стоит избегать

- Тестирование сразу нескольких изменений.

Нельзя одновременно менять несколько элементов — например, цвета кнопок, призывы к действию, фотографии и текст. Иначе невозможно будет понять, какое из изменений повлияло на результат.

Поэтому нужно следовать правилу: одно изменение — одно сплит-тестирование.

- Недостаточный объём выборки и преждевременное завершение теста — маленькая выборка может дать случайные результаты.

Не стоит завершать сплит-тестирование раньше, чем был достигнут размер выборки. Результаты могут быть недостоверными. Невозможно понять какой креатив отработал лучше, если по одному было совершено 10 кликов, а по другому 12.

- Игнорирование внешних факторов.

На результаты эксперимента могут влиять внешние факторы: сезонность, периоды распродаж. Чтобы получить статистически значимые результаты, лучше проводить A/B-тестирование в нейтральные периоды.

Лучше заранее для самих себя обозначить, что могут быть внешние условия, которые сейчас могут повлиять на конечный результат.