Бенчмарки полезны, но не все — где искать правильные ориентиры

Признавайтесь, качали отчёты с бенчмарками от Litmus и других известных компаний? А вот Брайан Балфор — CEO Reforge и бывший президент по росту в HubSpot — считает, что они практически бесполезны.

В статье делюсь его инсайтами о том, в чём проблема с большинством бенчмарков и где искать статистику, которая на самом деле пригодится в работе.

Откуда маркетологи узнают бенчмарки

Большинство источников бенчмарков можно расположить на следующей матрице:

На оси X размер выборки — количество данных, которые использовали, чтобы узнать бенчмарки. На оси Y показано, насколько группа выборки схожа с вашим бизнесом. Если сходство высокое — значит, группа выборки имеет такую же или похожую целевую аудиторию, продукт и бизнес-модель, что и ваша компания.

Теперь давайте посмотрим, что это за источники и как работать с каждым из них.

Отчёты и исследования

Это те самые бенчмарки, которые компании вроде Litmus регулярно публикуют в исследованиях. Они находятся в нижнем правом углу матрицы.

Такие источники обычно опираются на большую выборку данных, но уровень сходства с вашим бизнесом здесь очень низкий. Даже если бенчмарки соответствуют вашей индустрии, в них намешано много контекста, который сильно отличается от вашего: другие продукты, бизнес-модели и так далее.

Брайан Балфор называет четыре причины, почему не стоит опираться на исследования и отчёты.

1. Шум в статистике.

Часто не менее 80% данных — это низкокачественные заявки. Из-за этого появляется очень много шума в статистике, то есть данных и цифр, которые получились случайным образом и не дают сделать общий вывод.

1. Средние значения бесполезны.

В большинстве отчётов используются именно средние значения и медианы. А они будут искажены в сторону маленьких компаний и низкокачественных заявок, которых в исследовании, скорее всего, больше всего. Результат — слишком низкие бенчмарки для компании, которая хочет расти быстрее.

Вместо того, чтобы сравнивать себя с «середнячками», было бы полезнее посмотреть на бенчмарки лучших конкурентов в вашей индустрии. Но, увы, такие данные почти невозможно найти в открытом доступе.

1. Метрики те же, а методы подсчёта разные.

LTV — это LTV, а отток — это отток, ведь так?

А вот и нет. Разные компании измеряют одни и те же метрики совершенно по-разному — даже если работают в одной и той же индустрии.

Но в опросах для таких исследований редко уточняют методики подсчёта. Чаще всего просто спрашивают: «Какой у вас LTV?» Поэтому в отчёте могут быть представлены бенчмарки, которые рассчитаны совсем не так, как их считаете вы.

Например, часто компании по-разному считают CR (Click Rate) и CTOR (Click to Open Rate). Оба показателя связаны с кликами и часто используются в маркетинге. Однако CR — это отношение кликов к доставкам, а CTOR — отношение кликов к открытиям.
Путаница с этими метриками есть даже некоторых CRM-платформах: например, в интерфейсе пишут Click Rate, а на самом деле считают метрику по формуле CTOR.

Никита Швецов

руководитель интернет-проектов CRM-group

Компании, которые делятся своими бенчмарками, часто хотят сохранить анонимность. Поэтому в исследовании вы увидите цифры, но никогда не узнаете, какие продукты получили такой результат или в чём причина роста или падения метрики.

И всё же, отчёты с бенчмарками можно использовать

Главное — следовать правилам:

1. Всё подвергайте сомнению;
2. Игнорируйте бенчмарки, которые никак не сегментированы — например, не привязаны к какой-либо индустрии;
3. Если возможно, смотрите на результаты топовых компаний;
4. Отдавайте предпочтение бенчмаркам, которые идут в комплекте с контекстом: что за компания, какой у неё продукт и так далее.

И, конечно, если вы успели накопить собственные данные, они — всегда в приоритете.

Обсуждения на форумах

Это ещё один популярный источник бенчмарков. На матрице он находится в левом нижнем углу.

К сожалению, обсуждения на форумах — тоже не особенно полезный ресурс. На это есть три причины.

1. Низкий уровень сходства.

Бенчмарки участников форума будут слишком сильно отличаться от вашего бизнеса. У них другая аудитория, бизнес-модель и продукт.

1. И снова: средние значения — бесполезны.

Обычно в обсуждениях делятся своими средними результатами — выше мы уже упомянули, почему средние бенчмарки мало что дают. Полезнее сравнивать себя с лучшими, а не с «середнячками».

1. Недостаточно контекста.

На форумах люди дают крупицы информации, но не рассказывают о дополнительных факторах — например, об истории бренда или о других каналах. Без контекста все эти бенчмарки с форумов — просто цифры.

Чтобы использовать форумы, придётся копать глубже

Если вам всё равно хочется поискать бенчмарки на форумах, придётся участвовать в обсуждениях и копать, чтобы получить больше контекста. Начать можно с двух уточняющих вопросов:

1. Кто ваш конечный пользователь?
2. Какая у вас бизнес-модель?

Опыт конкурентов

В верхнем левом углу матрицы находятся бенчмарки компаний с максимально высокой степенью сходства с вашим бизнесом — то есть, ваших конкурентов. Такие данные можно получить, например, на конференции или в разговоре один на один.

У этой группы бенчмарков есть один важный минус — низкая степень доверия. Сами понимаете, вероятность получить от конкурентов на 100% достоверную и актуальную информацию крайне мала.

В теории, данные конкурентов можно узнать самим

Например, в некоторых сервисах для SEO-анализа можно узнать, какой трафик получает сайт конкурента или сколько он тратит на рекламу.

Но и здесь есть пара проблем:

1. Такие точные и одновременно общедоступные данные — большая редкость. Некоторые метрики можно узнать из открытых источников, но нет никакой гарантии, что они вообще актуальны. Платформа может в любое время изменить способ представления данных или иметь сбои, которые ей не выгодно исправлять.
2. Таким способом можно узнать только поверхностные бенчмарки. Как и в случае с предыдущими двумя источниками, это просто голые цифры, без контекста.

Опыт похожей компании

Источник находится в середине левой части нашей матрицы. Такую информацию можно получить в общении с представителем компании один на один.

Идеально, если ваши бизнесы будут похожи по одному или нескольким критериям, — скажем, у вас одинаковая целевая аудитория и бизнес-модель. Важно, чтобы вы не были полностью одинаковыми — например, у вас разные продукты. Такой собеседник не является вашим прямым конкурентом, а значит вы сможете без опаски обменяться бенчмарками и своими выводами.

Например, представитель Pinterest мог бы поговорить с LinkedIn, VK или другой социальной онлайн-платформой: у этих компаний похожие продукты и бизнес-модели, но разные целевые аудитории. Например, эти компании могли бы обсудить, как они мотивируют случайных посетителей зарегистрироваться в платформе.

Главный минус общения один на один — слишком маленький размер выборки. Как бы глубоко вы не копнули, держите в голове, что это всего лишь один кейс

Как сделать общение 1:1 продуктивным

1. Помните о том, что вы разные. Разные ценностные предложения, целевые аудитории, бизнес-модели — всё это влияет на цифры. К примеру, хотя формально и Pinterest, и LinkedIn — это социальные сети, они существенно отличаются как минимум по двум параметрам: разные аудитории и цели. В Pinterest — творческие люди, большинство из них — женщины, а сама сеть — скорее про вдохновение и досуг. В LinkedIn — люди различных профессий, чаще — из сферы маркетинга и IT, которые используют ресурс для поиска связей в рабочем контексте. Оба фактора, естественно, влияют на все показатели.
2. Больше контекста. Ещё больше контекста. Постарайтесь выяснить у коллеги максимум деталей, чтобы получить полное представление о бизнесе, а не просто цифры.
3. Задавайте вопрос «почему». Уточняйте у собеседника, почему то или иное действие сработало или не сработало. Вопрос «почему» приведёт вас к инсайтам, которые вы сможете применить на своем продукте.

Опыт нескольких похожих компаний

Это — золотая середина в матрице бенчмарков.

У такого подхода есть все преимущества обсуждений один на один, однако выборка немного больше. Благодаря этому вы посмотрите на ситуацию под разными углами и глубже погрузитесь в проблему.

Как получить максимум полезной информации на встрече

Коротко — общайтесь с лучшими компаниями, которые похожи на вашу. Только так вы сможете получить надёжные бенчмарки, к которым стоит стремиться.

Вот несколько советов, которые помогут найти собеседников и узнать ценную информацию.

Начните с малого

Для начала вам нужно всего два-три человека из вашего круга общения: предложите им встретиться и обменяться опытом. Если вы не знакомы с похожими на вас коллегами (напомним: звать прямых конкурентов или вообще не похожие компании нет смысла), можно отправить им письма в холодную.

Поделитесь опытом первыми

Можно показать участникам встречи презентацию и поделиться парой своих последних гипотез или тестов. Если коллеги пришли по приглашению из холодного письма, ценность презентации должна быть ещё выше.

Разогрейте участников

Сделайте дисклеймер, что всё, что будет происходить в рамках встречи — конфиденциально. Для разминки начните с простого обсуждения — например, со следующих тем:

1. как компания попробовала что-то новое и оно сработало;
2. как компания попробовала что-то новое и оно не сработало;
3. какие выводы сделали;
4. какой вопрос или проблема волнует сейчас.

У такой дискуссии низкий порог входа: каждый сможет поучаствовать, не раскрывая слишком много информации.

Расширяйте группу

Когда вы успешно проведёте пару встреч с микрогруппой, попросите каждого человека подумать, могут ли они позвать с собой кого-то ещё.

Периодически меняйте лидера

Как только встречи войдут в рутину, попробуйте поменять лидера группы. Лидер — это тот, кто выбирает локацию, придумывает тему встречи и модерирует обсуждение.

Сделайте встречи регулярными

Можно проводить дискуссии 1-2 раза в месяц. Важно, чтобы от встречи к встрече состав группы оставался примерно одинаковым: люди, которые уже знакомы, будут сильнее раскрываться и делиться более глубокими инсайтами.

Приглашайте компании с разными сходствами

Можно использовать эту стратегию с разными группами. Например, в одной группе у вас компании с общей бизнес-моделью, а в другой общая тема — это канал коммуникации или одна и та же аудитория.

Памятка: где искать бенчмарки и как с ними работать

1. 1. В исследованиях и отчётах слишком большой размер выборки и низкий уровень сходства с вашим бизнесом. Используйте такие бенчмарки с осторожностью.
2. 2. В обсуждениях на форумах размер выборки чуть меньше, но тоже низкий уровень сходства с бизнесом. Чтобы получить больше пользы, придётся раскапывать детали.
3. 3. В обсуждениях с конкурентами у вас будет высокая степень сходства, но вот уровень доверия слишком низкий. В открытых источниках узнать ценные бенчмарки тоже вряд ли получится.
4. 4. В обсуждении один на один с похожей компанией у вас больше шансов узнать релевантные бенчмарки. Важно, чтобы ваши бизнесы были похожи по одному или нескольким критериям, но не по всем сразу.
5. 5. Групповое обсуждение с похожими компаниями — это идеальный источник бенчмарков: вы сможете рассмотреть ситуацию под разными углами, найти закономерности и построить гипотезы. Но, конечно, для этого придётся искать людей и организовывать встречи.

Несмотря на все недостатки, любые бенчмарки можно использовать как отправную точку для оценки продукта или бизнеса в целом. Главное — ко всему относиться с разумной долей скептицизма.