Аналитический квест для конференции: не только озадачили участников, но и выбрали нового аналитика в компанию

CRM-group уже третий год подряд организует конференцию «Маркетинг и кутёж». Официальная часть мероприятия — доклады экспертов в CRM-маркетинге, а перед вечерней кутёжной программой занимали участников в различных околомаркетинговых конкурсах, викторинах, обсуждениях.  

Команда аналитики подготовила свою активность. Так как времени отвели всего 30 минут, задание должны быть не очень сложным. Придумали «Аналитический квест».

Подготовили датасет на обезличенных клиентских данных из области ретейла, с информацией о продажах за два неполных года и дополнительными метриками: продажи, сессии, показы рекламы, отправленные коммуникации и так далее. Добавили информацию за ещё один предыдущий год — для определения сезонности. И количество покупок — для определения динамики среднего чека и изменения после этого покупательского поведения.

Такую таблицу получали участники конференции при прохождении аналитического квеста

Предложили участникам конференции решить аналитическую задачу

В данных было несколько периодов, где продажи заметно упали. Участникам предлагалось выявить эти периоды, проанализировать метрики и выдвинуть гипотезы о причинах падения.

Предполагалось, что в датасете заложено три основные гипотезы и две неочевидные дополнительные.

В квесте участвовали три команды, которые за отведённые полчаса нашли все базовые гипотезы.

Участники аналитического квеста на конференции «Маркетинг и кутёж» справились с заданием за полчаса

Переработали квест в тестовое задание для кандидатов в отдел аналитики

Конференция закончилась, конкурсные материалы ушли в архив, но, как оказалось, ненадолго.

Уже осенью мы открыли вакансию аналитика, для которой не стали создавать новое тестовое, а использовали задание квеста.

Проверять у кандидата технические скилы, вроде знания SQL и Phyton, мы не стали — их сейчас знают даже школьники, и при желании всё можно нагуглить. А вот аналитические навыки не нагуглишь.

Плюс мы активно используем в работе Power BI, поэтому кандидат должен был уметь проектировать дашборды и правильно визуализировать данные.

Подготовили тестовое задание из двух частей. Проверяли:

1. В первой части — аналитические способности с помощью задания из квеста: представить гипотезы о причинах падения продаж.
2. Во второй — умение визуализировать данные в дашборде. Взяли рабочий дашборд, обезличили его и видоизменили вопреки всем правилам построения дашбордов. Попросили кандидатов найти ошибки и дать рекомендации по улучшению дашборда.

Результат попросили оформить в гуглодоке.

Провели качественный отбор кандидатов

Такое нестандартное тестовое задание помогло выявить критические для аналитиков ошибк

1. Невнимательно читать ТЗ. Мы просили прислать результат в гуглодоке, но получали pdf-, html-, git-файлы и прочие форматы.
2. Видеть только очевидное. В задании мы просили выявить периоды падения продаж и выдвинуть гипотезы о причинах. Нигде не было указано, что только за 2023 год. 90% кандидатов ограничивались почему-то анализом этого периода (самое очевидное падение) полностью игнорируя остальные периоды.

Очевидные периоды падения показателей в таблице

1. Усложнять. Около 80% кандидатов использовали для обработки датасета скрипты на Python, строили матрицы корреляций, регрессии и так далее. Напомним, во время квеста менеджерам отводилось всего 30 минут, а выполнить задание они должны были на листке бумаги. От кандидатов же мы получали лонгриды скриптов, горы графиков и, увы, поверхностные выводы — к сожалению, неверные.

Умение формировать отчёты, делать корректные выводы и оформить результат — одни из важнейших навыков аналитика. Когда топ-менеджер просит выявить причины падения продаж, он не будет самостоятельно выискивать ответ в скриптах и графиках — ему нужны понятные лаконичные выводы.

Вторая часть задания — найти ошибки в дашборде — оказалась чуть проще. Результат зависел от опыта и насмотренности кандидата. 50% участников не справились.  

Хочется отметить, что большинство кандидатов пришло после многочисленных технических курсов, где обучают пользоваться инструментами (SQL, Python и т. п.), но никак не развивают аналитические навыки, в чём зачастую помочь может только опыт.

Получили обратную связь от участников и выбрали нового сотрудника

Некоторые кандидаты на собеседованиях благодарили за нетипичное тестовое задание, а именно: за аналитические задачи. Задание получилось оригинальным и — что важно! — правильное решение нельзя было нагуглить!

В результате мы взяли нового сотрудника, у которого необходимые технические навыки присутствовали «по умолчанию», и тестовое задание было выполнено гораздо лучше, чем у большинства кандидатов.

Профит

— 78 кандидатов запросили тестовое;

— 90% участников ограничивались анализом самого очевидного падения;

— 50% совершили грубые ошибки во второй части;

— 1 человек справился и был принят на работу.

Этот опыт помогает нам смотреть глубже стандартных навыков специалиста при найме — и не только аналитиков. Ведь на проектах наших клиентов часто приходится идти шире поставленной задачи и находить неочевидные проблемы и решения.