Fastuna AI: как мы создавали ассистента Машу для маркетинговых исследований
Делимся историей создания ИИ-оптимизированных маркетинговых исследований и зовем CEO и CMO проектов тестить Автомодератора бесплатно.
В маркетинговых исследованиях давно прослеживается тренд на эффективность: как сэкономить ресурсы, получая при этом лучшее качество данных.
Задача амбициозная :). Особенно для исследований, когда мы хотим услышать открытое, спонтанное мнение аудитории. Пару лет назад искусственный интеллект и генеративные модели сделали большой скачок в своем развитии. И мы с командой задумались: как искусственный интеллект может нам помочь?
Так и появилась Fastuna AI — инструмент с внедренным Автомодератором, который помогает снять с менеджера рутину по проведению интервью с аудиторией и обработке данных, освободив время для других задач внутри проекта.
Как мы его создавали и тестировали — в этом материале.
Идея, концепция, разработка
1 этап: воркшопы. Так как мы сами исследователи, к разработке продукта решили подойти привычными методами: услышать мнение аудитории. Все началось с серии встреч-воркшопов, на которые приглашались все желающие сотрудники — от руководителей проектов до разработчиков.
В ходе воркшопов мы обсуждали потребности клиентов, делились своим опытом и обсуждали функции, на которые хотелось бы сделать акцент.
Именно здесь красной нитью проходил вариант использования искусственного интеллекта в роли Автомодератора, который бы вел беседу с респондентами и анализировал собранные данные.
Почему? Всем, кто работает над своим продуктом, хочется услышать открытое мнение каждого потребителя — ведь именно для них мы работаем. Уже имеющиеся на российском рынке инструменты помогают на разных этапах исследовательской работы: написать гайд, расшифровать аудио-интервью. Но это отдельные инструменты под каждый этап, и на всех этапах нужен человек и его время — от общения с аудиторией до структурирования полученной информации.
2 этап: сбор команды. После воркшопов у нас образовалась группа самых заинтересованных: около пяти-шести человек. Это были разработчики, продакт-менеджеры, лид нашей разработки, который теперь занимается AI-направлением в компании.
В таком составе команда взяла в свои руки превращение идеи в оформленный продукт. Мы занялись изучением разных LLM-моделей, инструментов для работы с текстами, а также выстраиванием инфраструктуры будущей платформы. Благодаря этому родился образ нашего Автомодератора Маши, с которым и продолжили активно работать.
3 этап: обучение Автомодератора. Мы начинали с обучения Автомодератора вести интервью. Поскольку мы используем генеративные LLM-модели, обучение заключается в формулировке правильных запросов к ИИ для того, чтобы получать ожидаемый результат: наша Маша не должна вести себя непредсказуемым образом в ответ на разные реплики респондентов.
При этом Маша должна иметь достаточную свободу для того, чтобы самостоятельно принимать решения о том, в какой теме «копнуть глубже» и как именно. Так мы достигаем широкой палитры мнений и инсайтов.
А еще она должна воспроизводить «человеческое» отношение к респондентам: быть приветливой, эмпатичной, уметь переспрашивать и уточнять. Так, мы снимаем предвзятость аудитории к ИИ и позволяем свободно делиться своим мнением на любую тему.
И самое важное: мы учили ИИ не «галлюцинировать». Всем широко известны истории о том, как chatgpt убедительно ссылался на несуществующих авторов и в целом требовал большого фактчекинга своих ответов.
Так как Маша должна не просто общаться с аудиторией, но и структурировать полученную информацию, мы не могли себе позволить допустить таких вещей, подрывая доверие к результатам.
Как мы учили Автомодератора чувствовать
С самого начала и до сих пор мы внимательно следим за поведением Автомодератора. Позволив ИИ чувствовать определенную степень свободы (например, мы не фиксируем жестко сценарии поведения на все случаи жизни), были приятно удивлены: что, во-первых, Маша умеет обходить острые углы: например, аккуратно сливаться с вариантов пойти на свидание, если она не хочет. Во-вторых, она очень хорошо сочувствует: мы на самых первых этапах обучения попросили ее быть эмпатичной, не вкладывая в это понятие что-то конкретное.
У нас были кейсы, в которых неожиданным образом в ответах возникали личные истории: одна женщина в ходе разговора рассказала о том, что у нее проблемы в семье, хотя разговор шел о напитках. В ответ, Маша в силу своих технических возможностей, постаралась посочувствовать и поддержать респондентку как женщина женщину. Это помогло успешно продолжить интервью.
В другой раз девушка на этапе знакомства написала свое имя в уменьшительной форме. Автомодератор уловил тон беседы и начал к ней периодически обращаться: «да, моя дорогая», «я понимаю, моя дорогая». После этого девушка стала более искренне и открыто отвечать на вопросы. Человек не всегда поймет такое поведение в беседе с живым человеком, но с ИИ это настраивает и располагает :)
Оставляем вам пару реальных ответов Маши, которые заставили улыбнуться нашу команду.
Почему Маша
После завершения технической разработки и обучения, у нас появился новый челлендж: создать такого ИИ-ассистента, с которым люди захотят общаться и делиться своими историями.
Мы старались ориентироваться на комфорт аудитории. Эффективнее всего было спросить у пользователей напрямую: «Кто лучше? С кем тебе будет комфортнее общаться, с женщиной или с мужчиной?». Большинством голосов была выбрана женщина.
Для выбора внешности было сгенерировано несколько вариантов, которые теперь представлены на платформе. Самый популярный вариант респондентов лёг в основу образа Маши. Но, при необходимости, можно выбрать другой, более подходящий аватар собеседника.
Что касается имени, оно не имеет никакого отношения к определенному человеку. Ее зовут Маша, а могут звать Петей. Если вдруг кто-то из клиентов не хочет ассоциировать Автомодератора с конкретным именем, они могут поменять его на платформе в 2 клика.
«Будь со мной зайчиком» или что сказали пользователи
На этапе полноценного запуска у нас были опасения, что к Маше будет доверие ниже, чем к обычному человеку: по закону мы обязаны сразу сообщать пользователям, что с ними общается искусственный интеллект.
Но после анализа транскриптов интервью сомнения были исчерпаны: люди открыто и подробно отвечают Маше, несмотря на то, что каждый мог бы подумать: «Пф, это даже не живой человек мне задал, я не буду париться».
В панели в целом много людей, которые не очень охотно отвечают на открытые вопросы в количественных исследованиях, где уже есть готовые варианты ответов, да и в жизни не каждый человек сможет ответить развернуто на все темы (кому-то просто скучно говорить 20 минут о повседневной категории).
Но даже если на основной вопрос кто-то ответил односложно, Маша задаст уточнение, и потом ещё одно уточнение, например. Таким образом, односложный ответ превращается в полезную развернутую фактуру.
Был один прекрасный диалог, в котором девушка при регистрации попросила называть ее императрицей. Это никак не влияет на качество данных, но людям добавляет какого-то энтузиазма: им приятнее становятся общаться с мыслью — «Да я разговариваю с ИИ, но зато он называет меня императрицей».
У нас с ней часто заигрывают: кто-то просит её нарисовать котика, пытаясь «прощупать» границы возможностей нас и нашего Автомодератора.
Бэд кейсы
Когда разрабатываешь ИТ-продукты и делаешь это в короткие сроки, то не всегда успеваешь осознать: это сейчас бэд кейс или крутое преимущество. Да и в целом, без провалов (больших и маленьких), не обходится ни один IT-продукт. Особенно когда технологии, которые лежат в основе, параллельно тоже постоянно развиваются и обновляются.
Например, про длинные гайды: мы знаем, что в классических качественных исследованиях абсолютно нормально говорить с респондентами по 1–1,5 часа. Казалось бы, это может делать и Маша. Но формат общения с живым человеком незаменим: только человек может и отвлечься от темы, если это нужно, чтобы дать респонденту почувствовать себя комфортно и немного «выдохнуть», и правильно направлять разговор. Да и все-таки это более эмоциональное общение с личным контактом. Так мы решили остановиться на диалогах до 20-30 минут – это оптимальная продолжительность, чтобы максимально удержать внимание респондента.
Еще в начале мы работали как стартап — ежедневно нужно было накатывать новые и новые фичи, чтобы чинить то, что неожиданно сломалось и улучшать то, что работает не так, как нам бы хотелось. Поэтому иногда Маша «уходила на больничный» в неожиданный момент — сервис падал и отваливался в ходе быстрых изменений и улучшений. Теперь время обновлений на платформе ожидаемое и предсказуемое, мы лучше синхронизируемся в этих моментах с командой и клиентами, и сервис работает без сбоев.
Что дальше (и как протестировать Fastuna AI)
Маша — это прежде всего инструмент, и он не может заменить исследователя полностью. Ей все еще нужно прописывать задачи и составлять предварительный гайд интервью с респондентами. Но она хороший помощник и грамотно анализирует скрипты.
На данный момент, мы работаем в следующих направлениях:
- Внедряем AI-решения в количественные проекты Fastuna, чтобы “усилить” их AI-частью с Автомодератором, где это необходимо. А также улучшаем отчеты по открытым вопросам.
- Работаем над DIY-форматом. Такая возможность есть уже сейчас, но мы активно упрощаем взаимодействие с Машей у клиентов, у которых нет дополнительных навыков исследователя/программиста. Мы стремимся, чтобы любой мог прийти с хорошо сформулированной задачей, а искусственный интеллект ему выдал вариант её решения. Клиенту останется только согласовать этот вариант и «передать» Автомодератору для работы.
Мы знаем, что на Sblogs много интересных проектов, которым нужно исследование: для тестирования идеи, нового продукта, упаковки или просто для исследования аудитории (о том, как бизнесу использовать исследования, писали тут).
Расскажите нам, чем вы занимаетесь и для вам чего нужно провести исследование, поделитесь в короткой форме. Проектам, которым Маша сможет помочь, мы предложим совместное исследование и расскажем о результатах здесь.