Дневник стартапа #9: ИИ-ассистент на собственной базе знаний, генератор промптов и брендированные селфи

Привет, это Настя, руководитель отдела контента в Aigital — сервисе на основе нейросетей для решения маркетинговых задач. Мы придумываем и разрабатываем шаблоны, которые упрощают пользователям создание контента для рекламы, СМИ и соцсетей. Каждую неделю мы пишем о развитии стартапа и изнанке продукта.

В этом выпуске расскажем о нашем ИИ-ассистенте, который помогает формулировать промпты и работает на собственной базе знаний. Также подробно разберем, как и зачем превращать клиентов в лица вашего бренда.

ИИ-ассистент со своей базой знаний

Когда мы выпустили первых ИИ-ассистентов, увидели, что нам не хватает главного — помощника в работе с нейросетями и с нашим сервисом. Мы назвали его ИИ-гид и запрограммировали помогать пользователям писать промпты. Но в процессе разработки поняли, что он также может подсказывать пользователям, как решать задачи с помощью Aigital.

Как работает

Как и всем нашим ассистентам, мы прописали ИИ-гиду сложную роль: специалиста в области ИИ, промпт-инженера, компетентного в области обработки естественного языка и машинного обучения. Он хорошо знаком со спецификой работы различных ИИ-моделей. Задача ассистента — консультировать различных специалистов в том, как ИИ может помочь в их повседневных задачах.

Например, продакт-менеджер может спросить его, как использовать нейросети в своей работе, и ассистент объяснит, какие задачи можно делегировать искусственному интеллекту.

Ответ ИИ-гида на вопрос, как использовать нейросети в работе продакт-менеджера

Если попросить ИИ-гида помочь с промптом для текста или картинки, он пропишет подробный промпт с учетом особенностей взаимодействия как с LLM-ками, так и с графическими моделями. Он обучен на примерах наших промпт-инженеров.

Так, например, если пользователь просит написать промпт для генерации изображения, он пропишет передний и задний план, особенности композиции и настройки камеры. Для LLM-модели он задаст роль, компетенции, подробно опишет задачу и ожидаемый результат.

В ассистенте прописан стиль общения: он должен быть дружелюбным, заботливым и заинтересованным в решении задач пользователя. Мы просим его общаться профессионально, избегая жаргонизмов, как если бы он советовал что-то другу или коллеге.

Особенность этого ассистента в том, что при поиске ответа он обращается к нашей базе знаний. Можно попросить ИИ помочь решить конкретную задачу в Aigital.

Например, я спросила ИИ-гида, как вывести новую коллекцию товаров на рынок с помощью Aigital, и он подсказал ассистентов и навыки, которые помогут в этом.

Ответ ИИ-гида на вопрос, как вывести новую коллекцию на рынок с помощью Aigital

ИИ-гид с опорой на нашу базу знаний по навыкам — это большой шаг к созданию персональных корпоративных ИИ-ассистентов. В первую очередь они будут доступны компаниям, которые используют Aigital как внутреннюю корпоративную платформу.

Аватарка с помощью нейросетей

Мы обновили навык «Аватарка» — маркетинговый инструмент для создания персонализированных брендированных картинок. У него изначально был крутой потенциал, но качество генераций нас не устраивало, поэтому тестировали разные модельки.

На этой неделе пересобрали цепочку моделей, и теперь навык лучше передает как задумку пользователя, так и черты лица с фотографии. И прежде чем перейдем к техническим подробностям, давайте обсудим, зачем в маркетинге и продажах генерировать аватарки.

Во-первых, с помощью этой технологии гораздо проще обновлять визуальный контент. Достаточно загрузить фотографию и описать роль, которую будет играть этот человек. Так можно сделать лицом своей рекламной кампании сотни покупателей, чтобы быть ближе к аудитории и создать более крепкую эмоциональную связь с брендом.

Также вы можете персонифицировать свой бренд, сгенерировав персонажа в навыке «Фотосток: Люди», чтобы использовать его для рекламных креативов, баннеров и контента в соцсетях. Например, фото для своих ИИ-ассистентов мы сгенерировали в навыке «Фотосток: Люди», а с помощью «Аватарки» можем представлять их в разных образах на сайте и в телеграм-канале.

Как работает

Создание аватарки состоит из 6 этапов.

1. В интерфейсе сервиса пользователь добавляет фото и пишет текстовый запрос, по которому будет генерироваться картинка.

Рекомендуем прописывать более подробно идею в поле «Кого изобразить»

Чтобы черты лица на картинке были больше похожи на оригинал, загружайте фотографии анфас, без дополнительных аксессуаров вроде солнечных очков.

1. Полученный текстовый запрос нейросеть переводит на английский язык.
2. В это время GPT-4 Vision анализирует загруженную фотографию, определяет пол, расу, цвет глаз и кожи, форму губ, овал лица и другие детали. Это сканирование и изучение фото позволяет сгенерировать аватарку максимально похожей на оригинал. Без Vision можно получить изображение человека другого пола, с другим цветом кожи или иными чертами лица.
3. Vision выдает текстовое описание лица, которое объединяется с пользовательским запросом. Здесь же прописываются дополнительные параметры для генерации качественного фотореалистичного изображения.
4. Затем этот промпт передается в графическую нейросеть Fooocus, настроенную генерировать реалистичные портреты. Она создает фотореалистичное изображение по пользовательскому запросу с персонажем, по описанию похожим на человека с фото.
5. На следующем этапе происходит замена лица. С помощью технологии Face Swap лицо на сгенерированной картинке меняется на лицо с фотографии.

Оригинальное фото » изображение по промпту » замена лица

Новости проекта

1. На этой неделе база Aigital преодолела гигабайт сгенерированных пользователями данных. Это зашифрованные результаты генераций в различных навыках. Благодаря базе пользователи могут обращаться к истории генераций и возвращаться к своим постам в соцсети, статьям, рекламным креативам и прочим наработкам. Год назад этот объем казался нам нереальным.
2. Работаем над онбордингом и полезными материалами об ИИ, которые будут доступны прямо на платформе.
3. Готовим к выпуску транскрибатор и саммаризатор аудио- и видеозвонков. Уже испытали на своих созвонах, чуть-чуть допилим и добавим на платформу.

На следующей неделе расскажем о бизнес-кейсе и ИИ-ассистенте «Креатологе», которых выбрали читатели предыдущих дайджестов.

Если вы используете Aigital более двух недель и уже покупали один из пакетов кредитов, хотим пригласить вас на интервью. Нам интересно узнать, как вы работаете с платформой, какие задачи решаете и с какими сложностями сталкиваетесь.

Записаться на интервью можно через Calendly или «Планерку» (привет, Роман Рабочий), либо напишите мне в телеграм — nastassi_k, я подберу удобное время.

А если вам интересно читать о мире нейросетей, идеях и фейлах проекта, подписывайтесь на наш телеграм-канал. А то мы каждый раз под мемами намекаем на него, а подписаться ни разу не пригласили :)  

Предыдущий выпуск дневника можно почитать по ссылке.