Графика на основе каскада нейросетей

2024-08-20 15:41:14 Время чтения 3 мин 171

Привет, это Настя, руководитель отдела контента ИИ-сервиса Aigital. Мы создаем инструменты на основе нейросетей, чтобы пользователи и корпоративные команды могли легко и быстро решать маркетинговые и бизнес-задачи. Здесь мы делимся разборами наших навыков и ИИ-ассистентов.

Сегодня расскажу о создании графики на основе каскада нейросетей.

Для пользователя все максимально просто — есть всего 3 поля, которые он заполняет:

что изобразить;
что учесть;
какие пропорции.

И получает изображение. Но под капотом над этим изображением трудится не одна нейронка.

Полученный запрос попадает в переводчик, который переводит его на английский и передает в генератор идей.
В генераторе идей есть внутренний фреймворк, который улучшает креативность запроса. С его помощью нейронка разбивает задачи на части, углубляется в каждую, находит лучшее решение и прорабатывает его в качестве финального результата. Наш фреймворк основан на работе «Паттерны креативного мышления».
На основе полученных данных генерируется промпт, благодаря которому ИИ будет понимать, как описать иллюстрацию и какой из 30+ графических стилей выбрать. Все это позволит графической нейронке лучше «почувствовать» настроение изображения.
В «Графике», как и в других навыках, есть сет из коротких подсказок, которые добавляются к промпту и описывают стиль. В этом навыке, например, используем 2D Flat.
Отдельно для навыка прописан и негативный промпт, который исключает вероятность того, что получится криво сгенерированная картинка.
Все это собирается в единый промпт и переходит в ноду нейронки Fooocus, которая генерирует изображение.
Далее результат передается в Aigital и сохраняется на сервере, чтобы пользователь мог вернуться к нему в истории своих генераций.
Отдельная фишка этого каскада в том, что если на картинке есть лицо, изображение из Fooocus переходит в дообученную модель Stable Diffusion, которая делает черты лица более четкими и естественными.