Графика на основе каскада нейросетей

2024-08-20 15:41:14 Время чтения 3 мин 295

Привет, это Настя, руководитель отдела контента ИИ-сервиса Aigital. Мы создаем инструменты на основе нейросетей, чтобы пользователи и корпоративные команды могли легко и быстро решать маркетинговые и бизнес-задачи. Здесь мы делимся разборами наших навыков и ИИ-ассистентов.

Сегодня расскажу о создании графики на основе каскада нейросетей.

Для пользователя все максимально просто — есть всего 3 поля, которые он заполняет:

  1. что изобразить;
  2. что учесть;
  3. какие пропорции.

И получает изображение. Но под капотом над этим изображением трудится не одна нейронка.

  1. Полученный запрос попадает в переводчик, который переводит его на английский и передает в генератор идей.
  2. В генераторе идей есть внутренний фреймворк, который улучшает креативность запроса. С его помощью нейронка разбивает задачи на части, углубляется в каждую, находит лучшее решение и прорабатывает его в качестве финального результата. Наш фреймворк основан на работе «Паттерны креативного мышления».
  3. На основе полученных данных генерируется промпт, благодаря которому ИИ будет понимать, как описать иллюстрацию и какой из 30+ графических стилей выбрать. Все это позволит графической нейронке лучше «почувствовать» настроение изображения.
  4. В «Графике», как и в других навыках, есть сет из коротких подсказок, которые добавляются к промпту и описывают стиль. В этом навыке, например, используем 2D Flat.
  5. Отдельно для навыка прописан и негативный промпт, который исключает вероятность того, что получится криво сгенерированная картинка.
  6. Все это собирается в единый промпт и переходит в ноду нейронки Fooocus, которая генерирует изображение.
  7. Далее результат передается в Aigital и сохраняется на сервере, чтобы пользователь мог вернуться к нему в истории своих генераций.
  8. Отдельная фишка этого каскада в том, что если на картинке есть лицо, изображение из Fooocus переходит в дообученную модель Stable Diffusion, которая делает черты лица более четкими и естественными.
Улучшение генерации лица на фото

Всем этим мы снимаем с пользователя необходимость самому продумывать подробный запрос.


А если вам интересно читать о мире нейросетей, идеях и жизни проекта, подписывайтесь на наш телеграм-канал.