Sostav.ru

Комикс от Adsup: нейросеть спасла Work-Life Balance офисных работников

В агентстве поделились секретом, как заставить Stable Diffusion нарисовать персонажа в нужной позе

06.07.2023 26

С самого начала нашей команде было ясно, что мы хотим создать нечто с актуальной проблематикой, которая затрагивает нас всех — Work-Life Balance. Мы хотели поднять этот важный вопрос и вызвать у читателей размышления на эту тему.

Наша цель — не только ознакомить читателей с этой проблемой, но и вдохновить их на поиск способов улучшить свой собственный баланс между работой и личной жизнью. Мы надеемся, что наш комикс станет источником вдохновения и поддержки для всех тех, кто стремится найти этот важный равновесный путь.

Work-Life Balance

Модели Stable Diffusion и реализация задуманного

Мы сознательно выбрали сочетание азиатских комиксов (манга/манхва/маньхуа), чтобы создать визуальное впечатление, которое будет запоминаться и притягивать внимание читателей. Через нашу художественную работу мы стремились передать эмоции и атмосферу истории, чтобы каждый кадр погружал вас в мир нашего рассказа.

Мы стремились создать сеттинг и героев, которые были бы одновременно узнаваемыми и уникальными, чтобы каждый из вас мог почувствовать себя причастным к их истории.

Для создания комикса мы воспользовались нейросетью Stable Diffusion с использованием модели AbyssOrangeMix3. Кроме того, мы применили расширения Depth Library и ControlNet, которые помогли добиться еще более впечатляющих результатов.

Если рассказывать подробнее, Stable Diffusion — продвинутая нейросеть для генерации изображений с открытым исходным кодом. Она полностью бесплатна. У нее удобный интерфейс и множество инструментов и расширений для работы, но для запуска нейросети нужен мощный компьютер. Для Stable Diffusion есть множество моделей. Найти их можно тут https://civitai.com

Модель — это файл, в котором хранятся параметры нейросети и именно модель является самым важным элементом в генерации картинок. Поэтому если у нас нет модели, то и сгенерировать мы ничего не сможем.

Есть как универсальные модели, так и заточенные на определённую стилистику. AbyssOrangeMix3 отлично подходит для генерации изображений аниме/манхва стилистики.


Помимо этого есть еще LoRA — это небольшие обученные модели для Stable Diffusion, которые вносят дополнительные изменения в генерацию изображений

и используются вместе со стандартными моделями. Чаще всего такие модели обучают на конкретного персонажа или человека.

После всех подготовок мы приступили к генерации и редактированию изображений с помощью ControlNet, Depth Library и инструмента Inpaint.

Promt — наше все

Promt — это ваш текстовый запрос нейросети, состоящий из различных слов. Промт бывает положительный и негативный.

Очень важно, какие слова вы используете, и в каком порядке вы пишете. Вот небольшая шпаргалка для составления положительного промта.

Тема, Основа, Стиль, Художник, Веб-сайт, Разрешение, Уточнение деталей, Цвета, Освещение.

  • Тема — это именно то, что вы ожидаете увидеть на будущей картинке.
  • Основа — это вид нашего изображения. Например, иллюстрация, 3D рендер, картина маслом или профессиональное фото.
  • Negative promt. Он помогает убрать то, чего мы видеть не хотим. Различные мутации, деформации и проблемы с пальцами. Вот пример универсального негативного промт от @XpucT.:


(deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation

Следующий момент, который нужно упомянуть — подсказки в описании модели.

Когда вы качаете модель для Stable Diffusion, автор прилагает описание. Какое разрешение рекомендовано использовать, приводит примеры положительного и негативного промта и другие настройки для этой модели.
Не забывайте использовать ControlNet, Depth Library и Inpaint.

Простым языком ControlNet — это расширение для контролируемой генерации изображений.

У него тоже есть свои модели, одна из самых популярных — OpenPose. Вы можете загрузить фото или картинку с персонажем в определённой позе, прогнать через её ControlNet, который запомнит эту позу.

Потом вы сможете генерировать свои изображения с персонажем в этой определённой позе. Это очень удобно.

Depth Library помогает решить проблему с руками и встраивать в изображение различные жесты рук.

С помощью Inpaint вы можете редактировать часть изображения. Выделяем кистью нужный участок изображения. Например, зеленую рубашку. Пишем White Shirt, генерируем, и получаем белую рубашку на вашем изображении.

Такими мелкими корректировками вы можете добиться более детального и продуманного изображения, соответствующего вашей задумке.

И чтобы вас порадовать, мы сохранили несколько примеров неудавшихся кадров в процессе работы.

Правда, за всё время работы над комиксов набралось тысячи подобных моментов. Однако именно благодаря этим неудачам, мы нашли вдохновение и новые пути для совершенствования нашей работы.

Ваш браузер устарел
На сайте Sostav.ru используются технологии, которые не доступны в вашем браузере, в связи с чем страница может отображаться некорректно.
Чтобы страница отображалась корректно, обновите ваш браузер.