«Яндекс» представил диффузионную нейросеть Yandex AI Rendering Technology (YandexART), которая создаёт изображения и анимацию по текстовым запросам пользователей. Нейросеть интегрирована в приложение «Шедеврум» и помогает иллюстрировать рекламные объявления в «Яндекс Бизнесе». Об этом Sostav сообщил представитель «Яндекса», добавив, что скоро инструмент появится в «Клавиатуре» и других сервисах компании.
YandexART формирует изображения и анимацию методом каскадной диффузии. Сначала она генерирует картинки и кадры в соответствии с запросом пользователя, а затем поэтапно увеличивает их разрешение, насыщая деталями.
В компании отметили, что по сравнению с предыдущим поколением диффузионной модели, которая использовалась в «Шедевруме», YandexART создаёт «более реалистичную и детализированную графику». По итогам внутренней оценки асессоров «Яндекса», нейросеть показывает лучшие результаты в 60% случаев.
Кроме того, YandexART понимает российский культурный код. Нейросеть знает известные места и города России, выдающихся личностей разных эпох и персонажей мультфильмов и сказок. Например, Чебурашку, богатырей и Бабу-Ягу.
Для улучшения качества работы нейросети разработчики компании увеличили объём обучающего набора данных в 1,5 раза — до 330 млн картинок с текстовым описанием. «Для обучения YandexART используются самые эстетичные картинки — они отбираются при помощи трёх режимов фильтрации. Новый алгоритм распознавания текстов помогает нейросети лучше понимать пожелания пользователей», — указали в «Яндексе».
Также там считают, что нейросеть качественнее прорабатывает особенности лиц, глаз и рук. Кроме того, для улучшения качества генерации используется «дообучение с подкреплением». Например, разработчики отсматривают сразу несколько сотен или тысяч созданных с помощью YandexART капибар и отмечают удачные и неудачные изображения. Это позволяет нейросети лучше понять, как правильнее ей изображать животных, персонажей, объекты, явления и прочее.
В «Яндекс Бизнесе» при создании рекламных объявлений можно выбрать иллюстрацию из числа уже сгенерированных нейросетью YandexART. В нейростоке представлено около 3 тыс. картинок для 650 видов деятельности. Как отмечает «Яндекс», они доступны для 82% рекламных кампаний и используются почти в каждом пятом размещении.