Cбер представил улучшенную версию мультимодальной нейросети ruDALL-E, которая генерирует изображения по текстовому описанию на русском языке. Обновлённая модель получила название Kandinsky. Об этом Sostav сообщили в пресс-службе Сбера.
Нейросеть можно использовать для создания любых видов изображений — иллюстраций, рекламных материалов, архитектурного и промышленного дизайна, дизайна в цифровом искусстве.
Как отметили в компании, разработчики Sber AI и SberDevices смогли «существенно улучшить» качество работы модели, дообучив её на 179 млн изображений, снабжённых текстовыми описаниями, с помощью платформы SberCloud ML Space и суперкомпьютера Christofari Neo.
Дообученная модель Kandinsky умеет генерировать изображения с произвольным соотношением сторон, а также может использовать новый способ повышения разрешения сгенерированных картинок на основе диффузионного процесса для изображений с соотношением сторон 1:1 (помимо стандартного подхода с использованием Real-ESRGAN). Модель стала «значительно лучше справляться с созданием реалистичных изображений, качественно передавая различные текстуры, тени и отражения», подчеркнули в Сбере.
Создание изображений через Kandinsky происходит в три этапа. Сначала одна нейросеть (непосредственно Kandinsky), используя текстовое описание, генерирует заданное число изображений. Затем вторая (ruCLIP Large) выбирает наиболее удачные и соответствующие текстовому описанию картинки, а потом третья увеличивает их в размере.
Итогом работы Kandinsky является набор сгенерированных изображений. В компании уточнили, что отличительным преимуществом обновлённой модели по сравнению с предыдущими версиями является более высокая степень детализации создаваемых изображений. Новую версию нейросети можно запустить в мобильном приложении «Салют», на умных устройствах Sber по запросу «Включи художника».
Александр Ведяхин, первый заместитель председателя правления Сбербанка:
Мы продолжаем развивать нейронные сети, которые следуют принципам «трёх М» — мультимодальности, мультизадачности и мультиязычности. Kandinsky — это мощный прорыв в этой сфере. Она способна точнее сравнивать и анализировать различные изображения, чтобы создавать настоящие живописные картины. Автоматическая генерация изображений открывает новые возможности для бизнеса, который и станет одним из главных бенефициаров новой технологии.
В ноябре Сбер представил нейронную сеть ruDALL-E, содержащую 1,3 млрд параметров, которые вместе с кодом были выложены в открытый доступ, и разработан сервис генерации изображений. По данным компании, за полгода этим сервисом воспользовались 2 млн уникальных пользователей, которые суммарно сгенерировали 125 млн изображений. Также в ноябре была анонсирована, а в декабе опубликована в маркетплейсе AI Services платформы SberCloud ML Space эксклюзивная модель ruDALL-E XXL c 12 млрд параметров.
Сбер занимает первое место в рейтинге крупнейших рекламодателей по версии Sostav. За 2021 год затраты банка на рекламу составили 16,6 млрд руб.