«Сбер» разработал нейронную сеть ruDALL-E, способную создавать изображения на основе текстового описания на русском языке, сообщили Sostav в пресс-службе компании. По задумке разработчиков, нейросеть можно использовать для создания дизайна интерьера, стоковых изображений или векторных иллюстраций, рекламных материалов, копирайтинга, архитектурного и промышленного дизайна. В компании отметили, что эта технология не имеет аналогов в мире. Протестировать ruDALL-E можно на официальном сайте проекта.
Нейросеть обучается на двух видах данных: картинках и текстах — это позволяет создавать неограниченное число новых изображений по заданному описанию, отметили в «Сбере». Есть два варианта модели: ruDALL-E XL, котороая содержит 1,3 млрд параметров и ruDALL-E 12B — с 12 млрд.
Обеими моделями можно будет воспользоваться на платформе ML Space в хабе предобученных моделей и датасетов DataHub от SberCloud, сообщили в пресс-службе. Модель ruDALL-E XL доступна уже сейчас на сервисе Github.
ruDALL-E создаёт изображения в три этапа: сначала одна нейросеть принимает текст на вход и генерирует заданное число картинок, затем следующая выбирает наиболее удачные и максимально соответствующие описанию изображения, третья увеличивает их разрешение, сохраняя качество.
Впервые OpenAI представила англоязычную нейросеть DALL-E в 2021 году, но модель так и не была полностью выложена в открытый доступ. На основе публикации OpenAI команды компания экосистемы «Сбера» — SberDevices и Sber AI при содействии SberCloud воспроизвели код и запустили обучение нейросети на платформе ML Space на базе суперкомпьютера «Кристофари», получив аналогичный результат для русского языка.
Обучение ruDALL-E заняло 23 тысячи GPU-часов на массиве данных из 120 млн пар текст-изображение. В «Сбере» отметили, что проект по обучению нейросети стал самым масштабным вычислительным проектом в России и СНГ.
Давид Рафаловский, Исполнительный вице-президент «Сбербанка», CTO «Сбера», руководитель блока «Технологии»:
Помимо вклада в прогресс в области ИИ, генерация изображений закрывает две важных потребности современного бизнеса — возможность получить уникальную картинку под собственное описание, а также в любой момент создавать необходимое количество licence-free-иллюстраций. При этом создание «мультимодальных» нейронных сетей, которые обучаются сразу на нескольких видах данных, даже сейчас, в эпоху big data и огромных возможностей поиска, будет очень востребованным, поскольку решает задачи на принципиально ином уровне. Технология пока совсем новая, первые шаги в этом направлении были сделаны только в 2020 году, а еще в 2018—2019 годах даже постановку такого рода задачи нельзя было себе представить. ruDALL-E можно считать настоящим прорывом для русскоязычной индустрии.
В нечале года лаборатория искусственного интеллекта «Сбера» представила алгоритм, который за минуту определяет вероятность заболевания COVID-19. Нейросеть выявляет наличие вируса на основе опроса и трех звукозаписей — голоса, дыхания и кашля. Звуковые файлы превращаются в спектрограмму, показывающую энергию звука на разных частотах, которые затем анализируются с помощью нейросети. Для её тренировки использовались более 3 тыс. образцов звуков из российских клиник.
В сентябре 2021-го Sber AI и стартап CopyMonkey.ai запустили первый русскоязычный сервис для создания уникальных описаний товаров для онлайн-магазинов и маркетплейсов — «AI-копирайтер». Он разработан на основе модели ruGPT-3, созданной в результате совместной работы команд Sber AI, SberDevices и SberCloud.