Студия нейропродакшена «Газпром-медиа холдинга» D.lab совместно с «ГПМ Радио» выпустила первый анимированный искусственным интеллектом (ИИ) аудиоподкаст — мульткаст «Детского радио» «Новые приключения Веснушки и Кипятоши».
Как рассказали Sostav в компании, мульткаст — первый большой проект студии нейропродакшена. Для премьерной серии разработчики взяли один из эпизодов подкаста «Новые приключения Веснушки и Кипятоши». Первый восьмиминутный эпизод доступен на Rutube, «VK Видео», в соцсетях «Детского радио».
Видеоряд создан с применением собственного гибридного решения студии, в основе которого лежат open source-разработки и коммерческие ИИ-модели, дополнительно обученные и скомбинированные для производства мультимедийного контента.
Цикл производства мульткаста включает несколько этапов — разработку персонажей моделями text-to-image, дообучение text-to-image для стабильного воспроизведения персонажей, генерацию графики и анимации моделями image-to-video, а также постпродакшен — монтаж, доработку артикуляции, синхронизацию изображения с аудиодорожкой, улучшение качества изображения.
Вадим Терещук, генеральный директор «ГПМ Радио»:
Несколько лет назад мы преобразовали эфирные программы в аудиоподкасты, и они получили невероятную популярность, стали одним из наиболее востребованных форматов в диджитале. Теперь, использовав возможности нейросетей, подкаст превратили в мультфильм. На радио такого ещё никто не делал, и первые отклики показывают — продукт заинтересовал аудиторию.
Эдуард Маас, руководитель D.lab:
Человек тут ничего не рисовал, у нас была только аудиодорожка. Самым сложным оказалось объяснить нейросетям, что платье в горошек на героине и веснушки на её лице должны быть в каждом кадре, пришлось поработать и над эмпатией.
Мы не собираемся конкурировать с классической анимацией. Классика — всегда штучный товар, его производство дольше и дороже. Мы же разработали инструмент для создания дополнительного контента. Нам удалось выйти на весьма привлекательное соотношение скорости производства, стоимости и качества конечного продукта.
Напомним, «Газпром-медиа холдинг» запустил студию нейропродакшена D.lab на базе R&D-подразделения компании в сентябре 2023 года. Тогда отмечалось, что разработки студии будут использовать не только в периметре холдинга.