«Яндекс» показал, как работает новая технология перевода речи в видео: она объединит в себе машинный перевод, биометрию, распознавание и воспроизводство речи. Пользователи «Яндекс.Браузера» смогут смотреть ролики на иностранном языке со звуковым закадровым переводом, сообщила Sostav пресс-служба «Яндекса».
В компании заявили, что технология не имеет аналогов в мире. В данный момент она работает только с роликами на английском языке. Разработчики протестировали ее на примере разных видеозаписей: про Плутон, изменение климата, машинное обучение и на другие темы.
Чтобы перевод соответствовал картинке, синтезатор голоса делает паузы, ускоряется и замедляется при необходимости. Также алгоритм учитывает длину реплик: в оригинале и переводе они могут различаться. По словам представителей «Яндекса», скоро пользователи смогут выбирать видео для просмотра с переводом.
В июне компания выпустила масштабные обновления поиска Y1, которое включает более 2 тыс. улучшений — они призваны ускорить работу с поисковиком и экономить время пользователей. Теперь сайт находит нужный фрагмент видео по смыслу текстового запроса и дает больше быстрых ответов.