Эволюция перевода видео в Яндекс Браузере: от новых языков до интерактивных субтитров. Как перевести видео яндекс

В сентябре мы рассказали «Хабр» о том, как видеоперевод помогает нашей команде преодолевать языковые барьеры. Эта функция обеспечивает автоматический перевод видео, позволяя зрителям сразу же услышать русскую речь. Пользователи тепло встретили новую функцию. Переведенные видеоролики просматриваются более 200 000 раз в день.

«Яндекс» создал автоматический перевод видеороликов на русский язык. Аналогов в мире нет

‘Яндекс работает над технологией автоматического редактирования видео, не имеющей аналогов в мире. Российский IT-гигант продемонстрировал оригинальную функциональность в подборке из 12 видеороликов на YouTube. Аудиоописание на русском языке находится в браузере Яндекс.Браузер.

‘Яндекс разработал технологию автоматического перевода видео. С ее помощью видеоролики зарубежных авторов могут просматривать люди, не владеющие свободно иностранными языками — благодаря разработке «Яндекса» видео автоматически переводятся на русский язык и произносятся с представительным Сотрудник компании рассказал CNews, что, по словам ее создателей, эта технология не имеет аналогов По его словам, заявки не подаются.

В настоящее время Яндекс располагает прототипом системы автоматического перевода. В настоящее время он работает только с видео на английском языке. Разработчики утверждают, что протестировали технологию с помощью видеороликов на различные темы, включая изменение климата, машинное обучение и историю Плутона.

Пользователи могут получить машинный перевод видео в собственном браузере Яндекса для Windows и macOS, но только при условии просмотра ограниченного количества роликов. Специалисты компании создали коллекцию из 12 видеороликов в еще одном браузере (плейлист видеоперевода) на канале Youtube. Это необходимо для того, чтобы все убедились в возможностях технологии. Пользователи скоро смогут выбирать, какие видео переводить, обещает Яндекс.

Видео, доступные с русским звуком, будут отображаться в желтой рамке. Для активации перевода достаточно нажать кнопку.

ДэвидТалбот, руководитель отдела обработки естественного языка в компании «Яндекс», сказал. -И мы все ближе к тому, чтобы окончательно устранить все границы. ‘Браузер Яндекс.Браузер уже давно умеет переводить текст. В этом году мы начали переводить изображения, а следующим шагом станет перевод видео. Это большая проблема, которую еще никто в мире не решил. Мы только начали. Это наш путь, но у нас уже есть прототип и представление о том, куда мы хотим двигаться дальше.

Как это работает

Несколько команд работают над прототипами. В настоящее время мы используем технологию преобразования текста в речь, разработанную на базе Яндекс.Переводчика, и биометрические данные. Последний используется для определения пола говорящего. Это, как отмечает Яндекс, важно как для перевода, так и для организации речи, позволяя выбрать правильный голос, особенно для повествования.

Технология Яндекса поддерживает синхронизацию речи с видео, регулируя скорость речи виртуального переводчика и добавляя паузы, когда это необходимо. Синхронизация необходима, поскольку длительность исходных и переведенных наблюдений может значительно отличаться. Например, часто используемые фразы на английском языке часто более лаконичны, чем соответствующие русские фразы.

Эволюция «Яндекс.переводчика»

Сервис Яндекс.Переводчик был запущен в 2011 году. Первоначально он был доступен на трех языках — русском, украинском и английском. Сейчас он владеет более чем 90 языками, включая экзотические, и может переводить между любыми двустишиями.

2016. Переводчики научились распознавать текст на изображениях с помощью компьютерного зрения, и в апреле 2021 года Яндекс добавил эту функцию в свой собственный браузер.

В 2017 году служба начала использовать гибридную систему перевода. В статистическую модель с самого начала была добавлена технология перевода на основе нейронной сети, основанной на архитектурных «трансформаторах».

Как и в случае со статистическими переводчиками, искусственный интеллект не анализирует переведенный текст на слова или фразы. Вместо этого он «проглатывает» все предложение и экспортирует перевод. Это делает перевод более уместным и осмысленным, а формулировки выглядят более естественными.

Статистическая модель, с другой стороны, лучше относится к редким словам и фразам и не «воображает», что смысл предложения неизвестен, как это может сделать нейронная сеть.

Как уже говорил «Яндекс», технология нейронного перевода служит в первую очередь основой для «Яти», новой технологии анализа текста.

Мобильная версия Яндекс-браузера для перевода видео не имеет дополнительных настроек. Вся работа с переводчиком — это просто его активация и деактивация.

Осень: запуск перевода видео

Несколько слов о том, как работает видеоперевод. Если вы помните, что читали предыдущие сообщения, то можете смело переходить к следующему разделу. Для всех остальных позвольте мне вкратце напомнить вам основные моменты.

Для мужчины все выглядит просто. Нажмите на кнопку, и вы услышите перевод. Конечно, под капотом все гораздо сложнее. Перевод создается на разных этапах, на каждом из которых задействуется отдельная сеть нейронов. Сначала Яндекс распознает текст синхронизации и речь говорящего (за это отвечает биометрический речевой элемент). Такие тексты не могут быть переведены сразу. Он не может вклиниваться в ограничения предложений и абзацев. Только после предварительной обработки наша технология предназначена для механического перевода. Окончательный перевод синтезируется фонетически, с использованием различных голосов.

В общих чертах это выглядит следующим образом

Каждый этап требует больших вычислительных затрат. К счастью, благодаря суперкомпьютерам (и постам Хабра о них), перевод нового ролика длится не более нескольких минут, время.

Зима: новые языки и качество

Первые результаты хорошие, но надо идти ниже. Когда вы запускаете что-то новое, количество возможных путей развития бесконечно. А движение вперед по дороге — это уже вызов. Некоторые из них требуют новых языков, другие критически важны для качества переводов существующих языков. Нам не пришлось выбирать: всю осень и зиму мы двигались в обоих направлениях.

Мы добавили поддержку немецкого, французского и испанского языков. Теперь видео на этих языках можно смотреть в русской озвучке. В то же время мы не хотим слишком много языков. При выборе новых языков мы руководствуемся не только потребностями наших пользователей, но и конечным качеством результатов.

В конце концов, мы постоянно совершенствуем наши технологии. Самое важное изменение:.

• Качество выросло: теперь наш переводчик допускает меньше ошибок, лучше удерживает контекст на протяжении ролика.
• Синхронизация голоса стала точнее: перевод лучше подстраивается под длительность оригинальной озвучки, поэтому его проще воспринимать.
• Скорость создания перевода увеличилась: при первом запуске перевод создаётся пока ещё не мгновенно, но уже быстрее.

Весна: субтитры и регулировка громкости

Еще одним популярным запросом пользователей остаются субтитры. Это вполне объяснимо. Просмотр видео со звуком не всегда возможен. В таких случаях текстовые субтитры сохраняют ситуацию. С технической точки зрения, когда мы начали переводить текст, нам нужно было научиться извлекать перевод с субтитрами вместо звука. Однако мы решили не идти по легкому пути и начали делать больше.

Наша цель — помочь людям преодолеть языковой барьер и научиться чему-то новому. Перевод текста, изображений и видео в браузере — это всего лишь инструмент. Но лучший инструмент — это знание языка. Поэтому, пока существуют и YandexBrowser, и YandexTranslator, мы стремимся не только переводить, но и помогать людям изучать языки. Например, браузер может переводить как отдельные слова и фразы, так и целые веб-страницы. Именно поэтому переводчики не только переводят, но и приводят примеры использования, соответствующие обстановке. В целом, мы решили сделать перевод субтитров полезным для людей, которые уже знают язык, но хотят расширить свой словарный запас и попрактиковаться в восприятии речи на слух.

Теперь, если вы активируете субтитры на языке оригинала, вы можете нажать на любое слово, чтобы увидеть его перевод.

Кроме того, можно включить маркировку слов для синхронизации с речью диктора на видео. Эта опция помогает не потерять смысл сказанного. Это особенно важно для тех, кто изучает язык и еще недостаточно уверен в себе, чтобы использовать его.

Те, кому нужен только перевод, могут выбрать созданные нами русские субтитры. Все настройки скрыты за кнопкой с тремя точками.

(Кстати, на скриншоте выше вы можете увидеть опцию регулировки громкости оригинальной дорожки. По умолчанию при включенном переводе речи громкость оригинальной дорожки уже выключена, но некоторые пользователи хотят иметь более индивидуальные настройки).

Эта опция теперь доступна в браузере Яндекса для Windows и macOS (версии для Linux, Android и iOS уже работают). Перевод субтитров поддерживается на английском, французском, немецком и испанском языках. Есть возможность просмотра видео с YouTube. В будущем мы будем поддерживать и другие популярные сайты.

Конечно, наша работа на этом не заканчивается. Мы будем продолжать работать как над качеством перевода, так и над новыми возможностями (например, мы работаем над переводом прямых эфиров, но пока это секрет). Присылайте нам свои идеи!

Например, в моем видеоролике (ссылка ниже) на сайте «Роскачества» состоялся вебинар на английском языке между российскими сотрудниками «Роскачества» и китайскими сотрудниками ChineseQualityAssociation. Общение происходило на английском языке.

Что нужно для того, чтобы перевести видео в Яндекс Браузере

Для перевода видео должен быть установлен браузер Яндекс. Кроме того, для воспроизведения видео и перевода звука требуется адекватное подключение к Интернету.

Поскольку функция перевода видео находится в стадии разработки, русский перевод доступен только на английском, испанском, немецком и французском языках. Со временем список языков будет расширяться. Женские голоса в видео интерпретируются знаменитым голосом Алисы, а мужские голоса дублируются мужским голосом.

На вашем компьютере должна быть установлена актуальная операционная система. Windows 10 или Windows 11, чтобы обновить браузер до последней версии; больше ничего устанавливать не нужно.

Перевод видео можно сделать и на смартфоне

На устройстве Android или iOS также должен быть установлен браузер Яндекс. Мобильное устройство также нуждается в обновленной операционной системе, а не в старой. Никаких дополнительных приложений не требуется.

Рекомендуем вам познакомиться с видео ниже:

Как переводить видео в Яндекс Браузере на компьютере

Чтобы выполнить синхронный видеоперевод в браузере Яндекс на компьютере, выполните следующие действия

1. Откройте на своём компьютере Яндекс браузер.
2. Найдите в браузере интересующее вас видео на английском языке. Например, можно найти видео в YouTube.
3. Начните воспроизведение видео. В верхней части плеера появятся иконки от браузера. Нажмите на иконку переводчика, чтобы начать перевод видео.
4. Далее громкость видео будет понижена и начнётся воспроизведение с озвучиванием русским голосом.

Дополнительные настройки переводчика отсутствуют. А чтобы начать работу, просто нажмите кнопку питания.

Как переводить видео в Яндекс Браузере на смартфоне

На смартфонах также легко включить видеоперевод в ЯндексБраузере — всего несколько кликов. Следующие шаги подходят для всех операционных систем на мобильных платформах.

1. Для начала запустите Яндекс браузер на мобильном устройстве.
2. Найдите в нём видео, которое хотите озвучить русским голосом, и запустите его.
3. Под видео плеером появится кнопка «Перевести видео». Чтобы начать синхронный перевод видео, нажмите на неё.
4. После этого громкость видео понизится и за кадром будет слышен русскоязычный перевод.

Мобильная версия Яндекс-браузера для перевода видео не имеет дополнительных настроек. Вся работа с переводчиком — это просто его активация и деактивация.

О технологии автоматического перевода разговорного английского видеоперевода в интернете из Яндекс.Браузера появилось в Яндекс. Что это за технология и как ее включить на YouTube.

По данным «Яндекса», технология пока не имеет глобального аналога. Однако некоторые западные компании уже учат нейронные сети синхронизировать и переводить видео.

Перевод точный и увлекательный. Текст логичный и четкий, с паузами, небольшими ускорениями и замедлениями. В некоторых случаях акценты могут быть воспроизведены.

В какой-то момент становится ясно, что перевод выполнен машиной. Тон голоса не меняется, эмоции не передаются. Речь не всегда живая и естественная, но она остается понятной.

Google и Яндекс, социальные сети, рассылки, видеоплатформы, блогеры.

Те, кому нужен только перевод, могут выбрать созданные нами русские субтитры. Все настройки скрыты за кнопкой с тремя точками.

Перевод видео на русский язык в Яндекс браузере и в приложении

Речь идет об автоматическом переводе видео с иностранных языков на русский в браузере Яндекса или приложении Яндекса. Этот перевод начался в сентябре 2021 года.

Очень легко можно включить видео на английском или, например, испанском языке и услышать аудиоперевод на русском.

С помощью этого перевода вы можете смотреть видеоролики YouTube на русском языке. Это работает на платформах Youtube и Vimeo.

Перевод работает на Windows PC и iOS YandexBrowser, а также на смартфонах Android и iPhone Yandex-приложения.

Как работает перевод видео в Яндекс браузере

h21,0,0,0,0,0,0->Рисунок 1. Смотрите на русском языке с помощью ЯндексБраузера.

Включите видео на Youtube на иностранном языке. В Яндекс Браузере или приложении Яндекс вы увидите следующее (рис. 1).

‘Смотрите немедленно на русском языке, нейросеть Яндекса переведет и представит видео’.

Просто нажмите кнопку «Активировать». Затем появится сообщение (рис. 2).

Видео переводится. Нейронная сеть работает над переводом. Дождитесь уведомления. Перевод.

P, blockquote10,0,0,0,0,0,0,0->Рис. 2. Видео переводится. Дождитесь уведомления.

Если видео большого размера, перевод займет больше времени. Короткие видеоролики (например, 1 мин 20 сек) переводятся практически мгновенно.

Вы получите уведомление о завершении перевода. Если вы просматриваете видео на компьютере, оно будет отображаться в левом верхнем углу вашего Яндекс-браузера (значок «Оповещения»). Кроме того, внизу вы получите уведомление о том, что видео переведено и его можно посмотреть на русском языке.

P, blockquote12,1,0,0,0,0,0->Рис. 3. Уведомление о переводе в браузере Яндекс (слева вверху и внизу).

На видео ниже показано, как это работает. Я включил видео с сайта Microsoft на английском языке. Имеется аудиоперевод с английского на русский, с очень хорошим переводом. Все ясно.

Перевод видео в браузере и приложении Яндекса не работает только на английском языке. Он работает и на других языках, например, на испанском.

Перевод вебинара на Ютубе на русский язык

h22,0,0,0,0,0,0->Рисунок 4. Видеоперевод вебинаров Яндекс.

Вебинар на английском языке представляет собой так называемое потоковое видео. Когда вы смотрите его, вы выходите в интернет, и в это же время проходит онлайн-семинар. Их также называют видеоконференциями.

Такие вебинары не сразу переводятся на русский язык. При размещении на YouTube перевод появляется буквально через 24 часа.

Например, в моем видеоролике (ссылка ниже) на сайте «Роскачества» состоялся вебинар на английском языке между российскими сотрудниками «Роскачества» и китайскими сотрудниками ChineseQualityAssociation. Общение происходило на английском языке.

В день показа этот перевод был недоступен. Однако на следующий день уже можно было увидеть все в переводе. Все, что вам нужно было сделать, это нажать на кнопку «Перевести» на видео. Затем вы можете посмотреть на youtube онлайн-семинар на русском языке.

Учебные видео можно смотреть на любом языке, но другие интересные видео можно смотреть на русском.

Видео: Перевод видео в Яндекс Браузере на компьютере или в приложении Яндекса на телефоне