Какие видео может переводить яндекс браузер
Перейти к содержимому

Какие видео может переводить яндекс браузер

  • автор:

В Яндекс.Браузере заработал многоголосый перевод видео

Яндекс. Перевод

Пользователям Яндекс Браузера теперь доступен многоголосый перевод видео — голосов стало двенадцать, шесть мужских и шесть женских. Это нововведение, как утверждают в Яндексе, сделает восприятие контента более комфортным.

Нейросеть переводит голоса, звучащие в видео, в текст. Затем восстанавливает пунктуацию и определяет границы предложений. Другая нейросеть анализирует спектрограмму голоса и отмечает на аудиодорожке фрагменты, сказанные разными людьми. После чего становится ясно, кто из спикеров что произнес.

«Мы постоянно работаем над качеством перевода и озвучки, чтобы дать нашим пользователям доступ к любому контенту со всего мира. По нашим оценкам, около половины YouTube-роликов на иностранных языках — это ролики с тремя и более спикерами. Смотреть их с двухголосой озвучкой не совсем удобно — поэтому мы и сделали десять новых голосов», — пояснил руководитель приложения Яндекс и Яндекс Браузера Дмитрий Тимко.

В сентябре прошлого года закадровый перевод роликов на английском языке стал публичным сервисом. Затем добавились французский, немецкий, испанский и итальянский языки.

Как сообщили в Яндексе, в планах — новые пары языков, например, китайский. Кроме того, в режиме открытого тестирования находится автоматический закадровый перевод прямых трансляций на YouTube.

«Яндекс Браузер» теперь может озвучивать китайские видео по-русски

Фото: Freepik

По данным Statista, севернокитайский — второй по распространенности язык в мире. На нем разговаривают 1,1 млрд человек. Автоматический перевод и озвучка с китайского языка помогут создателям контента расширить свою аудиторию.

Кроме того, среди преимуществ развития нейросетей, которые автоматически переводят видео на другие языки, в частности на китайский, можно выделить:

  • возможность сделать контент доступным для людей, говорящих на разных языках;
  • повышение взаимопонимания между людьми различных культур;
  • помощь в изучении учебных материалов на других языках;
  • технологическое и научное развитие искусственного интеллекта;
  • сокращение временных и финансовых затрат на перевод.

Фото:Freepik

Нейросети — один из главных технологических трендов в 2022–2023 годов. В 2022 году разработчики представили нейросети Midjourney и ChatGPT, которые генерируют реалистичные изображения и связные тексты на разных языках соответственно.

«Яндекс Браузер» запустил перевод видео с китайского языка

«Яндекс Браузер» теперь переводит видео с китайского и автоматически накладывают русскую озвучку. Об этом говорится на сайте компании.

В пресс-службе рассказали, что в основе технологии «Яндекса» лежат нейросети, которые работают почти как синхронные переводчики.

На первом этапе нейросеть научилась трансформировать китайскую речь в текст на примере 100 тыс. аудиофайлов с самыми точными расшифровками, которые отдельный алгоритм выбрал из 1,5 млн видеороликов.

Нейросеть также научили учитывать тоны и контекст, поэтому на сегодняшний момент алгоритм различает 6500 иероглифов, когда для общения достаточно 2000. Помимо этого, алгоритм обучили делить сплошной поток иероглифов на смысловые отрезки для точной синхронизации перевода с речью.

Впервые «Яндекс» представил прототип технологии, которая при помощи машинного обучения делает закадровый перевод видео, в июле 2021 года. Тогда алгоритм мог переводить лишь на русский язык и только англоязычные ролики. Сейчас нейросеть может перевести ролики как с английского, так и с испанского, французского, итальянского и немецкого.

«Яндекс Браузер» начал переводить любые YouTube-трансляции с пяти языков

Нейросетевой закадровый перевод трансляций в «Яндекс Браузере» стал доступен для всех YouTube‑каналов. Функция работает для стримов на английском, немецком, французском, испанском и итальянском языках.

Ранее перевод трансляций в «Яндекс Браузере» работал на некоторых YouTube‑каналах, теперь технология доступна на всём видеохостинге. За год пользователи посмотрели более 20 тыс. часов видео в прямом эфире, а разработчики усовершенствовали технологию.

Они улучшили качество перевода и модифицировали инфраструктуру. Благодаря этому пропускная способность видеокарт, которые обрабатывают трансляции на серверах «Яндекса», увеличилась в два раза, а число стримов, которые пользователи могут одновременно смотреть с переводом, — в 100 раз.

Перевод трансляций работает в режиме открытого бета‑тестирования. Оценить его может любой пользователь «Яндекс Браузера» на компьютере, смартфоне и планшете. Достаточно открыть на YouTube прямой эфир на одном из поддерживаемых языков — например, NASA Live — и нажать на кнопку «Перевести трансляцию».

Закадровый перевод трансляций — сложная технологическая задача. Для её реализации потребовалось создать пять нейросетей. Подробный рассказ о том, как именно они работают, говорится в блоге «Яндекса» на Хабре.

  • Работа с видео
  • Браузеры
  • Машинное обучение
  • Искусственный интеллект
  • IT-компании

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *