dumaiИИ-дубляж лучше синхронизирует речь с паузами и движениями губ
Препринт, ещё не рецензирован · ранние данные
Кратко
X-Dubbing переводит речь, подбирает длительность фраз и озвучивает их новым голосом с учётом видео. В испытаниях система лучше описанных ранее способов сохраняла совпадение речи с паузами и движениями губ; для обучения ей не нужны готовые записи оригинала вместе с дубляжом.
Зачем это знать?
Подход показывает, что для такого дубляжа не обязательно иметь готовые пары оригинала и дубляжа. Насколько система пригодна для реальных фильмов и разных языков, пока неясно.
Разбор
Проблема возникает из-за того, что дословный перевод редко помещается в тот же отрезок времени: в разных языках меняются длина фраз, ритм и положение звуков, а значит, одной хорошей расшифровки недостаточно. Авторы разделили задачу между двумя связанными модулями. Первый переводит реплики и расставляет в тексте отметки, показывающие, как разбить их по времени. Второй превращает этот текст в речь, ориентируясь не только на исходный голос, но и на звук и изображение исходного видео.
Можно ли доверять
Это препринт с arXiv, то есть работа ещё не прошла независимую проверку рецензентами. Авторы сообщают о широком сравнении с предыдущими методами, но в предоставленном абстракте нет размера тестов и точных результатов, поэтому надёжность вывода для реальных фильмов и разных языков пока оценить нельзя.
- Это препринт без независимой экспертной оценки.
- В абстракте не приведены размеры улучшений и неясно, насколько хорошо система работает на реальных производственных сценариях и языках.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено