dumaiText-AB делает дубляж и диалоги без выравнивания текста с речью
Препринт, ещё не рецензирован · ранние данные
Кратко
Сначала модель Text-AB предварительно обучили на 480 тысячах часов речи, а затем дообучили для трёх задач: дубляжа на разных языках, разговоров с перебиваниями и эмоциональных диалогов. В тестах авторов она превзошла их прежнюю систему для дубляжа, а в коротких разговорах приблизилась к человеческим записям; в длинных лучше передавала естественность, эмоции и очередность реплик.
Зачем это знать?
Такой подход может упростить создание более естественного дубляжа и голосовых систем, где собеседники перебивают и реагируют друг на друга. Вывод пока основан главным образом на сравнении с системами самих авторов и проверке на конкретных тестах, поэтому его применимость к другим языкам и сценариям неясна.
Разбор
Авторы собрали одну систему для нескольких голосовых задач и отказались от привычного шага: заранее размечать, какой фрагмент текста соответствует каждой части аудио. Вместо этого модель получает обычный текст и сама учится связывать его с речью через механизм внимания. Это важно для живых диалогов: там реплики могут накладываться друг на друга, а паузы, перебивания и короткие реакции вроде «угу» трудно заранее разметить по времени.
Внутри Text-AB звук сначала переводят в компактное скрытое представление: 48-килогерцовую запись превращают в последовательность из 25 элементов в секунду. По сравнению с использовавшимся раньше способом это даёт более чем десятикратное сжатие и при этом, по данным авторов, помогает лучше восстановить исходный звук. Для коротких записей система может создать речь за один проход примерно до минуты, а длинные диалоги собирает по частям; затем несколько вариантов отбирает автоматическая проверка качества.
Размер модели заметно повлиял на результат: в эксперименте с дубляжом ошибка распознавания речи снизилась с 44,45% у версии на 300 миллионах параметров до 13,98% у версии на 3 миллиардах. Для эмоциональных диалогов авторы отдельно добавили указание эмоции на уровне каждой реплики. Это улучшило соответствие заданному настроению и качество эмоционального взаимодействия по сравнению с моделью без такого управления. При этом на длинных разговорах система слабее воспроизводила некоторые особенности вроде невнятных коротких звуков и слов-паразитов — вероятно, потому что содержание обучающих разговоров отличалось от содержания тестовых сценариев.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому независимая экспертная проверка ещё не завершена. Авторы сравнивали систему главным образом со своими внутренними моделями и тестировали её на конкретных наборах; кроме того, в длинных диалогах заметное преимущество не проявилось для невнятных звуков и слов-паразитов, так что перенос результата на другие языки и типы разговоров остаётся открытым.
- Это препринт, поэтому результаты еще не прошли независимую экспертную проверку.
- Сравнение в основном проведено с внутренними системами авторов, а не с широким набором независимых методов.
- Заявления о качестве основаны на конкретных бенчмарках и человеческих оценках; из абстракта неясны размеры выборок и степень обобщения на другие языки и сценарии.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено