Речь начинает звучать по мере поступления текста

Препринт, ещё не рецензирован · ранние данные

Кратко

Система синтеза речи начинает генерировать звук по мере поступления отдельных фрагментов текста и не использует ещё не пришедшие слова. В тестах авторов качество оказалось сопоставимым с оценёнными офлайн-моделями, а первый аудиофрагмент появлялся через 15,8 мс при одном запросе и через 260,8 мс при 128 одновременных запросах.

Зачем это знать?

Если результат подтвердится, такой подход может уменьшить задержку в голосовых диалогах: системе не нужно ждать окончания фразы. Пока это вывод препринта и конкретных тестов авторов; неизвестно, сохранится ли такая скорость на других языках, устройствах и в реальных системах.

Разбор

Главная трудность здесь не только в скорости. Когда текст приходит по одному слову, система ещё не знает, закончилась ли мысль и как произнести неоднозначный фрагмент. Авторы решают это с помощью «отложенного решения»: модель временно держит сомнительный кусок в буфере, а затем делит текст на части с учётом знаков препинания и доступного объёма вычислений. Так она не произносит слишком рано то, что потом пришлось бы исправлять.

Вторая часть метода отвечает за стык между фрагментами. Система передаёт дальше своё акустическое состояние — информацию о текущем звучании голоса и речи, — чтобы новая часть не начиналась как отдельная запись. Дополнительное ограничение внимания не даёт модели заглядывать в ещё не поступивший текст. Это и отличает подход от псевдопотоковых систем, которые получают «кусочки», но на самом деле могут ждать целое предложение.

В сравнении с другими потоковыми моделями система дала наименьшую ошибку распознавания в 6 из 8 проверенных условий. При сравнении с офлайн-версией на тех же весах переход к обработке отдельных токенов почти не ухудшил разборчивость: в пяти условиях ухудшение не превысило 0,62 процентного пункта, а в трёх результат даже оказался лучше. На длинных текстах ошибка выросла с 2,55 до 4,36 при увеличении нагрузки в десять раз, но всё равно осталась ниже, чем у всех проверенных потоковых конкурентов. Код авторы выложили публично, так что описанный способ можно воспроизвести и проверить отдельно.

Ключевые цифры

6 из 8 условийВ большинстве проверок среди потоковых систем именно этот метод дал самую низкую ошибку распознавания речи.

0,62 процентного пунктаДаже в худшем из пяти условий, где токеновая обработка уступила офлайн-версии, потеря разборчивости была небольшой.

2,55 → 4,36На длинных текстах ошибка выросла при десятикратном увеличении нагрузки, но осталась ниже, чем у всех сравнённых потоковых систем.

10×Проверка включала тексты, нагрузка на которые была увеличена в десять раз — это показывает, как система ведёт себя при заметном удлинении входа.

Можно ли доверять

Это препринт с arXiv, а не статья, прошедшая независимое рецензирование. Результаты выглядят убедительно на наборах тестов и в сравнении с конкретными моделями, но систему не проверяли в реальных голосовых диалогах, на разных устройствах и в широком наборе языков, поэтому переносимость выводов пока не доказана.

Это препринт, результаты ещё не прошли независимую научную экспертизу.
Сравнение основано на заявленных авторами тестах и конкретных оценённых моделях; обобщение на другие языки, устройства и сценарии не показано.
Показатели задержки приведены для условий эксперимента и не гарантируют такую же производительность в реальных системах.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали

ЖурналarXiv (cs.CL)

Дата публикации у нас20 августа 2026 г.

Дата источника19 августа 2026 г.

ОригиналОткрыть

АвторыRime Wen, Zehan Liu, Shawn Qin, Lights Shi, Roy Gan, Hao Wang, Qian Wang