dumaiTacit-TTS: на длинных фразах речь быстрее IndexTTS2 в 10 раз
Препринт, ещё не рецензирован · ранние данные
Кратко
Система Tacit-TTS создаёт речь по образцу голоса без расшифровки сказанных слов; её проверили на двух наборах английской и двух наборах китайской речи. На фразах длиннее 5 секунд она работала более чем в 10 раз быстрее IndexTTS2 при сопоставимом качестве в заявленных тестах, а образцами служили также речь на восьми других языках, детский лепет и бессмысленные звуки.
Зачем это знать?
Голосовой образец не обязательно должен содержать понятные слова: это открывает более гибкое клонирование голоса. Заявленная скорость относится к сравнению с IndexTTS2 на фразах длиннее пяти секунд, поэтому вывод касается конкретного сценария.
Разбор
Обычные системы клонирования голоса сначала пытаются понять текст в образце, а затем по нему строят звучание. Tacit-TTS убирает этот шаг: она ориентируется прямо на звуковой сигнал, даже если разобрать слова невозможно. Это важно для длинных фраз, где последовательная генерация — когда модель выдаёт речь шаг за шагом — особенно сильно увеличивает задержку.
Авторы взяли IndexTTS2 за основу и «сжали» его поведение в более быструю модель. Вместо последовательного построения смысла Tacit-TTS создаёт его части параллельно, оценивает нужную длину звукового результата без отдельного обучения и ускоряет финальный этап превращения представления в аудио с помощью ReFlow-дистилляции — специального способа перенести результат сложной модели в более короткий процесс генерации.
Главный дополнительный результат — система не ломается, когда в образце нет надёжного текста: это позволяет использовать чужую речь на другом языке, детский лепет и искусственный набор звуков. У систем, которым нужна расшифровка, в таких случаях сначала ошибается распознавание речи, и ошибка затем влияет на клонирование. При этом авторы сообщают о сопоставимом качестве именно в своих тестах, а не о превосходстве по всем возможным условиям.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому независимая рецензия ещё не подтвердила результаты. Проверка выглядит шире одного набора данных и включает необычные образцы, но абстракт сообщает только о тестах авторов и не показывает, как система поведёт себя в реальных приложениях или на других языках и голосах.
- Это препринт, поэтому результаты еще не прошли независимую научную проверку.
- Заявленное преимущество по скорости относится к сравнению с IndexTTS2 и к фразам длиннее 5 секунд; абстракт не дает подробностей о задержке, качестве и условиях тестирования.
- Качество названо сопоставимым, но абстракт не приводит количественных оценок и не показывает, насколько хорошо система работает за пределами указанных наборов данных и языков.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено