dumaiГолос можно менять вдвое быстрее и задавать его стиль текстом
Препринт, ещё не рецензирован · ранние данные
Кратко
Система меняет тембр, акцент и эмоцию голоса примерно за 520 миллисекунд — вдвое быстрее предыдущей версии. Текстовая команда может задать новый стиль или изменить одну его черту, сохранив слова и остальные особенности речи; в опытах система лучше сравниваемых решений передавала нужный стиль при сопоставимой разборчивости.
Зачем это знать?
Для голосовых приложений это шаг к почти мгновенному изменению звучания и управлению им обычными текстовыми командами. Результаты пока основаны на опытах авторов и могут зависеть от оборудования, поэтому готовность системы к широкому применению ещё не доказана.
Разбор
Авторы взяли за основу StyleStream 1.0 — систему, которая умеет переносить манеру речи с одного голоса на другой без заранее обучать её под каждого конкретного диктора. Главная проблема была не только в скорости: пользователю было трудно описать желаемый голос или поправить в нём что-то одно. Например, изменить эмоцию, но не трогать акцент и тембр.
Чтобы ускорить обработку, исследователи обучили модель делать преобразование за несколько шагов, а затем добавили обратную связь от предыдущих фрагментов речи. Это важно именно для потокового режима: система получает звук постепенно и должна сохранять устойчивое качество, а не ждать, пока закончится вся фраза. На видеокарте потребительского класса задержка снизилась примерно с 1 секунды у прошлой версии до 520 миллисекунд.
Для управления голосом авторы отказались от подробного промежуточного описания спектра и сжали особенности нужной манеры речи в компактное представление — условный «профиль стиля». К нему подключили текстовые команды двух типов: можно описать голос с нуля естественными словами или попросить изменить одну характеристику уже готовой реплики. В экспериментах новая система лучше передавала целевой стиль сразу в трёх задачах — переносе, создании голоса и редактировании — при этом не уступала конкурентам по разборчивости и сохранению неизменённых особенностей.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому работу ещё не проверили независимые рецензенты. Авторы тестировали систему в экспериментах и на потребительской видеокарте, но в абстракте нет размера тестов и проверки в реальных голосовых приложениях; на другом оборудовании или при живом общении результат может отличаться.
- Это препринт, поэтому результаты ещё не прошли независимую рецензию.
- Заявления о превосходстве относятся к экспериментам авторов; в абстракте нет подробностей о наборах данных, размере тестов и статистической значимости.
- Заявленная задержка измерена на потребительском GPU и может отличаться на другом оборудовании.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено