Модель клонирования голоса приблизила анонимизацию к случайному угадыванию

Препринт, ещё не рецензирован · ранние данные

Кратко

Авторы использовали готовую модель клонирования голоса XTTSv2 без дообучения: она меняет признаки, по которым можно узнать говорящего, сохраняя содержание и разборчивость речи. В испытаниях на двух наборах записей и семи европейских языках защита от распознавания говорящего была близка к случайному угадыванию, а качество звучания оказалось лучше, чем у специализированных методов.

Зачем это знать?

Работа показывает, что готовую модель клонирования можно исследовать как способ анонимизации речи без отдельного обучения для каждого языка. Но это препринт: устойчивость такой защиты к реальным попыткам установить личность говорящего пока не проверена.

Разбор

Авторы не стали обучать отдельную систему для каждого языка. Они взяли XTTSv2 — модель, которую изначально создавали для клонирования голоса, — и подали ей не настоящий голос, а условный «голос-замену». Модель старается сохранить мелодику и ритм фразы, но меняет признаки, связанные с личностью говорящего. Затем авторы несколько раз уточняли результат: на каждом шаге подбирали компромисс между тем, насколько новый голос отличается от исходного, и тем, насколько легко разобрать слова.

Ключевые цифры

27 000 часовНа таком объёме речевых данных заранее обучили исходную модель, поэтому для анонимизации не понадобилось собирать новые записи и переучивать её.

0,49 EERСистема распознавания почти не отличала настоящего говорящего от другого человека: её результат близок к честному угадыванию, которое соответствует 0,50.

0,16 WERНа CommonVoice ошибки распознавания слов были сравнительно редкими: автоматическая система в среднем неверно распознавала примерно 16% слов.

−0,90 CMOSВ оценке людей анонимизированная речь звучала немного хуже исходной аудиокниги, но потеря качества была меньше, чем у двух других методов.

Можно ли доверять

Это препринт с arXiv, а не статья, прошедшая рецензирование. Авторы проверили систему на двух наборах записей и семи языках, но в представленном контексте нет проверки против реальных попыток установить личность говорящего или оценки на новых условиях записи.

Это препринт, результаты ещё не прошли полноценную независимую проверку.
Выводы основаны на тестах на двух речевых наборах и семи европейских языках; устойчивость к реальным попыткам деанонимизации не установлена.
EER измеряет работу конкретной системы распознавания говорящего и не гарантирует абсолютную анонимность.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали

ЖурналarXiv (cs.CL)

Дата публикации у нас28 августа 2026 г.

Дата источника27 августа 2026 г.

ОригиналОткрыть

АвторыRomolo Muletta, Felix Matthias Saaro, Mark Cieliebak, Jan Deriu