Модель Whisper восстановила 10% фраз по низким частотам речи

Обычно здесь делают наоборот: по тексту пытаются понять, как должна звучать фраза — где будет ударение, какая интонация и какой ритм. Авторы проверили обратную идею: можно ли по одной манере произнесения восстановить сами слова. Для этого они дообучили Whisper на сильно обрезанном звуковом сигнале, в котором осталась только самая нижняя часть спектра, и сравнили результат с моделями, получавшими другие признаки речи.

Особенно интересен эксперимент с продолжением фразы. Если модели заранее дать правильное начало, она угадывала следующий фрагмент текста в 79% случаев на наборе Yodas и в 67% — на AnimeVox. Но это не означает, что она безошибочно расшифровывает длинную реплику: одна ошибка в начале может изменить дальнейшее продолжение, поэтому качество полной реконструкции оказалось гораздо менее стабильным.

Результаты заметно различались между наборами данных. Yodas состоит в основном из роликов с YouTube, а AnimeVox — из анимационной озвучки в фантастическом стиле; такое различие, вероятно, повлияло на то, насколько хорошо модель переносила найденные закономерности. Отдельно авторы проверили, достаточно ли только высоты голоса и громкости — двух признаков, связанных с интонацией. Модель на этих признаках работала хуже, хотя всё ещё часто угадывала следующий фрагмент, поэтому низкочастотный сигнал, вероятно, содержит не только интонацию, но и другие подсказки для восстановления слов.