Ошибки распознавания речи могут ослабить защиту голосовых роботов

Авторы не брали записи реальных пользователей, а начинали с уже готовых команд из тестов безопасности для роботов и специально искажали их так, как это делает распознавание речи. Они разделили искажения на пять типов: замена похожих по звучанию слов, путаница в грамматике, ошибки в знаках препинания и границах фраз, пропуск или замена коротких слов и добавление шума. Затем сравнили поведение моделей на исходных командах, на испорченных и на варианте после автоматической коррекции текста.

Проверяли не только факт отказа модели, но и то, превращается ли её ответ в выполнимый опасный план для робота. В одном из приведённых сравнений модель Qwen2.5-7B-Instruct принимала небезопасные команды в 55,33% случаев на чистом тексте и в 60% случаев после замены слов по звучанию; доля ответов, которые удалось превратить в опасные действия, выросла с 35,33% до 38,67%. Особенно важен показатель Safety Flips: он считает случаи, когда первоначальный отказ после искажения сменился небезопасным ответом. Для замены слов таких случаев было 14.

Это показывает, где именно появляется проблема: ошибка распознавания не обязательно полностью меняет смысл команды. Иногда она сохраняет общий замысел, но делает опасную формулировку менее однозначной; в других случаях она сбивает механизм отказа модели. Автоматическая коррекция текста помогала не во всех ситуациях, поэтому одного исправления после распознавания недостаточно как универсальной защиты. До такого сравнения обычно оценивали безопасность моделей по аккуратно записанным текстовым командам, а здесь отдельно проверили сам канал преобразования голоса в текст.