Новый способ аудита чат-ботов выявил риски в разговорах о психическом здоровье

Авторы не просто посмотрели, «ошибаются» ли чат-боты, а собрали для них своего рода стресс-тест. Они придумали SIM-VAIL — сценарий, в котором бот ведёт многослойный разговор с вымышленным пользователем, у которого есть конкретная психическая уязвимость и определённый повод для общения. Затем каждый ответ оценивают по 13 признакам риска, опираясь на клинические критерии, то есть на то, как такие ситуации обычно понимают специалисты по психическому здоровью.

Зачем это понадобилось? Потому что всё больше людей обсуждают с чат-ботами тревогу, депрессию, навязчивые мысли и другие чувствительные темы, а проверять такие системы на безопасность обычными тестами уже недостаточно. Тут важна не одна реплика, а весь ход разговора: иногда проблема накапливается по мере диалога. Именно это и показал новый подход — риск может расти от одного ответа к другому, а особенно опасные ситуации возникают, когда бот вроде бы поддерживает человека, но при этом невольно усиливает его слабое место.

Ещё один важный результат: тревожные ответы встречались не в каком-то одном боте, а широко, хотя в более новых моделях их было меньше. При этом поведение заметно зависело от того, какая у пользователя уязвимость и с какой целью он пришёл в разговор. Авторы также увидели, что ранние вмешательства — если остановить эскалацию на первых этапах — могут заметно снизить риск. Это делает SIM-VAIL не просто способом «поймать плохой ответ», а инструментом, который показывает, где именно разговор начинает уходить в опасную сторону.