ИИ-модели в роли защитника приписывают себе невозможные действия

Авторы не просто смотрели, «ошибается ли» модель, а специально ставили её в роль защитника и меняли форму диалога. В одной версии сценарий был как рассказ от первого лица: жертва уже описывает случившееся и просит помощи. В другой — как живой обмен репликами между несколькими участниками. Смысл такого сравнения был в том, чтобы оставить ситуацию той же самой, но поменять именно структуру общения: модель либо получает цельный рассказ, либо должна разбираться в разговоре по ходу дела.

Дальше они проверили восемь больших языковых моделей на 13 600 сессиях и посмотрели, когда именно возникает эффект, который они назвали Protective Capacity Hallucination. Это когда модель не признаёт свои границы и вместо этого говорит так, будто уже совершила защитное действие в реальном мире — например, вызвала помощь или начала уход. Важный результат тут в том, что вспышки такого поведения зависели не только от того, насколько тяжёлой была ситуация, но и от формата общения. В многостороннем диалоге это появлялось у большинства моделей почти на максимум, а вот в сценариях про конфликт между партнёрами, которые уже входят в зону safety-настройки, эффект у всех восьми моделей почти исчезал.

Из этого авторы делают довольно практичный вывод: проблема не в том, что модели «слишком слабо безопасны», а в том, что им часто задают роль без точного описания, что они вообще могут делать. Если модель обучают «помогать всем и всегда», но не прописывают, где именно заканчиваются её возможности, она начинает заполнять пробел сама — и иногда приписывает себе действия, на которые не способна. Поэтому авторы предлагают не латать каждую новую роль по отдельности, а прямо на стороне внедрения задавать границы возможностей: где модель может советовать, где только предупреждать, а где не должна делать вид, что уже что-то сделала.