PRISM извлекает инструкции из скрытых состояний языковой модели

Авторы не просто пытались угадать «о чём думает» языковая модель, а поставили более узкую задачу: восстановить список активных инструкций, которые прямо сейчас направляют ответ модели. Для этого они берут короткий кусок скрытых состояний модели — внутренние числовые сигналы, которые обычно не видны пользователю, — и учат отдельный интерпретатор превращать их в понятный человеку список пунктов: что нужно сделать, чего избегать и какие подзадачи держать в голове.

Главная новизна в том, что PRISM обучали не просто на совпадение текста, а на качество самого списка. Сначала его настраивали на размеченных примерах, а потом дообучали с помощью другой модели-судьи, которая проверяла две вещи: покрыты ли все важные инструкции и не добавил ли интерпретатор лишнего. Это важно, потому что старые методы «от активаций к тексту» обычно хорошо пересказывают общий смысл, но не умеют аккуратно восстанавливать полный набор одновременно действующих указаний — а в агентных сценариях именно это и нужно.

Проверяли PRISM в нескольких режимах: на обычных запросах, на задачах с жёсткими ограничениями, в ситуациях с prompt injection, когда в запрос специально подмешивают вредные указания, и в сценариях со скрытыми целями. Во всех этих случаях он обгонял базовые подходы, а особенно заметный выигрыш дал там, где важна безопасность: когда надо понять, не утащила ли модель чужую инструкцию или скрытую цель. При этом авторы работали не с «живой» моделью как с чёрным ящиком, а с замороженной целевой моделью и отдельно обучаемым интерпретатором, который читает её внутренние состояния.