Атака через API извлекает скрытые рассуждения некоторых ИИ-моделей

Авторы искали не способ заставить модель просто написать правдоподобное объяснение, а возможность восстановить именно её внутренний текст рассуждений — почти дословно. Они заметили малоизученное место в работе ИИ с инструментами: по ответам API можно получить сигналы о том, насколько новый запрос похож на предыдущий ход рассуждений. На этом построили EchoCoT — атаку из нескольких шагов, которая постепенно подбирает запросы и использует ответ модели как обратную связь.

Чтобы не подбирать такие запросы вручную для каждой задачи, исследователи обучили отдельный языковой оптимизатор искать универсальную последовательность вставок. Для этого он видел только условие задачи и доступные атакующему сведения: число токенов рассуждения и его краткое резюме, но не саму скрытую цепочку. Проверка охватывала задачи по математике, программированию, химии и биологии; затем авторы сравнили метод с прямой просьбой раскрыть ход решения и несколькими способами восстановить его по косвенным признакам.

Особенно важно, что найденная последовательность запросов переносилась на задачи, которых не было при настройке. При строгом критерии успеха текст должен был быть почти такой же длины, как исходный, а не менее 90% его токенов — совпадать буквально. Это отличает результат от обычной генерации убедительного объяснения: речь идёт о совпадении с конкретным внутренним следом модели. При этом для закрытых систем авторы не могли проверить каждый токен напрямую, поэтому сопоставляли извлечённые фрагменты с длиной рассуждения и резюме, которые сообщал поставщик.