Вредоносные навыки ИИ-агентов переживают очистку истории

Авторы посмотрели не на обычную «память» ИИ-агента, а на то, как он превращает прожитый опыт в готовые навыки, которыми потом пользуется снова и снова. Идея атаки здесь хитрая: вредоносные примеры не просто подкладывают в историю, а заставляют саму систему обучения упаковать их в навык. В итоге плохое поведение перестаёт выглядеть как случайный след в журнале — оно становится частью рабочего набора умений агента.

Чтобы проверить это, они взяли две реальные системы, которые умеют извлекать навыки из прошлых действий, и загрузили в них 150 траекторий — это последовательности шагов агента при решении задач. Эти примеры разделили по четырём категориям риска, чтобы понять, где атака держится лучше. Затем сравнили, как меняется заметность вредоносного поведения на этапе истории и на этапе уже извлечённого навыка.

Самое интересное — после преобразования в навык атака стала гораздо хуже заметна для защитных проверок. То, что раньше почти всегда распознавалось как опасное, после извлечения часто проходило мимо фильтров. При этом сам навык оставался рабочим и продолжал подталкивать агента к вредным действиям. Ещё один неприятный момент: даже если удалить исходные отравленные записи, часть атак всё равно продолжает жить в сохранённых навыках. Авторы также отмечают, что некоторые такие навыки могут случайно срабатывать и на безвредных запросах, то есть проблема шире, чем просто одна испорченная история.