RedAct снижает утечку навыков из агентских трасс

Авторы сначала собрали собственный тестовый набор, где проверили не общие модели, а именно риск утечки рабочих приёмов из трасс — записей о том, как агент действовал шаг за шагом. В такой записи обычно видно не только итог, но и промежуточные решения, вызовы инструментов и способы исправлять ошибки. Именно эти куски и могут выдать чужие методики: например, пороги, формулы или привычные стратегии.

Дальше они придумали RedAct — схему для «обезвреживания» таких логов. Смысл не в том, чтобы вычеркнуть всё подряд, а в том, чтобы точечно скрыть чувствительные детали и при этом оставить то, что нужно для проверки и аудита. Плюс в очищенные трассы встраиваются водяные знаки — своего рода метки, по которым потом можно понять, откуда пришёл лог и не подменяли ли его.

Самый интересный результат в том, что после такой обработки трассы стали заметно хуже «переносить» навыки в другие методы повторного использования. То есть очищенные логи уже не помогали восстанавливать скрытые приёмы так сильно, как сырые записи, но при этом всё ещё сохраняли достаточно сведений, чтобы проверить, что агент делал и где он мог ошибаться. Авторы тем самым показывают, что логи агентов можно рассматривать не просто как технический след, а как отдельный канал утечки знаний.