ИИ-агент может помнить пользователя, но путать предложения с разрешениями

Препринт, ещё не рецензирован · ранние данные

Кратко

В контролируемой проверке несколько персональных ИИ-агентов часто принимали невысказанные или непринятые предложения за разрешённые команды — иногда даже чаще, когда знали о пользователе больше. Лёгкий модуль, который отдельно отслеживал статус договорённостей и проверял важные действия, заметно улучшил поведение без переобучения моделей, хотя в полной проверке различение принятых и непринятых предложений оставалось низким: показатели не превышали 0,21 и 0,23.

Зачем это знать?

Одной памяти о пользователе недостаточно: агент может всё равно принять собственное предложение за согласованную команду. Результат указывает, что при выборе действий важно учитывать, была ли договорённость действительно принята, но пока это показали только в контролируемых тестах, а не в длительной работе с реальными пользователями.

Разбор

Авторы проверяли не просто память агента, а его способность различать разные виды договорённостей. Они брали похожие истории: в одной пользователь принимал предложение ассистента, в другой — не отвечал на него или такого предложения вообще не было. Затем одну и ту же задачу давали агенту с разным содержимым памяти, отметкой о статусе договорённости и правилами выбора действия. Так можно было отделить нехватку информации от ошибки в её использовании.

Отдельно исследователи посмотрели, на каком этапе возникает сбой: когда агент записывает воспоминание, достаёт его из памяти или выбирает действие. Оказалось, что память может сохранить само предложение, но потерять сведения о том, принял ли его пользователь и где именно оно уместно. Поэтому больше информации о пользователе не всегда помогает: в некоторых настройках она, наоборот, повышала вероятность выполнить предложение, на которое пользователь не соглашался.

Для исправления авторы добавили Grounding Layer — небольшой модуль без переобучения моделей и без переделки систем памяти. Он отдельно записывает статус договорённости: принята она, осталась без ответа, была изменена или действует только в определённых условиях. Перед важным действием модуль сверяет не только содержание воспоминания, но и этот статус. В результате поведение улучшилось, однако базовые агенты всё ещё плохо различали такие случаи в полной проверке.

Ключевые цифры

0,21Максимальная чувствительность полной проверки: даже лучший из основных вариантов правильно распознавал принятую договорённость лишь примерно в одной пятой случаев.

0,23Максимальная контекстная избирательность: агент применял договорённость только там, где она уместна, не более чем примерно в четверти случаев.

0,95В некоторых настройках агент почти всегда считал предложение непринятым, но это не означает хорошего понимания: одновременно он мог почти не выполнять и действительно разрешённые действия.

0,33Такого уровня достигла одна облегчённая настройка без поиска по сессиям, однако её проверяли на меньшем наборе пар, поэтому напрямую сравнивать её с полной проверкой нельзя.

Можно ли доверять

Это препринт на arXiv, который ещё не прошёл независимую рецензию. Проверка охватывала несколько ИИ-агентов и разные системы памяти, но проходила в контролируемых сценариях, а не в длительном взаимодействии с реальными пользователями; кроме того, одна из лучших облегчённых настроек использовала неполный набор тестов.

Это препринт, поэтому результаты ещё не прошли независимую проверку.
Оценка выполнена на контролируемом бенчмарке и нескольких конфигурациях ИИ-агентов, а не в длительной эксплуатации реальными пользователями.
В полном тесте показатели различения принятых и непринятых предложений оставались низкими: Sensitivity была не выше 0,21, а Contextual Selectivity — не выше 0,23.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали

ЖурналarXiv (cs.AI)

Дата публикации у нас14 октября 2026 г.

Дата источника13 октября 2026 г.

ОригиналОткрыть

АвторыJiajun Chen, Xinyue Chen, Yicheng Jiang, Hua Shen