ИИ продолжает учитывать отвергнутые предложения пользователя

Препринт, ещё не рецензирован · ранние данные

Кратко

Авторы проверили восемь языковых моделей на тесте из 414 источников задач по работе с инструментами, коду, базам данных и математике. В исходном сценарии общая точность составила 91,73%, а в одном из вариантов разговора — 47,37%: модели продолжали учитывать предложение, от которого пользователь отказался или которое заменил.

Зачем это знать?

Для ИИ-помощников важно отличать обсуждённую идею от действующего указания. Насколько часто такой сбой встречается в обычных пользовательских диалогах, ещё предстоит выяснить.

Разбор

Авторы не просто сравнили ответы «до» и «после», а разложили один и тот же запрос на несколько сценариев. В одном сценарии пользователь сразу формулирует итоговую задачу, в другом сначала предлагает изменение и принимает его, а в третьем предлагает изменение, но потом оставляет исходный вариант. Так можно отделить обычную сложность длинного диалога от ошибки, когда модель принимает сам факт упоминания идеи за действующее указание.

Проблема оказалась не только в отвергнутых предложениях. Модель также путалась, когда новое требование заменяло старое: прежняя версия продолжала влиять на ответ. Причём ошибка могла не исчезать по мере продолжения разговора, а накапливаться или сохраняться. Особенно заметно это было в задачах с базами данных и действиями с инструментами; математика и код тоже страдали, но не одинаково у всех моделей.

Затем авторы проверили способ исправления. Они взяли две копии одной модели: «учителя», который видел итоговое решение пользователя, и «ученика», который учился на полном диалоге, включая отвергнутые идеи. Учитель подсказывал ученику, какое требование считать действующим. Это не делает модель способной читать мысли: метод лишь обучает её связывать ответ с окончательным выбором пользователя, а не со всеми вариантами, которые прозвучали в разговоре.

Ключевые цифры

10 моделейАвторы проверяли не только восемь моделей из основной таблицы: ещё две вынесли в приложение, поэтому вывод не опирается на один-единственный ИИ.

55,43%В сценарии с исходной задачей после лишнего обсуждения правильным оставался примерно каждый второй ответ — длинный диалог сам по себе уже заметно мешал.

49,88%Когда пользователь менял решение, модель в среднем справлялась лишь примерно в половине случаев, даже если новое требование было явно задано.

85,11%При более благоприятном варианте разговора с принятым изменением точность была заметно выше, но всё равно ниже прямого сценария без такого диалога.

Можно ли доверять

Это препринт на arXiv, поэтому другие учёные ещё не провели независимую проверку работы. Тест охватывает много задач и моделей, но это контролируемый бенчмарк, а не реальные пользовательские переписки; насколько часто такие ошибки встречаются в обычных разговорах, из этих данных понять нельзя.

Это препринт, а не прошедшее независимую проверку исследование.
Результаты получены на специально разработанном бенчмарке из 414 источников задач; по абстракту нельзя определить, насколько часто такая ошибка возникает в реальных пользовательских диалогах.
Числа заметно зависят от модели, предметной области и конкретного сценария разговора.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали

ЖурналarXiv (cs.AI)

Дата публикации у нас10 октября 2026 г.

Дата источника5 октября 2026 г.

ОригиналОткрыть

АвторыJunle Chen, Wei Chen, Zhengjun Huang, Zhoujin Tian, Yuxuan Liu, Kai Wang, Rui Chen, Xiaofang Zhou