dumaiИИ нужно отслеживать, что в разговоре отменили и обновили
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили 234 многоэтапных сценария, где факты, ограничения и решения менялись по ходу разговора. Метод StateMem, который отдельно отмечает такие изменения, повысил точность ответов о текущем состоянии с 0,205 до 0,363 у одной модели и с 0,149 до 0,233 у другой.
Зачем это знать?
Если результат подтвердится в более реалистичных проверках, такой подход может помочь ИИ не опираться на устаревшие решения в длинных задачах. Пока вывод основан главным образом на тестах, а каждую конфигурацию запускали один раз.
Разбор
Авторы поставили задачу шире обычной проверки памяти. В большинстве таких тестов достаточно найти в истории разговора нужный факт. Здесь системе приходится понять, какой факт сейчас действует: например, отличить новое решение от отменённого и связать обновление с зависимыми ограничениями. Для этого они сделали StateMemBench — набор многоэтапных сценариев с двумя вариантами длины диалога. Ответ проверяют по закрытому набору вариантов: он отражает нынешнее состояние, устаревшее состояние или не подходит ни к одному из них. Такой формат позволяет отдельно увидеть именно ошибку отслеживания изменений, а не смешивать её с общей ошибкой ответа.
Ключевые цифры
Можно ли доверять
Это препринт arXiv, который ещё не прошёл независимую проверку рецензентами. Тесты охватывают несколько моделей и систем, но каждый вариант конфигурации запускали только один раз, а сама проверка остаётся набором специально составленных сценариев, а не наблюдением за реальными рабочими задачами.
- Это препринт, а не прошедшая рецензирование публикация.
- Каждая конфигурация оценивалась одним запуском, поэтому устойчивость заявленных улучшений неясна.
- Результаты получены на бенчмарках и не показывают напрямую надежность агентов в реальных высокоставочных задачах.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено