dumaiLLM-модели теряются, когда запрос пользователя меняется в диалоге
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы превратили обычные одноходовые задания в многоходовые разговоры, где запрос пользователя постепенно раскрывается, уточняется, меняется и иногда перенаправляется. На нескольких задачах у сильных моделей качество заметно падало по сравнению с обычной проверкой.
Зачем это знать?
Такие проверки помогают увидеть, где модели, которые хорошо выглядят в стандартных тестах, могут спотыкаться в живом общении.
Разбор
Авторы взяли обычные тесты для LLM и превратили их в разговоры из нескольких шагов. Смысл был в том, чтобы пользователь не выдавал всё и сразу, а постепенно раскрывал намерение, потом что-то уточнял, менял формулировку или даже уводил диалог в другую сторону. Так они проверяли не просто умение отвечать на готовый запрос, а способность держать в голове, чего человек хотел изначально, и не потерять это по дороге.
Хитрость подхода в том, что им не пришлось заново размечать данные для новых задач. Они сохранили старые правила проверки и использовали уже существующие бенчмарки как основу для таких диалогов. Это удобно: можно сравнивать модели в почти тех же условиях, но уже в более живой ситуации, где намерение пользователя меняется прямо во время общения.
Главный результат оказался довольно жёстким: сильные модели, которые хорошо выглядят в обычных одноходовых тестах, заметно проседают, когда запрос начинает эволюционировать. Причём это проявилось на нескольких задачах и у разных семейств моделей. То есть проблема не в одной конкретной системе — похоже, у современных LLM пока в целом слабое место именно в отслеживании изменяющегося намерения пользователя.
Именно поэтому работа важна как проверка на реальный диалог, а не на аккуратно сформулированную инструкцию. В статичных тестах эта слабость просто не видна, а в совместной работе с пользователем она может оказаться ключевой.
Можно ли доверять
Это препринт на arXiv, так что работу ещё не проверили независимые рецензенты. Авторы прогнали подход на нескольких задачах и моделях, что делает выводы убедительнее, чем один пример, но в абстракте нет деталей про размер наборов данных и точные метрики падения качества. Поэтому результаты выглядят серьёзно, но лучше воспринимать их как сильный ранний сигнал, а не как окончательный вердикт.
- Это препринт, а не рецензированная работа.
- Фреймворк искусственно превращает статические бенчмарки в динамические диалоги; это важный тест, но все же модельный сценарий.
- Нет данных о реальном применении в живых продуктах или с реальными пользователями.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено