Длинный лишний контекст может резко сдвигать ответы ИИ на отдельных примерах

Авторы не просто смотрели, меняется ли средний балл модели, а проверяли каждую задачу отдельно. Они брали вопросы из нескольких сложных наборов, добавляли к ним длинный фон, который никак не помогал решать задачу, и сравнивали ответы с вариантом без этого фона. Причём фон был разный: от обычного бессмысленного набора псевдослов до более «похожего на текст» шума. Так можно увидеть, что именно делает лишний контекст с конкретным примером, а не только со средней точностью по тесту.

Главная идея оказалась такой: в среднем модели выглядят почти невосприимчивыми к лишнему тексту, но это впечатление обманчиво. За ровной средней картиной прячутся редкие примеры, где ответ заметно сдвигается — иногда в худшую сторону, иногда неожиданно в лучшую. И это не случайная история одной модели: эффект повторялся у разных языковых систем и на разных наборах вопросов. Более того, одни и те же «проблемные» примеры часто были уникальны для конкретной модели, то есть сбой у одной системы не обязательно означал сбой у другой.

Ещё важный слой результатов — что на этот сдвиг влияет. Авторы показали, что он зависит от типа добавленного контекста, от его длины, от того, сколько вычислений модель тратит во время ответа, и от того, на каком этапе развития находится модель. Это полезно для понимания, почему одна и та же система может вести себя спокойно в одном сценарии и резко — в другом. Для практики отсюда следует простой вывод: проверять только среднюю точность мало, если модель будет работать с длинными документами, перепиской или другим «шумным» окружением.