Устаревшие документы меняли до 37% правильных ответов Llama и Qwen

Авторы проверяли не просто, умеет ли модель читать найденный текст, а понимает ли она, относится ли этот текст к текущей ситуации. Для этого они собрали 317 случаев, где официальное правило или факт со временем изменился: например, в медицине, праве, программном обеспечении и правилах платформ. В каждом случае сравнивали ответ модели без найденного документа и с документом, помеченным датой. Так они отделили ошибку, вызванную именно старым источником, от обычной ошибки модели.

Картина оказалась неоднородной. Для четырёх открытых моделей доля таких сбоев в разных областях колебалась от 17% до 91%, тогда как свежие документы модели принимали в 97–100% проверок. Значит, проблема не в том, что модели вообще не умеют пользоваться внешними источниками: они плохо решают более узкий вопрос — можно ли доверять конкретному источнику сейчас.

Отдельный эксперимент показал, почему одной даты мало. Исследователи оставляли старый текст, вопрос и варианты ответа неизменными, а меняли только дату, на которую нужно было отвечать. По одной дате модели переключались слабо. Но когда им прямо объясняли, до какого момента действует старое правило, крупные модели почти безошибочно выбирали нужный ответ. Дополнительно авторы вмешивались во внутренние состояния моделей и увидели, что информация о сроке действия действительно напрямую влияет на итоговое решение, а не просто сопровождает его.

Авторы также проверили практическое исправление: переранжировщик — дополнительный фильтр, который учитывает свежесть документов, — уменьшал долю сбоев на 4,6–10,0 процентного пункта, если даты были точными. Это полезное, но не универсальное решение: при неверных или неполных датах его эффект зависит от качества временных метаданных.