ИИ-агенты делают выводы увереннее, чем позволяют источники

Проблема здесь не в отдельных ошибках фактов, а в том, как ИИ собирает разнородные источники в один гладкий рассказ. Если документы расходятся, модель может убрать это расхождение и заменить осторожное «данные указывают по-разному» на более удобный вывод без оговорок. Авторы называют такой эффект smoothing — «сглаживанием». Речь идёт не о стиле текста, а о потере важных деталей, от которых зависит сила вывода.

Чтобы измерить эффект, авторы разбили готовый отчёт на ключевые утверждения, то есть фразы, на которых держится общий вывод. Затем для каждого утверждения они искали связанные фрагменты исходных документов и группировали их по основным аспектам темы. После этого система SmoothScore сравнивала силу формулировки с тем, насколько однозначно её поддерживали найденные материалы. Такой подход позволяет проверять не только наличие ссылок, но и действительно ли ссылки оправдывают уверенный тон.

Авторы также обнаружили, что модели нередко не сверяются достаточно внимательно с документами, на которые сами сослались. Поэтому более тщательное повторное обращение к источникам может уменьшить сглаживание — но это предложение авторов, а не уже доказанный универсальный способ исправления проблемы. Раньше качество таких отчётов часто оценивали по общей правдоподобности текста или отдельным фактическим ошибкам; здесь внимание перенесли на соответствие между конкретным выводом и всей картиной свидетельств.