Сводки о бедствиях выглядят полнее, но редко воспроизводят официальные цифры

Препринт, ещё не рецензирован · ранние данные

Кратко

Авторы сравнили 121 человеческий и 261 созданный ИИ отчёт о пяти бедствиях. На трёх основных событиях машинные тексты повторяли лишь 5,4–11,0% цифр из официальных отчётов, а дату, организацию и источник сведений указывали не на уровне официальных отчётов. Преимущество машинных текстов по полноте зависело от системы оценки и не подтвердилось при другой проверке.

Зачем это знать?

Для кризисных служб это означает риск: подробный на вид текст может не подтверждать ключевые цифры и их происхождение. Ценность таких сводок определяется не впечатлением от полноты, а точностью и проверяемостью сведений.

Разбор

Авторы сначала разобрали профессиональные гуманитарные отчёты и составили схему из 15 информационных полей: например, отдельно проверяли не только содержание события, но и дату отчёта, организацию, серию документов и полномочия источника. Затем они сравнивали тексты по этой схеме, а не по общему впечатлению от похожести. Часть кодирования выполняла языковая модель, после чего автор проверял и утверждал получившиеся категории.

Главная проблема оказалась не в том, что ИИ обязательно пишет коротко или бессвязно. Он часто собирает сведения из постов в соцсетях, но не показывает, откуда именно взял каждую цифру и кто отвечает за исходные данные. При ручной проверке это подтвердилось: большинство заявленных отсутствующих сведений действительно отсутствовало, а совпадения с официальными числами и машинными числами имели разное качество связи с источниками.

Авторы также проверили, можно ли судить о качестве по автоматическим метрикам сходства текста. Оказалось, что привычные показатели плохо отвечают на практический вопрос: содержит ли отчёт нужные и проверяемые сведения. Более того, связь одной из метрик с полнотой после поправки на множественные сравнения стала отрицательной, а оценка общей языковой моделью меняла направление вывода. Это показывает, что результат зависит от того, кто и как оценивает текст, а не только от самого текста.

Важная оговорка: предложенная схема не претендует на единственно правильное описание кризисных отчётов. Исследователи не сравнивали машинное кодирование с независимой разметкой людей, поэтому часть структуры могла зависеть от интерпретаций модели и автора.

Ключевые цифры

15 информационных полейКачество отчёта оценивали по конкретному списку проверяемых элементов, а не по общему ощущению, что текст выглядит подробным.

0,827 против 0,821В одном сравнении машинный отчёт лишь немного опередил лучший человеческий результат, но разрыв оказался слишком малым, чтобы считать его надёжным.

0,910В слепой проверке автор соглашался с оценкой модели в 91% случаев — это говорит о достаточно высокой, хотя и не идеальной, согласованности оценивания.

45 из 50Ручная проверка подтвердила 45 заявлений о том, что нужных сведений в текстах не было; значит, такой вывод в основном можно было воспроизвести.

Можно ли доверять

Это препринт с arXiv, поэтому независимая журнальная рецензия ещё не подтверждает его выводы. Сильная сторона работы — ручная проверка части результатов и сравнение нескольких оценщиков, но схему категорий частично формировала сама языковая модель, а независимой человеческой разметки для проверки этого шага не было.

Это препринт, не прошедший обычное рецензирование.
Сравнение полноты зависело от выбранной модели-судьи: преимущество над человеческим уровнем не было статистически значимым и не воспроизвелось для другой модели.
Схема из 15 информационных пунктов создавалась с помощью модели и не сравнивалась с независимым человеческим кодированием.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали

ЖурналarXiv (cs.CL)

Дата публикации у нас14 октября 2026 г.

Дата источника13 октября 2026 г.

ОригиналОткрыть

АвторыSachin Kumar