dumai
ИИarXiv cs.CL

ИИ помнит, как росла экономика, но не доказано, что это улучшает прогнозы

Препринт, ещё не рецензирован · ранние данные

Кратко

Авторы сравнили открытые модели ИИ на документах Федеральной резервной системы США за 2000–2026 годы. Большинство современных моделей помнили, в какие годы экономика росла быстро. Однако убедительного преимущества этой памяти в прогнозах роста экономики и инфляции обнаружить не удалось.

Зачем это знать?

Проверка экономических прогнозов ИИ требует сравнения с моделями, которые учились только на более ранних текстах: даже без знания будущего они могут угадывать ответы по дате.

Разбор

Авторы проверили память моделей, задавая им вопросы о росте экономики в прошлом и сообщая только дату. Ответы современных моделей сравнили с ответами моделей, которые учились лишь на текстах до определённой даты и не могли знать будущие результаты. Даже последние угадывали некоторые ответы по дате и эпохе.

Ещё авторы проверили способ определить, встречала ли модель документ во время обучения. Сравнение с точным числом появлений документов в открытом собрании обучающих текстов показало: способ скорее различал эпоху и тип документа, чем то, встречался ли он модели.

Можно ли доверять

Авторы сравнили модели на документах Федеральной резервной системы США за 2000–2026 годы, а затем оценили прогнозы роста экономики и инфляции. Для роста экономики предполагаемое преимущество знания будущего оказалось слишком малым, чтобы его можно было уверенно обнаружить на доступных данных; после поправки на множество сравнений ни для роста, ни для инфляции преимущество не подтвердилось. Это не доказывает, что такого преимущества нет.

  • Это препринт, а не прошедшая рецензирование статья.
  • Результаты основаны на открытых языковых моделях и документах FOMC; их обобщение на другие модели и задачи неясно.
  • Модели без доступа к будущим данным всё равно достигали AUC до 0,64 благодаря априорным различиям между датами и эпохами.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали
ЖурналarXiv (cs.CL)
Дата публикации у нас18 ноября 2026 г.
Дата источника16 ноября 2026 г.
ОригиналОткрыть
АвторыArunkumar V, Gangadharan G. R., S. Senthilkumar