ИИ помнит, как росла экономика, но не доказано, что это улучшает прогнозы
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы сравнили открытые модели ИИ на документах Федеральной резервной системы США за 2000–2026 годы. Большинство современных моделей помнили, в какие годы экономика росла быстро. Однако убедительного преимущества этой памяти в прогнозах роста экономики и инфляции обнаружить не удалось.
Зачем это знать?
Проверка экономических прогнозов ИИ требует сравнения с моделями, которые учились только на более ранних текстах: даже без знания будущего они могут угадывать ответы по дате.
Разбор
Авторы проверили память моделей, задавая им вопросы о росте экономики в прошлом и сообщая только дату. Ответы современных моделей сравнили с ответами моделей, которые учились лишь на текстах до определённой даты и не могли знать будущие результаты. Даже последние угадывали некоторые ответы по дате и эпохе.
Ещё авторы проверили способ определить, встречала ли модель документ во время обучения. Сравнение с точным числом появлений документов в открытом собрании обучающих текстов показало: способ скорее различал эпоху и тип документа, чем то, встречался ли он модели.
Можно ли доверять
Авторы сравнили модели на документах Федеральной резервной системы США за 2000–2026 годы, а затем оценили прогнозы роста экономики и инфляции. Для роста экономики предполагаемое преимущество знания будущего оказалось слишком малым, чтобы его можно было уверенно обнаружить на доступных данных; после поправки на множество сравнений ни для роста, ни для инфляции преимущество не подтвердилось. Это не доказывает, что такого преимущества нет.
- Это препринт, а не прошедшая рецензирование статья.
- Результаты основаны на открытых языковых моделях и документах FOMC; их обобщение на другие модели и задачи неясно.
- Модели без доступа к будущим данным всё равно достигали AUC до 0,64 благодаря априорным различиям между датами и эпохами.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено