dumaiИИ хорошо ищет данные, но хуже делает инвестиционные прогнозы
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили 86 заданий, где ИИ должен был пройти весь путь от поиска данных до инвестиционного решения, используя только информацию, доступную на момент выбора. GPT-6 Astra получила 68,1 из 100 в общем зачёте, но за прогнозы и расчёты — 52,5; Claude Opus 5.5 набрала 66,9 балла в целом.
Зачем это знать?
Для финансовых ИИ такая проверка показывает, на каком этапе сильный поиск данных перестаёт превращаться в точный прогноз. Результат пока относится к смоделированным инвестиционным сценариям и 86 заданиям, а не к реальным доходам инвесторов.
Разбор
Авторы построили проверку так, чтобы модель не могла подсмотреть будущее. Для каждого задания они зафиксировали, какие документы и рыночные данные уже существовали на момент принятия решения, а затем сравнили прогноз с тем, что произошло позже. Это важно: обычный тест легко загрязнить более поздними отчётами, пересмотрами показателей или новостями, которых в реальной ситуации у аналитика ещё не было.
В основу теста вошла база с версиями финансовых документов, данными рынка и точными временными метками. Задания имитировали работу аналитика: не просто ответить на вопрос о компании, а подготовить профессиональный результат — собрать свидетельства, сделать расчёты, явно указать допущения, вывести прогноз и принять инвестиционное решение. Эксперты связали каждый балл с конкретными источниками, вычислениями и предположениями. Поэтому проверка показывает не только итоговую оценку, но и место сбоя: модель плохо нашла данные, ошиблась в расчёте или сделала необоснованный вывод.
До этого бенчмарки обычно измеряли по отдельности финансовые знания, умение искать информацию или точность прогнозов. Здесь эти этапы соединили в одну цепочку «данные — допущения — суждение». Именно это и выявило разрыв: высокая общая способность исследовать тему сама по себе не гарантирует хорошего прогноза и инвестиционного решения.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому работу ещё не проверили независимые рецензенты. Методика выглядит тщательно продуманной: её разработали инвесторы и управляющие фондами, а данные и задания привязали ко времени; но результат относится к 86 смоделированным заданиям и не показывает, сколько денег модели заработали бы в реальном рынке.
- Это препринт, поэтому результаты ещё не прошли независимую научную проверку.
- Выводы основаны на 86 заданиях и конкретном наборе моделей; их нельзя автоматически обобщать на все финансовые задачи и ИИ-системы.
- Бенчмарк оценивает модели в симулированных инвестиционных сценариях, а не реальные доходы инвесторов.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено