dumaiDeepEvolve три недели подряд лидировала в рейтинге прогнозов событий
Препринт, ещё не рецензирован · ранние данные
Кратко
DeepEvolve непрерывно использовала собственные прогнозы для улучшения последующих — это называют самоулучшением: система учится на результатах своей работы. На внешнем рейтинге прогнозов реальных событий она заняла первое место три недели подряд, а её рейтинг вырос максимум на 195%. На искусственно созданной оценке система вошла в тройку лучших среди вариантов на базе четырёх исходных ИИ-моделей.
Зачем это знать?
DeepEvolve показывает подход, при котором ИИ улучшает прогнозы за счёт собственного опыта, а не только внешних обновлений. Пока преимущество видно на конкретном рейтинге и искусственно созданной оценке, поэтому неизвестно, перенесётся ли оно на другие задачи.
Разбор
Авторы поставили ИИ в условия, где задачи не заканчиваются после одного теста. Система делает прогнозы о будущих событиях, а затем получает проверяемый ответ из реального мира — событие произошло или нет. Так у неё появляется собственный опыт, а не только заранее подготовленный набор данных. Среда при этом постоянно меняется: новые вопросы возникают по мере развития событий, поэтому агенту приходится приспосабливаться к свежей информации.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому его ещё не проверили независимые рецензенты. Результат на внешнем рейтинге выглядит содержательнее лабораторного теста, но абстракт не сообщает размер и состав сравнений, а искусственная оценка может не отражать поведение в других задачах.
- Это препринт, поэтому результаты ещё не прошли независимую научную проверку.
- Показатели относятся к конкретным рейтингам и синтетической оценке; абстракт не показывает, насколько преимущество переносится на другие задачи и среды.
- Первое место на внешнем рейтинге за три недели не доказывает универсальную способность системы к рекурсивному самоулучшению.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено