dumaiПрепринт — материал ещё не прошёл рецензирование
Какая ИИ-модель лучше управляет футбольным клубом, видно лишь к концу 20-летней игры
Кратко
В трёх запусках авторы проверили 15 ИИ-моделей: каждая 20 игровых лет управляла клубом, принимала примерно 340–400 решений и соревновалась с другими за одинаковый бюджет. Модели заметно различались по стилю управления, а размер, цена и поставщик не объясняли итоговый порядок: лидер становился понятен только к концу игры.
Зачем это знать
Пока это проверили только в одном футбольном симуляторе, поэтому рейтинг нельзя переносить на реальные компании. Зато тест показывает, как сравнивать ИИ в задачах, где последствия решений накапливаются годами.
Разбор
Авторы превратили управление футбольным клубом в длинный экзамен для ИИ. Модель не просто выбирала состав: она пользовалась 26 инструментами, торговала игроками, продлевала контракты, вкладывалась в инфраструктуру и молодёжную академию, меняла состав на матчи и могла потерять работу по решению совета. Все последствия считал сам игровой движок: итоговый результат складывался год за годом, без оценки со стороны другой языковой модели или человека.
Проверка шла в двух режимах. В первом каждая модель играла одна и сталкивалась с одинаковым заранее заданным миром. Во втором все участники попадали в один общий мир и напрямую меняли рынок и конкуренцию друг для друга; рядом с ними выступал обычный программный игрок для сравнения. Такой дизайн нужен потому, что короткие задания уже хорошо измеряют способность ИИ выполнить отдельную команду, но почти не показывают, умеет ли он держать разумную стратегию, когда сегодняшнее решение влияет на события через много сезонов.
Авторы нашли различия не столько в вычислительной мощности, сколько в привычках управления. Более успешные модели ближе к концу игры сокращали вложения, которые окупаются нескоро, не оставляли деньги без дела и начинали переговоры о продлении контрактов задолго до дедлайна. При этом большие расходы на текст модели не давали преимущества. Ни одна модель не смогла вывести скрытые цены рынка даже после сотен отклонённых предложений, а встроенная память ломалась по двум противоположным сценариям: одни агенты бесконечно раздували архив, другие каждый сезон переписывали план почти с нуля.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому его ещё не проверили независимые рецензенты. Тест охватил 15 моделей и несколько запусков, но все выводы получены в одном футбольном симуляторе: он показывает поведение агентов в искусственном мире, а не гарантирует такие же качества в реальном управлении.
Пересказано ИИ по научной статье. Как это устроено