dumaiИгровой ИИ занял первое место в 80% последних игр
Препринт, ещё не рецензирован · ранние данные
Кратко
За 20 дней несколько ИИ-агентов собрали симулятор Hearthstone Battlegrounds — игры на восемь участников, где бои проходят автоматически, а игрок принимает решения между раундами, — и обучили игрового бота. На живом рейтинговом сервере его рейтинг вырос с 6000 примерно до 15 000, а в последних 20 играх он занимал первое место в 80% случаев. Человек задавал цели и разрешал спорные моменты правил.
Зачем это знать?
Системы такого типа позволяют проверять, способен ли ИИ не только отвечать на вопросы, но и создавать сложные работающие инструменты. Здесь вывод пока опирается на короткую серию из 20 игр и участие человека, поэтому устойчивость результата ещё предстоит проверить.
Разбор
Система AutoTavern не просто написала игрового бота, а собрала вокруг него целую лабораторию. Одни языковые модели искали правила и свойства карт, другие проверяли найденные утверждения, третьи улучшали симулятор, соперников и стратегию игры. Все результаты складывались в общую структурированную память, а настоящие партии замыкали цикл обратной связи: по ним система находила ошибки и решала, что исправлять дальше. В спорных случаях, например когда правило игры можно понять по-разному, последнее слово оставалось за человеком.
За 20 дней агенты создали TavernGym — максимально полную копию живой версии игры со всеми картами и механиками, а затем выпустили 23 версии игрового агента. Его обучали методом PPO: система много раз пробовала разные действия и постепенно усиливала те, что приводили к лучшему результату, играя против соперников, настроенных по данным настоящих матчей. Это важно, потому что раньше языковые модели обычно проверяли на отдельных вопросах или заранее подготовленных задачах, а не на длинной игре со случайными событиями, скрытой информацией и множеством взаимосвязанных правил.
Авторы отдельно сравнили построенный системой бот с самими языковыми моделями. В наборе TavernBench было 960 заданий из 40 игровых сценариев: бот решил 91% задач, тогда как лучшие универсальные модели — не больше 63%. При этом ему требовалось 0,03 секунды на решение, а моделям — до 26 секунд; за одну секунду, отведённую игроку на ход в реальной игре, бот сохранял 90% качества, а ни одна проверенная языковая модель не успевала показать сопоставимый результат. Получается любопытный разрыв: агенты пока играют хуже, чем система, которую они сами построили.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому независимая проверка рецензентами ещё впереди. Результаты на 960 тестовых заданиях выглядят убедительнее короткой серии живых матчей, но в самой игре участвовал человек, а стабильность результата на более долгой дистанции пока не показана.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую проверку.
- Сравнение основано на результатах последних 20 игр и метриках публичного рейтинга; по одному абстракту нельзя оценить устойчивость результата.
- В системе участвовал человек, который задавал цели и разрешал неоднозначности игровых механик; это не полностью автономный процесс.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено