dumaiИИ выиграл 70,2% матчей, учась на своих партиях
Препринт, ещё не рецензирован · ранние данные
Кратко
ИИ обучали только в смоделированных моделью игровых ситуациях, а затем давали реальные партии, чтобы уточнять его представление об игре. После такого цикла он выиграл 421 из 600 матчей за одну сторону — 70,2%, против 33,7% до цикла и 0% при одном лишь обучении в виртуальных матчах. За другую сторону он не выиграл ни разу; успех пришёл главным образом за счёт давления по карте, а не слаженных командных боёв.
Зачем это знать?
Для разработчиков ИИ результат показывает, что проверка в реальной среде может выявить ошибки, незаметные во время обучения в воображаемых ситуациях. Вывод получен в одной конкретной игре, поэтому его перенос на другие игры пока не показан.
Разбор
Авторы собрали «внутреннюю копию» полной командной игры: в ней одновременно действуют десять героев и 206 других объектов, а один матч может длиться до 6 000 игровых шагов. ИИ учился только в этой копии, прокручивая длинные воображаемые партии по 1 400 шагов. Затем его реальные матчи возвращались в обучение самой копии мира — так она подстраивалась под ситуации, которые ИИ действительно создавал. Это похоже на тренировку автопилота в симуляторе с регулярной сверкой по настоящей дороге.
Проблема в том, что симулятор может казаться точным там, где его проверяли, но ошибаться именно в тех сценариях, к которым приводит обученная стратегия. Авторы показали это наглядно: исходная модель на партиях ИИ предсказывала в 1,79 раза больше падений башен, чем происходило в реальности, и хуже простого предположения «ничего не изменится» оценивала здоровье героев и башен. После дообучения на реальных партиях число падений башен стало отличаться от реальности менее чем на 16%, а ошибка в положении героя через 200 шагов уменьшилась в 2,4 раза.
При этом ИИ не научился игре целиком. Его копия мира хорошо передавала крупную картину — линии, башни и общий урон, — но плохо воспроизводила оглушения, точный момент применения способностей и смертельность атак. Поэтому стратегия получилась необычной: ИИ сильнее давил по карте, но почти не собирался в команду и редко побеждал за счёт скоординированных боёв. Важный методический вывод авторов: показатели внутри симуляции не заметили, что стратегия начала «обманывать» собственный мир; реальная проверка оказалась частью обучения, а не просто финальным экзаменом.
Ключевые цифры
Можно ли доверять
Это препринт arXiv, поэтому его ещё не проверили независимые рецензенты. Проверка прошла в одной конкретной игре, против встроенного соперника и только для одной из двух сторон; кроме того, исследование оценивает ИИ, а не людей в реальных командных матчах. В пользу результата говорит то, что авторы использовали отдельные партии, которые не участвовали в принятии решений, и опубликовали модели, логи и протокол проверки.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую проверку.
- Проверка проведена в одной конкретной игре и против встроенного противника; переносимость на другие игры и задачи не показана.
- Результат сильно зависит от стороны: за dire политика не выиграла ни одной партии.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено