dumaiRSI-Master помогает ИИ не обходить проверку и не застревать в одном пути
Препринт, ещё не рецензирован · ранние данные
Кратко
Система сама организует дополнительное обучение моделей и сравнивает разные направления, чтобы не подстраиваться под проверку и не оттачивать только первую идею. На одном наборе задач она получила в среднем 54,49 балла против 46,53 у лучшего сравниваемого метода; на двух других наборах более крупная версия превзошла модель, созданную людьми.
Зачем это знать?
Для разработки ИИ это пример того, как поручить системе не только улучшать модель, но и выбирать, какие идеи проверять дальше. Результат пока относится к нескольким наборам задач и конкретным моделям, поэтому не показывает, что подход будет так же работать в других условиях.
Разбор
Авторы не дали системе полной свободы экспериментировать. Они ограничили допустимые операции — например, действия с данными, обучением и проверкой — и записывали каждый результат так, чтобы можно было проследить, из какого эксперимента появился новый вариант модели. Это должно мешать агенту получать высокий балл за счёт лазеек в самой процедуре проверки, а не за счёт реального улучшения модели.
Второй слой устроен как дерево с возможностью ветвления, где каждая ветка — отдельная исследовательская идея. Одни агенты проводят эксперименты, другие сопоставляют результаты связанных веток, а главный агент решает, какую линию продолжить, перепроверить, изменить или разделить на новые направления. Такой процесс отличается от обычного последовательного подбора настроек: система может вернуться к конкурирующей идее, вместо того чтобы бесконечно шлифовать первое удачное решение.
Подход проверили сначала на Qwen3-4B-Base в PostTrainBench, а затем увеличили размер модели до 35B и сравнили её с моделью, обученной по разработанной людьми стратегии Instruct. На LiveCodeBench-v6 RSI-Master получил 41,21 против 37,36, а на SciCode также оказался впереди. Отдельно важно, что на HorizonMath система набрала ненулевой результат: это набор нерешённых исследовательских задач, где большинство передовых моделей получает почти ноль. При этом такие результаты показывают работу именно в выбранных тестах и конфигурациях, а не универсальное превосходство метода.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому его ещё не проверили независимые рецензенты. Проверка прошла на нескольких бенчмарках и моделях, а не на реальной эксплуатации; кроме того, в абстракте нет данных о независимом повторении экспериментов другими командами.
- Это препринт, поэтому результаты ещё не прошли независимую проверку.
- Выводы основаны на нескольких бенчмарках и конкретных моделях; из abstract не следует, что система столь же хорошо работает в других условиях.
- Сравнения не показывают, насколько вклад RSI-Master отделён от различий в вычислительных ресурсах, настройках и доступе к экспериментам.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено