dumaiMarathoner превзошла базовую модель на пяти тестах и работала более 10 часов
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы дообучили модель Marathoner для длительной самостоятельной работы. На пяти специально созданных тестах она превзошла исходную модель и заявленную сильную проприетарную модель; в отдельных испытаниях выполнила более 1000 обращений к инструментам.
Зачем это знать?
Результат показывает, насколько долго модель может самостоятельно выполнять сложные задачи без постоянных подсказок человека. Но надёжность в обычных открытых задачах из него не следует: тесты проходили на специально созданных задачах и в изолированных средах.
Разбор
Авторы не просто попросили модель дольше отвечать, а перестроили весь процесс её обучения. Сначала они брали крупные изменения из открытых GitHub-проектов — такие, где появлялось больше 1000 строк кода, — и превращали их в многошаговые задания. Затем несколько заданий соединяли в одну длинную цепочку, чтобы модели приходилось не решать отдельные эпизоды, а удерживать цель на протяжении всей работы.
После этого модель обучали на удачных траекториях сильного учителя: в обучение попадали не любые попытки, а только те, которые прошли проверку специальными «обвязками» — программами, запускающими и оценивающими действия агента. На следующем этапе Marathoner действительно выполняла задания в независимых изолированных средах. Отдельная награда за полезные действия на поздних этапах должна была не дать модели сдаться после первых шагов и заставить её продолжать осмысленную работу.
Такой подход важен потому, что обычная проверка часто оценивает короткий ответ, а не цепочку действий с ошибками, исправлениями и обращениями к инструментам. Здесь авторы специально создавали задачи, где длинное выполнение было частью самой проверки. При этом результаты показывают именно способность работать в подготовленном сценарии: абстракт не доказывает, что модель так же надёжно справится с произвольным проектом пользователя или с задачей, для которой заранее не предусмотрены инструменты.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому независимая проверка публикации ещё впереди. Авторы провели масштабную серию тестов, но задачи специально синтезировали, а выполнение шло в изолированных средах; по абстракту нельзя оценить поведение модели в обычной работе и на полностью новых задачах.
- Это препринт, поэтому результаты еще не прошли полноценную независимую проверку.
- Показатели получены на специально созданных задачах и в изолированных средах; из abstract не следует, что модель так же надежно работает в реальных открытых задачах.
- Не уточнены детали сравнений с проприетарной моделью и величина улучшений на каждом бенчмарке.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено