dumaiИИ достиг порога золотой медали на олимпиаде
Препринт, ещё не рецензирован · ранние данные
Кратко
Система на базе Nemotron несколько раз создавала, проверяла и дорабатывала решения, работая только с текстом и без доступа к интернету или внешним инструментам. На олимпиаде она набрала 30 из 42 баллов; авторы также открыли модели, данные, код и 200 новых задач.
Зачем это знать?
Открытые материалы дают другим разработчикам возможность воспроизводить этот подход и проверять его на новых задачах. Но это препринт без независимого рецензирования, а результат относится к одной системе и конкретному тесту — он не означает, что ИИ надёжно решает математику в целом.
Разбор
Авторы проверяли не только саму модель, но и весь процесс её дообучения и работы во время решения. Сначала они взяли Nemotron 3 Ultra и сделали две специализированные версии: одну обучали на примерах хороших решений, другую дополнительно учила система подкрепления — она получала сигнал за более удачные ответы. Затем исследователи сравнивали, какая версия лучше строит доказательства, как их проверять и в какой момент просить модель исправить найденные ошибки.
В итоге получился конвейер из трёх версий модели. Одна предлагает доказательство, другая проверяет его, а следующая дорабатывает слабые места; этот цикл можно повторять, перебирая разные варианты. Перед отправкой решений отдельный этап с большим объёмом вычислений выбирает финальный вариант для каждой задачи. Важная деталь: вся работа идёт обычным текстом — без специального математического проверяющего программного обеспечения, интернет-поиска и внешних инструментов.
Такой подход нужен потому, что для сложной олимпиады недостаточно один раз попросить модель «решить задачу»: даже правдоподобное доказательство может содержать незаметный логический скачок. Авторы показывают, что на результат влияет не только исходная модель, но и то, как её дообучили и сколько вычислений дали на этапе поиска и проверки. Для дальнейшего сравнения они также подготовили отдельный набор из новых олимпиадных задач, а не ограничились одной проверкой на известном соревновании.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому независимые эксперты ещё не проверили работу до публикации в рецензируемом журнале. Кроме того, систему оценили на одном олимпиадном тесте; даже открытые код и данные позволяют воспроизвести эксперимент, но не доказывают надёжность модели для математики в целом.
- Это препринт, а не прошедшая независимое рецензирование публикация.
- Результат относится к конкретной системе, вычислительному бюджету и олимпиадному тесту; он не показывает, что модель в целом надежно решает математические задачи.
- В описании не уточняется, как именно проверялась корректность естественно-языковых доказательств без формального доказателя.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено