Препринт — материал ещё не прошёл рецензирование
Meta^n улучшает способ решения задач, а не только ответы
Кратко
Система снова и снова перерабатывает не готовый ответ, а инструкции и вспомогательные средства, которыми ИИ решает задачу. На двух языковых моделях она обошла прежние подходы на всех восьми наборах тестов; на самом сложном тесте только она получила результат выше нуля.
Зачем это знать
Работа показывает, что такой способ рекурсивного улучшения может повысить результаты ИИ на разных тестах. Но это пока препринт: результаты ещё не прошли независимую проверку и не подтверждают пользу метода в реальной работе.
Разбор
Обычно самоулучшающийся ИИ пытается переписать уже готовый ответ. Здесь авторы выбрали другой путь: одна и та же процедура Ω снова и снова получает следы работы предыдущих слоёв — то есть записи о том, как решалась задача, — вместе с кодом этих слоёв. Затем она создаёт для следующего слоя не ответ, а предварительную стратегию и набор вызываемых помощников. Процедура остаётся неизменной, меняется только её вход.
Это важно из-за проблемы устойчивости. Если система начинает переписывать собственный механизм переписывания, изменения могут быстро сделать её работу непредсказуемой. В Meta^n авторы пытаются избежать этого: каждый новый слой видит больше информации, чем предыдущий, а число слоёв не задают заранее — его увеличивают, пока дальнейшее наращивание не перестаёт помогать. Отдельный эволюционный архив перебирает разные цепочки слоёв и сохраняет удачные варианты.
Дополнительный анализ показал, что основной вклад рекурсии, по мнению авторов, даёт не просто глубина сама по себе, а информация, которую каждый слой передаёт следующему. При этом роли слоёв постепенно разделяются: одни могут отвечать за одни части стратегии, другие — за другие, хотя исследователи не прописывали такие роли вручную. Авторы также выложили код, поэтому подход можно попытаться воспроизвести и проверить отдельно.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая независимую рецензию. Метод проверили на двух языковых моделях и тестовых наборах, а не в реальной работе людей; кроме того, абстракт не сообщает точных баллов и размеров всех наборов, поэтому масштаб преимущества пока трудно оценить.
Пересказано ИИ по научной статье. Как это устроено