ИИ предложил решения для 200 открытых задач, подтвердили четыре
Препринт, ещё не рецензирован · ранние данные
Кратко
Система Bolzano, где несколько ИИ ищут решения параллельно, а другой ИИ их проверяет, обработала около 3800 открытых математических задач без специального руководства человека. Примерно для 200 задач она предложила решения, но авторы исходных статей подтвердили только четыре ответа; в двух случаях проверили лишь основную идею, а не полное доказательство.
Зачем это знать?
Для математиков это пример того, как ИИ может самостоятельно просеивать тысячи открытых задач. Число найденных решений пока нельзя считать надёжной мерой способности ИИ доказывать новые утверждения.
Разбор
Bolzano устроен как рабочая группа из ИИ: несколько «исследователей» одновременно перебирают идеи доказательства, отдельный агент проверяет найденное, а система сохраняет понятный человеку журнал хода работы. Перед запуском этого поиска другая модель превращала формулировки из статей в самостоятельные задачи — с нужными определениями и условиями, чтобы системе не приходилось каждый раз восстанавливать контекст вручную.
Авторы проверили подход на четырёх наборах публикаций: от свежих препринтов до работ с крупных конференций по теоретической информатике. В эксперименте со статьями STOC система нашла ответы на четыре вопроса, которые авторы этих статей подтвердили. В более ранних ручных запусках на специально выбранных экспертами задачах получили восемь результатов, которые проверили специалисты предметной области.
Но слово «решила» здесь часто означает предварительную оценку, а не готовую теорему. Среди типичных ошибок были пропущенные условия, доказательство более слабого утверждения, неверные рассуждения и повторное открытие уже известного результата. Кроме того, систему просили отмечать перспективные ответы, поэтому неотмеченные запуски не проверяли систематически: среди них могли остаться полезные идеи. Авторы также не сравнивали Bolzano с простым запуском тех же моделей без такой многоагентной схемы, поэтому пока нельзя понять, насколько именно организация процесса повышает эффективность.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, а не рецензированная журнальная публикация. Самая надёжная часть — четыре результата, подтверждённые авторами исходных статей, но для остальных показатели в основном оценочные: не все доказательства проверяли люди, неотмеченные ответы не просматривали систематически, а сравнения с обычным использованием тех же моделей не было.
- Большинство показателей числа «решённых» задач являются оценками, основанными частично на проверке языковыми моделями; результаты не проверялись систематически.
- Для четырёх результатов STOC авторы исходных статей подтвердили выводы, но в двух случаях проверили только основную идею, а не полное доказательство.
- Нет сравнения с прямым использованием базовых моделей; среди ошибок были пропущенные предположения, доказательства более слабых утверждений и уже известные результаты.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено