dumaiИногда ИИ решал не ту математическую задачу, которую ему задали
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы взяли 200 случайно выбранных математических гипотез и трижды попросили современные языковые модели решить их без подсказок по конкретным задачам. Модели подготовили доказательство или пример, опровергающий утверждение, примерно для 60% задач; такие примеры встречались примерно в 1,3 раза чаще доказательств. Эксперты не проверяли ответы, а часть из них относилась к изменённой или недостаточно точно сформулированной версии исходной задачи.
Зачем это знать?
Проверка на случайной выборке помогает оценить, как ИИ работает не только с отдельными громкими математическими задачами. Она также показывает разницу между правдоподобным текстом и решением именно той задачи, которую поставил автор.
Разбор
Авторы сначала собрали базу OpenConjecture — гипотезы из свежих математических статей на arXiv. Чтобы одни области математики не оказались представлены слишком сильно, они брали по одной гипотезе из каждой случайно выбранной статьи. Затем запускали последовательную проверку: более доступная модель пыталась решить задачу первой, а к более мощной переходили только после ответа «не решено». Такой порядок имитирует реальную работу с ограниченным бюджетом, а не бесконечный перебор всеми доступными моделями.
На первом этапе модели видели саму гипотезу и полную статью; поиск по интернету им разрешали. В следующих попытках они получали контекст, предыдущие ответы и уже не могли искать литературу в интернете. Исследователи не объявляли найденные доказательства правильными: вместо этого они разбирали, какие задачи привлекают модели, откуда взялись решения, похожи ли они на известные результаты и насколько самостоятельной выглядит идея.
Особенно важна проблема точности попадания в условие. Иногда модель находила контрпример только потому, что использовала формулировку не так, как задумал автор, например подставляла слишком простой объект, который формально подходит под текст. Другие ответы почти напрямую следовали из уже известных математических результатов. При этом авторы нашли и решения с заметной самостоятельностью — то есть оценивать такие системы одной проверкой «есть ли похожий на доказательство текст» недостаточно.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая независимое рецензирование. Выборка из 200 гипотез даёт полезный общий срез, но исследователи специально не проверяли экспертами правильность каждого доказательства или контрпримера, поэтому результаты показывают поведение моделей, а не число действительно решённых задач.
- Работа является препринтом.
- Корректность кандидатных доказательств и контрпримеров не проверялась экспертами.
- Часть ответов решала не исходную задачу, а изменённую или недостаточно точно сформулированную версию гипотезы.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено