dumaiЛишь одна из 12 ИИ-моделей частично находила изменённые законы физики
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили 12 языковых моделей в симулированных мирах, где привычные законы физики были изменены. GPT-6-Astra успешно обнаружила изменения в 16,7% случаев, а остальные модели не справились; обычно модели находили лишь отдельные странности и неполные закономерности.
Зачем это знать?
Для автономного научного поиска это ранний сигнал: ИИ пока плохо находит неизвестные правила без подсказок. Вывод относится только к искусственным мирам и не показывает, как модели справятся с настоящими физическими экспериментами.
Разбор
Авторы создали систему LongChang — своего рода автоматическую лабораторию. Она генерирует искусственные миры, где меняет один или несколько физических законов, а затем предлагает языковым моделям самим решать, что исследовать: ставить опыты с объектами, придумывать инструменты и проверять необычные наблюдения. Моделям не сообщали, какая именно закономерность изменилась и куда смотреть.
Важная особенность — весь цикл шёл без человека. Одни ИИ-агенты создавали и проверяли сцены, другие оценивали придуманные инструменты и отчёты, а записи предыдущих экспериментов использовали для создания следующих сцен. Это позволяет проверять не один удачный ответ, а способность постепенно строить исследование: заметить странность, придумать проверку и связать результаты в общее правило.
Записи экспериментов показали, что модели действительно натыкались на необычные эффекты, но чаще оставляли их без полноценного объяснения. Например, они могли заметить, что поведение объектов не совпадает с привычным, однако не провести серию сравнительных опытов, которая позволила бы точно сформулировать изменённый закон. Полностью автономное открытие оказалось редким: успех засчитали только тогда, когда модель не просто указала на аномалию, а правильно восстановила правило и подкрепила его экспериментами.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому его ещё не проверили независимые рецензенты. Кроме того, моделей было немного, а проверка проходила только в симуляциях с заранее заданными изменениями законов; отдельные ИИ-агенты также сами оценивали часть результатов, что стоит учитывать при интерпретации.
- Результат получен в симуляции, а не в реальных научных экспериментах.
- Работа является препринтом и ещё не прошла независимое рецензирование.
- Успехи оценивались для 12 конкретных LLM и не показывают, как модели справятся с реальными физическими задачами.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено