dumai
ИИHugging Face Daily Papers

По рисунку ИИ ненадёжно предсказывал исход цепной реакции

Препринт, ещё не рецензирован · ранние данные

Кратко

Авторы проверили 30 моделей на 854 рисунках с цепными реакциями, которые рассчитала компьютерная программа. Лучшие модели верно предсказывали судьбу человека максимум в 72% случаев, а оба исхода в паре почти одинаковых рисунков — максимум в 34%. Когда им давали решающий расчёт и нужные величины, включая скорости, точность предсказания судьбы человека выросла до 82–92%.

Зачем это знать?

Для ИИ, который должен планировать действия в реальном мире, убедительное описание картинки ещё не означает верного предсказания. Проверка помогает увидеть, справляется ли модель с расчётом самостоятельно.

Разбор

Авторы проверяли модели на парах почти одинаковых рисунков. В каждой паре изменение одной величины на один-три шага сетки решало, выживет ли человек; исход рассчитывала компьютерная программа.

Разные подсказки помогали по-разному. Указание на решающий этап почти не улучшало ответы, как и точные размеры и положения предметов в тексте. Даже когда моделям давали решающий расчёт, небольшие модели с открытыми параметрами отвечали примерно на уровне случайного угадывания.

Ключевые цифры

427 парВ каждой паре небольшое изменение приводило к противоположному исходу для одного человека.

Можно ли доверять

Модели проверяли на 854 рисунках двумерных цепных реакций, сравнивая их ответы с расчётом компьютерной программы. Это проверка на рисунках, а не в реальном мире; к тому же неподвижная картинка не показывает скорости, необходимые для решающего расчёта.

  • Это препринт, а не прошедшая рецензирование статья.
  • Результаты получены на специально созданном бенчмарке из 854 двумерных сцен, исход которых рассчитывал физический симулятор.
  • Проверялись модели, а не их поведение в реальном физическом мире.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали
ЖурналarXiv (via Hugging Face)
Дата публикации у нас18 ноября 2026 г.
Дата источника15 ноября 2026 г.
ОригиналОткрыть
АвторыEmilio Ferrara