По рисунку ИИ ненадёжно предсказывал исход цепной реакции
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили 30 моделей на 854 рисунках с цепными реакциями, которые рассчитала компьютерная программа. Лучшие модели верно предсказывали судьбу человека максимум в 72% случаев, а оба исхода в паре почти одинаковых рисунков — максимум в 34%. Когда им давали решающий расчёт и нужные величины, включая скорости, точность предсказания судьбы человека выросла до 82–92%.
Зачем это знать?
Для ИИ, который должен планировать действия в реальном мире, убедительное описание картинки ещё не означает верного предсказания. Проверка помогает увидеть, справляется ли модель с расчётом самостоятельно.
Разбор
Авторы проверяли модели на парах почти одинаковых рисунков. В каждой паре изменение одной величины на один-три шага сетки решало, выживет ли человек; исход рассчитывала компьютерная программа.
Разные подсказки помогали по-разному. Указание на решающий этап почти не улучшало ответы, как и точные размеры и положения предметов в тексте. Даже когда моделям давали решающий расчёт, небольшие модели с открытыми параметрами отвечали примерно на уровне случайного угадывания.
Ключевые цифры
Можно ли доверять
Модели проверяли на 854 рисунках двумерных цепных реакций, сравнивая их ответы с расчётом компьютерной программы. Это проверка на рисунках, а не в реальном мире; к тому же неподвижная картинка не показывает скорости, необходимые для решающего расчёта.
- Это препринт, а не прошедшая рецензирование статья.
- Результаты получены на специально созданном бенчмарке из 854 двумерных сцен, исход которых рассчитывал физический симулятор.
- Проверялись модели, а не их поведение в реальном физическом мире.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено