ИИ хуже восстанавливает скрытые объекты по физическим следам

Препринт, ещё не рецензирован · ранние данные

Кратко

На 378 изображениях пять моделей правильно восстанавливали полностью скрытые объекты в 42,7% случаев, когда нужно было распознать их по физическим признакам, например по тени или отражению, и в 62,7% — когда помогал общий контекст. Люди такого разрыва не показывали; предварительная попытка дорисовать объект и затем сравнить его с видимой сценой помогла двум моделям, умеющим создавать изображения.

Зачем это знать?

Для разработчиков ИИ такие тесты показывают, на каком шаге системы теряют смысл физического следа в сцене. Пока это вывод по пяти моделям и вручную отобранным изображениям, поэтому применение этих выводов к другим системам и ситуациям ограничено.

Разбор

Авторы сделали OccludeBench — набор из 378 вручную отобранных изображений, где ответ заранее известен: объект полностью закрыт, но о нём остаются следы вроде тени или отражения. Это позволяет проверить не просто догадку по картинке, а конкретную цепочку рассуждения: заметила ли модель след, поняла ли его отдельно, связала ли с источником и нашла ли нужный объект внутри всей сцены. Такой контроль важен, потому что обычные тесты могут засчитывать ответ, угаданный по знакомому контексту, даже если модель не использовала решающую физическую подсказку.

Ключевые цифры

50%В неудачных ответах модель правильно находила нужный объект внутри сложной проекции лишь в половине случаев — именно здесь чаще всего ломалась цепочка рассуждения.

91%Когда модель уже отвечала правильно, она находила объект в проекции почти всегда; значит, проблема была не только в распознавании самой тени или отражения.

52,3% против 65,9%В среднем модели решали чуть больше половины заданий, тогда как люди — около двух третей, поэтому разрыв сохранялся и за пределами одного типа подсказок.

4 этапаДиагностика разделяла рассуждение на четыре шага и помогала точнее определить место сбоя, а не ограничиваться общей оценкой правильности ответа.

Можно ли доверять

Это препринт arXiv, поэтому его выводы ещё не прошли независимую проверку рецензентами. Сильная сторона работы — контролируемый тест с известными ответами и сравнением с людьми, но моделей было всего пять, а изображения отбирали вручную; кроме того, результаты не показывают напрямую, как системы поведут себя на обычных фотографиях или в реальных задачах.

Это препринт, результаты ещё не прошли полноценную независимую проверку.
Выводы основаны на 378 вручную отобранных изображениях и пяти VLM, поэтому их обобщение на другие модели и сцены ограничено.
Улучшение от подхода «сначала дорисовать, затем проверить» показано только для моделей, умеющих генерировать изображения.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали

ЖурналarXiv (cs.CL)

Дата публикации у нас13 октября 2026 г.

Дата источника9 октября 2026 г.

ОригиналОткрыть

АвторыJasin Cekinmez, Addison J. Wu, Ryo Mitsuhashi, Linrong Cai, Xingyu Fu, Zhuang Liu