dumaiЛюди набрали 93,1%, а лучшая модель — 53,6% в понимании сцен
Препринт, ещё не рецензирован · ранние данные
Кратко
В новом тесте проверяли, умеет ли ИИ по картинке или видео быстро понять то, что не показано напрямую: что произошло раньше, что случится дальше и как люди взаимодействуют. Люди набрали 93,1%, а лучшая модель — 53,6%; дополнительные действия с изображением и видео сократили разрыв, но не устранили его.
Зачем это знать?
ИИ, работающий рядом с людьми, может хорошо решать сложные задачи и всё же не замечать скрытые причины, намерения и последствия в сцене. Пока это ранняя оценка на новом наборе заданий, поэтому она скорее задаёт направление для дальнейшей проверки, чем описывает все возможности ИИ.
Разбор
Авторы собрали новый набор заданий HSS, где недостаточно просто распознать предметы в кадре. Для каждой фотографии или короткого видео они подготовили вопросы о скрытой структуре сцены: какие события привели к увиденному, что произойдёт дальше, кто где может проехать или какое место занимает человек в группе. Отдельные задания проверяют и более абстрактные вещи — например, негласные правила и незаметные категории, которые человек угадывает почти мгновенно.
Такой тест появился потому, что прежние проверки обычно измеряли либо базовое зрение вроде распознавания объектов, либо медленный разбор задач, требующий специальных знаний. Между ними оставалась повседневная способность быстро достраивать смысл по нескольким визуальным подсказкам. Исследователи разложили задания по типам и проверили их на людях и мультимодальных моделях — системах, которые работают и с текстом, и с изображениями или видео.
Даже когда модели разрешили использовать максимум рассуждений, их результат сильно отставал от человеческого. Затем авторы проверили другой вариант: система могла сама менять изображение или видео — например, внимательнее рассматривать отдельные участки и работать с визуальным материалом по шагам. Это помогло сократить разрыв, но не убрало его, то есть проблема связана не только с тем, сколько информации модель успевает увидеть.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому работу ещё не проверили независимые рецензенты. Тест сравнивает людей с моделями на специально созданном наборе сцен, а размер и состав человеческой группы в абстракте не указаны; кроме того, результат на HSS не показывает автоматически, как системы будут вести себя во всех реальных ситуациях.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую проверку.
- Сравнение основано на новом бенчмарке, и из abstract неясно, насколько его задания репрезентативны для реальных ситуаций.
- Показатели относятся к конкретным моделям, людям и условиям тестирования; они не измеряют все способности мультимодальных систем.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено