ИИ хорошо рисует детали, но хуже связывает их в метафору

Препринт, ещё не рецензирован · ранние данные

Кратко

Авторы создали проверку визуальных метафор — изображений, которые передают абстрактную идею через соединение элементов из разных областей. В неё вошли 1500 примеров и 9594 вопроса; проверка 11 моделей показала, что им особенно трудно выстроить элементы изображения в единое целое и связать их в цельную метафору.

Зачем это знать?

Такая проверка помогает отделить умение ИИ рисовать отдельные объекты от способности передавать сложную идею целиком. Вывод пока относится к специально собранным примерам и в основном основан на оценках другой ИИ-модели, поэтому не описывает все творческие задачи.

Разбор

Авторы не просто попросили модели нарисовать картинки, а собрали отдельную проверку для метафор. В неё вошли реальные творческие изображения, распределённые по трём уровням сложности и десяти категориям. Для каждого примера подготовили по два запроса: один более общий, другой — с большим количеством деталей. Так можно проверить, помогает ли модели точное описание или проблема глубже.

Ключевые цифры

85,4%Лучший результат по тесту: модель правильно отвечала примерно на 85 вопросов из 100.

9,4 процентного пунктаНастолько лучший открытый инструмент отстал от лидера среди закрытых моделей — это заметный разрыв.

48,1–78,1%На заданиях, где нужно было правильно выстроить части метафоры, модели отвечали заметно хуже, чем на более простых уровнях.

90,6% и 96,0%Одна модель часто угадывала нужные объекты и общий смысл, но это не помогало ей так же хорошо собрать убедительную метафору.

Можно ли доверять

Это препринт с arXiv, поэтому его ещё не проверили независимые рецензенты. Авторы дополнительно сравнивали оценки ИИ-судьи с людьми и проверяли согласованность разных судей, но основная проверка всё равно опирается на автоматическую оценку, а не на большую группу человеческих экспертов.

Это препринт без указанной независимой публикационной оценки.
Оценивание в основном проводилось с помощью другой языковой модели-судьи, хотя авторы сообщают о проверках согласованности с людьми.
Результаты относятся к специально составленному бенчмарку и не показывают, как модели будут работать во всех реальных творческих задачах.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали

ЖурналarXiv (cs.AI)

Дата публикации у нас3 сентября 2026 г.

Дата источника2 сентября 2026 г.

ОригиналОткрыть

АвторыChuer Chen, Zichen Wang, Yi He, Zhengxi Yu, Nan Cao