dumaiПосторонний текст может сбивать ИИ с толку — и это можно частично ослабить
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы разобрали, почему CLIP и похожие мультимодальные модели иногда начинают опираться на текст, случайно попавший на изображение, а не на саму картинку. Они предложили способ без дополнительного обучения, который на тестах помогает лучше переживать typographic attack и повышает точность VQA под таким вмешательством.
Зачем это знать?
Это вскрывает слабое место моделей зрения и языка — и показывает возможный способ его ослабить. Метод новый и мало проверенный, поэтому до применения в критичных системах его ещё нужно испытывать.
Можно ли доверять
- Это preprint, а не прошедшая рецензирование работа.
- Метод проверяли на выбранных CLIP/ViT-моделях и бенчмарке RIO-Bench; обобщаемость на реальные критические сценарии не доказана.
- Основной результат — технический способ интерпретации и вмешательства, а не готовая рекомендация для обычного пользователя.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено
Источник и детали
ЖурналarXiv (cs.CL)
Дата публикации у нас3 июля 2026 г.
Дата источника2 июля 2026 г.
ОригиналОткрыть
АвторыBohan Liu, Wenqian Ye, Guangzhi Xiong, Zhenghao He, Sanchit Sinha, Aidong Zhang