dumaiОтметки на изображении помогают точнее указать ИИ, что менять
Препринт, ещё не рецензирован · ранние данные
Кратко
VibeEdit позволяет отмечать нужный объект прямо на изображении и коротко пояснять, что с ним сделать — добавить, убрать, заменить или переместить. На специально собранном тесте из 419 случаев такой способ получил оценку 79,9 против 67,4 у лучшего метода с текстовыми командами и лучше сохранял неизменённые участки.
Зачем это знать?
Подход адресует проблему выбора нужного объекта, когда на изображении несколько похожих. Его преимущество проверяли на специально собранном тесте из 419 случаев, а не в обычной работе пользователей.
Разбор
VibeEdit меняет привычный порядок работы с редактором: вместо длинной текстовой команды пользователь ставит отметку прямо на нужном месте изображения и при желании добавляет короткую записку. Такая инструкция одновременно показывает модели «где» и объясняет «что сделать». Она подходит для пяти типов изменений: добавить, удалить, заменить объект, поменять его свойство или переместить его.
Чтобы обучить модель, авторы собрали 1,55 млн пар «исходное изображение — результат редактирования». Для каждой пары они указали маску объекта, то есть точную область изменения, и описание операции, а затем превратили эти данные в имитацию отметок на холсте. За основу взяли Qwen-Image-Edit и научили его отдельно обрабатывать исходную картинку и нарисованные инструкции. После обычного обучения модель дополнительно настраивали по оценкам качества: отдельно проверяли, выполнена ли команда, хорошо ли изменена нужная область и не испорчено ли всё вокруг.
Важный дополнительный результат — сохранность неизменённых частей изображения. За пределами области редактирования VibeEdit получил 32,8 дБ по PSNR против 24,0 дБ у FireRed, лучшего текстового метода в этом сравнении. Это означает, что преимущество связано не только с тем, насколько удачно модель поняла команду, но и с меньшим количеством случайных изменений вокруг выбранного объекта. Авторы отдельно собрали проверку с участием людей, чтобы испытывать именно выбор одного объекта среди похожих, а не просто способность модели следовать тексту.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому работу ещё не проверили независимые рецензенты. Модель оценивали на специально созданном наборе из 419 случаев, а не на длительном использовании реальными людьми; кроме того, сравнение касается конкретных методов и не показывает, как система поведёт себя на любых изображениях.
- Это препринт, поэтому результаты ещё не прошли независимую научную проверку.
- Сравнение проведено на специально собранном тесте из 419 случаев, а не на реальных пользовательских сценариях.
- Показатели зависят от выбранной системы оценки и не доказывают превосходство во всех типах редактирования изображений.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено