dumaiОдна модель ИИ понимает, создаёт и редактирует изображения
Препринт, ещё не рецензирован · ранние данные
Кратко
По данным авторов, версия WeLM-Image с разрешением 1536 пикселей заняла первое место среди проверенных моделей с открытым кодом в трёх тестах. Ускоренная версия создала изображение размером 1024×1024 за 4,98 секунды на видеокарте NVIDIA H20 в режиме восьми шагов.
Зачем это знать?
В одной модели можно создавать изображения сразу по нескольким образцам и редактировать их по инструкции.
Разбор
Авторы сравнили свою модель с другими моделями с открытым кодом в трёх проверках работы с изображениями. Они не уточняют, сколько моделей участвовало в сравнении и какие задания им давали.
Модель обучали понимать и создавать изображения, используя подписи на двух языках и проверенные примеры редактирования. Создание и редактирование улучшали отдельно с помощью критериев и контрольных списков, а затем объединили результаты в одной модели.
Ключевые цифры
Можно ли доверять
Авторы сравнили модель с другими моделями с открытым кодом в трёх проверках, но не указали, сколько моделей участвовало и какие задания они выполняли. Скорость создания изображения измерили на одной указанной видеокарте, поэтому по этому результату нельзя судить о скорости на других устройствах.
- Это препринт, поэтому результаты ещё не прошли независимую проверку.
- Первое место указано только среди оценивавшихся открытых моделей и на конкретных тестах; детали сравнения и статистическая неопределённость в аннотации не приведены.
- Скорость измерена на конкретной GPU и для заданного режима из восьми шагов, поэтому её нельзя напрямую обобщать на обычные компьютеры или другие настройки.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено