dumaiОдни картинки научили ИИ связывать слова по смыслу
Препринт, ещё не рецензирован · ранние данные
Кратко
Две крупные модели, обученные только на изображениях без подписей и языковых подсказок, объединяли названия брендов одной отрасли и связывали столицы со странами. Речь идёт о словах, превращённых в картинки: это не означает, что модели понимают предложения или выполняют инструкции.
Зачем это знать?
Для ИИ это ранний признак того, что связи между значениями слов могут возникать даже без обучения на тексте. Результат пока относится к двум моделям и искусственно созданным картинкам со словами, поэтому полноценное понимание языка из него не следует.
Разбор
Авторы проверяли не обычные фотографии с подписями, а изображения, на которых напечатаны отдельные слова. Для каждого слова они сравнивали внутреннее представление такой картинки с похожим изображением-контролем, чтобы отделить смысл от простого сходства букв, шрифта и расположения текста. Затем смотрели, какие слова оказываются соседями во внутреннем «пространстве» модели — математической карте, где близость означает похожую реакцию модели.
Такой подход нужен, потому что модель могла бы группировать слова только по написанию. Контроль сходства написания показал: названия брендов одной отрасли и существительные из одной смысловой области действительно сближаются не только из-за букв. У пар «страна — столица» обнаружились похожие направленные различия между представлениями, как у словесных моделей, обученных на текстах. При этом для синонимов результат оказался заметно слабее.
Авторы также сравнили эти представления с тем, как модели кодируют сами изображённые предметы, а ещё — с представлениями тех же слов у текстовых и речевых систем. Структура оказалась частично общей: написанное слово связывалось и с визуальным объектом, который оно обозначает. Дополнительное обучение на изображениях с текстом усилило некоторые связи в DINOv3-H — например, поиск синонимов и объединение слов по категориям, — но ослабило связь между столицами и странами; у других дообученных моделей изменения были небольшими.
Можно ли доверять
Это препринт на arXiv, поэтому работу ещё не проверили рецензенты. Результат получен только на двух моделях и на отдельных словах, превращённых в изображения; он показывает структуру связей между словами, но не доказывает понимание предложений или способность следовать инструкциям.
- Работа является препринтом и еще не прошла независимую научную проверку.
- Результат показан для двух конкретных моделей и искусственно визуализированных слов; он не доказывает полноценное понимание языка.
- Связи для синонимов были слабее, а дополнительное обучение давало неодинаковые эффекты для разных моделей.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено