dumaiПрепринт — материал ещё не прошёл рецензирование
Ранние слои ИИ уже связаны со смыслами изображений
Кратко
В четырёх моделях, работающих с изображениями и текстом, части системы, нужные для чтения надписей, одновременно содержали сигналы о более общих смыслах картинок. Авторы научились переводить эти ранние сигналы в слова и показали замену одного объекта другим — например, трактора на револьвер.
Зачем это знать
Такой способ позволяет раньше и понятнее прослеживать, как ИИ разбирает изображение, и экспериментировать с изменением его содержания. Вывод пока основан на четырёх моделях и изображениях из эксперимента; это препринт, поэтому надёжность такого управления для реальных приложений ещё не установлена.
Разбор
Авторы не просто посмотрели, какие части модели связаны с распознаванием текста. Они по очереди отключали отдельные «головы внимания» — небольшие механизмы, которые решают, на какие участки входа смотреть, — и проверяли, насколько после этого падает результат OCR, то есть чтения надписей на изображении. Если отключить десять процентов голов с самыми высокими показателями, модель фактически перестаёт справляться с этой задачей. Случайное отключение такого же числа голов в поздних слоях вредит меньше, поэтому дело, вероятно, не только в том, что эти головы находятся ближе к выходу модели.
Ключевые цифры
Можно ли доверять
Это препринт arXiv, поэтому работу ещё не проверили независимые рецензенты. Авторы изучали четыре модели и тестовые изображения, а не поведение системы на реальных пользователях или в прикладных сценариях; кроме того, в абстракте не приведена общая точность замены объектов на всём наборе картинок.
Пересказано ИИ по научной статье. Как это устроено