dumaiИИ представляет числа по общей схеме для текста и изображений
Препринт, ещё не рецензирован · ранние данные
Кратко
На одной модели, которая работает и с текстом, и с изображениями, проверили, как она считает примеры, заданные разными способами. Получилась общая схема: после поворота и масштабирования перенос числовой информации между ними достигал 91,4%. Часть этой информации модель держит про запас: когда первые цифры ответа совпадали, это помогало выбрать следующую цифру в 77,6% случаев.
Зачем это знать?
Результат помогает понять, как одна модель может связывать числа из текста и изображений и заранее готовить полный ответ, выдавая его по цифрам. Пока вывод относится к одной модели и ограниченному набору арифметических задач.
Разбор
Авторы не просто сравнивали похожесть внутренних состояний модели. Они вмешивались в них: находили небольшие наборы направлений внутри рабочего сигнала модели и меняли их местами, чтобы проверить, меняется ли ответ. Такой тест отделяет настоящую причину поведения от простого сходства. В эксперименте модель получала одинаковые арифметические задачи четырьмя способами: текстом или картинкой, на сложение или вычитание. При этом она должна была сразу выдавать только число, без рассуждений вслух.
Первое вмешательство показало важную деталь: текстовая и визуальная версии не записывают число в одни и те же координаты. Если напрямую перенести внутреннее представление из текста в изображение, срабатывает лишь часть эффекта. Но после поворота и изменения масштаба пространства перенос становится гораздо точнее. Значит, дело не в одинаковых отдельных «ячейках» модели: скорее, обе версии используют одну геометрию отношений между числами, но кодируют её по-разному.
Затем авторы разделили найденное представление на две части. Одну выходной слой модели использует, чтобы выбрать цифру, которую пора напечатать, а другую он напрямую не видит. Вторая часть всё равно хранит сведения о полном числе. Это объясняет, как модель может начать печатать многоразрядный ответ: заранее подготовить его целиком, а затем последовательно доставать следующие цифры. Когда первая цифра совпадала у двух возможных ответов, изменение скрытой части часто направляло модель к правильной следующей цифре — то есть эта информация нужна не только для текущего шага вывода.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому независимая проверка ещё впереди. Кроме того, выводы получили на одной модели Gemma4-12B-it и на ограниченном наборе арифметических условий; это сильный анализ её внутренних механизмов, но не доказательство того, что так устроены все мультимодальные модели.
- Результат получен на одной мультимодальной модели и на ограниченном наборе арифметических условий.
- Это препринт, поэтому работа ещё не прошла независимую научную проверку.
- Выводы относятся к внутренним представлениям модели и не показывают, что такие механизмы универсальны для других моделей или задач.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено