Английская и немецкая модели без совместной учёбы перенесли фактическую информацию

Авторы проверяли не только совпадение ответов моделей, но и устройство их скрытых состояний — числовых описаний, которые модель создаёт внутри себя по ходу обработки текста. Для этого они подавали моделям переводные пары предложений, а затем сравнивали геометрию этих состояний на разных слоях. Чтобы отделить настоящий сигнал от случайного сходства, порядок предложений в одной из языковых выборок случайно перемешивали. Совпадение для настоящих пар оказалось выше, чем в таком контроле.

Затем исследователи нашли одну и ту же ортогональную поворотную матрицу — преобразование, которое меняет направление координат, но не искажает расстояния между точками. Она переводила внутренние состояния одной модели в пространство другой. Важнее всего, что это преобразование работало не только «на картинке»: если подставить преобразованное состояние английской модели внутрь немецкой, немецкая модель чаще выбирала фактический ответ, связанный с английским состоянием.

Связь усиливалась при большем объёме данных, большем размере модели и близком родстве языков. Это важно на фоне обычного объяснения: похожие пространства у многоязычных моделей возникают потому, что их заранее учили вместе — на общих параметрах, смешанных наборах данных или специальной цели выравнивания. Здесь авторы специально взяли модели, которые учились по отдельности и не видели параллельных данных. В дополнительных предварительных опытах они также соединили две одномодельные системы в работающую двуязычную, но полноценное сравнение такого подхода оставили для будущей работы.