dumaiМодель собрала похожие на мозг кластеры в разных модальностях
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы предложили Topo-Omni — топографическую мультимодальную модель для зрения, слуха и языка/когниции. В ней появились кластеры, которые сопоставляются с данными нейровизуализации человека, а также новые кандидаты на участки коры для проверки.
Зачем это знать?
Это помогает проверить, может ли единый пространственный принцип объяснять организацию разных систем в мозге. Но выводы пока основаны на препринте и на модели, поэтому это скорее источник проверяемых гипотез, чем готовый вывод о работе человеческого мозга.
Разбор
Авторы взяли уже обученную большую мультимодальную модель и донастроили её так, чтобы разные типы информации — картинка, звук и язык/когнитивные задачи — размещались на одной непрерывной «карте», а не в отдельных разрозненных кусках. Для этого они добавили две вещи: задачу самоподгонки, чтобы модель лучше согласовывала свои внутренние представления, и штраф за резкие скачки по пространству, чтобы рядом оказывались похожие ответы. Идея здесь простая: если в мозге соседние участки коры часто обрабатывают похожие сигналы, то похожий принцип можно попробовать встроить и в модель.
Дальше они проверили, что из этого вышло. На этой общей карте у модели сами собой появились локальные кластеры, похожие на известные зоны человеческой коры: для зрительных категорий, для звука и для более сложных когнитивных функций. Причём они сравнивали не только положение этих зон, но и то, как они отвечают на разные стимулы, и увидели сходство с данными нейровизуализации людей. Ещё важный момент: если такой кластер у модели «подталкивать» или, наоборот, подавлять, её поведение меняется именно в нужную сторону — как в человеческих экспериментах с вмешательством.
Самое любопытное — модель использовали как поисковик новых идей для мозга. Она подсказала два новых типа кластеров, связанных с пейзажами и животными, а потом эти сигнатуры проверили на данных fMRI, то есть по сигналу МРТ, который показывает активность мозга косвенно через кровоток. Так что работа не только повторяет известные карты, но и предлагает новые кандидаты на участки коры, которые раньше могли просто не замечать.
Можно ли доверять
Это препринт на arXiv, то есть работу ещё не прошли полноценную внешнюю экспертизу в журнале. Проверка шла в основном на модели и на данных fMRI у людей, так что это сильный источник гипотез, но не окончательное доказательство того, как устроен мозг. Тем не менее авторы не ограничились красивой визуализацией: они ещё и проверили, что предсказанные кластеры действительно связаны с поведенческими сдвигами и находят подтверждение в человеческих данных.
- Preprint on arXiv, so results are not yet peer reviewed.
- The evidence is from a model and in-silico analyses, with validation only against human neuroimaging data.
- Claims about causal involvement are shown in the model, not directly in humans.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено