dumaiПрепринт — материал ещё не прошёл рецензирование
Сигналы мозга помогли языковым моделям лучше рассуждать
Кратко
Авторы взяли сигналы task-fMRI из областей мозга, связанных с рассуждением, и сопоставили их с внутренними представлениями языковых моделей. Затем они использовали эти сигналы, чтобы направлять представления моделей при выводе и дообучении на задачах дедукции.
Зачем это знать
Работа намекает, что сигналы из нейровизуализации могут стать источником подсказок для улучшения моделей, но это пока preprint и только для конкретного фреймворка и задач дедуктивного рассуждения. Поэтому вывод интересен как направление исследований, а не как готовый практический совет.
Разбор
Авторы не просто сравнили ответы модели с работой мозга, а попытались связать внутренние представления языковой модели с активностью мозга в зонах, которые включаются во время рассуждения. Для этого они взяли task-fMRI — это снимки мозга, сделанные пока человек решает задачу, — и сопоставили их с тем, как модель «кодирует» информацию внутри себя. Идея была в том, чтобы проверить две вещи сразу: похоже ли внутреннее устройство LLM на человеческое мышление в задачах логического вывода и можно ли использовать мозговые сигналы как подсказку для самой модели.
Дальше они пошли на шаг дальше обычного сравнения. Вместо того чтобы просто измерять сходство, исследователи использовали эти мозговые сигналы, чтобы направлять представления модели во время работы и во время дообучения. То есть модель не просто «смотрели», а ей фактически подсказывали, в каком направлении перестраивать внутренние представления. Это особенно интересно на фоне старого спора: языковые модели в основном учат себя на текстах, а тут проверяют, могут ли сигналы из нейровизуализации дать им новый источник подсказок для рассуждения.
Получилось два важных вывода. Во-первых, модель и мозг совпадают не полностью: в среднем связь заметная, но внутри отдельных типов дедуктивных задач она слабее. Во-вторых, эти же мозговые сигналы действительно помогли улучшить результат — и не только для одной модели, а для 10 языковых моделей разных размеров. Авторы отдельно отмечают, что улучшение не сводится к обычному обучению на тексте: оно добавляет что-то своё, и в некоторых случаях даёт прирост точности до 13 процентных пунктов.
Ключевые цифры
Можно ли доверять
Это preprint на arXiv, значит, статью ещё не прошла независимую рецензию. Сильная сторона работы — проверка сразу на 10 моделях и заявленный перенос на разные типы дедуктивных задач, но всё это относится к конкретному фреймворку и к данным fMRI, собранным для задач рассуждения. Пока это убедительное направление, а не универсальный рецепт для всех языковых моделей.
Пересказано ИИ по научной статье. Как это устроено