dumaiСигналы мозга могут сделать рассуждения ИИ надёжнее
Кратко
Авторы сопоставили активность человеческого мозга с тем, как языковые модели представляют информацию внутри себя. Затем эти сигналы использовали для обучения моделей: по данным работы, их рассуждения стали надёжнее.
Зачем это знать
Если результат подтвердится на разных моделях и задачах, мозговые сигналы могут стать новым способом направлять обучение ИИ, а не только проверять его ответы.
Разбор
Раньше сопоставление представлений мозга и языковых моделей служило главным образом способом найти сходство: исследователи смотрели, похожим ли образом мозг и модель кодируют информацию. Здесь авторы сделали следующий шаг — превратили такое сопоставление в сигнал для обучения, то есть использовали его не только для анализа уже работающей модели, но и для изменения того, как она учится рассуждать.
Главная проблема, которую они решали, — ненадёжность рассуждений языковых моделей: модель может выдать убедительный ответ, но прийти к нему нестабильным или ошибочным путём. По краткому описанию статьи, добавление ориентиров, связанных с активностью человеческого мозга, улучшило надёжность таких рассуждений. Однако абстракт не уточняет, какие именно данные о мозге использовали, как их подключали к обучению и на каких задачах измеряли улучшение — поэтому механизм результата пока нельзя разобрать подробнее.
Можно ли доверять
Статья прошла рецензирование и опубликована в Nature Machine Intelligence, что делает результат серьёзным. Но в абстракте нет размера выборки, описания задач и величины улучшения, поэтому по нему нельзя оценить, насколько эффект велик и насколько он переносится на другие модели или ситуации.
Пересказано ИИ по научной статье. Как это устроено