Сигналы мозга позволяют различать слова при чтении

Авторы обошли главную проблему таких исследований: настоящую спонтанную внутреннюю речь почти невозможно записать вместе с мозговой активностью. Вместо этого они использовали молчаливое чтение как более быстрый и проверяемый заменитель. Слова показывали одно за другим, а компьютер сопоставлял короткие отрезки ЭЭГ с представлениями этих слов, полученными из большой языковой модели. Такой подход проверяет не заранее заданный список команд, а открытый словарь — система могла искать совпадение среди разных слов.

Чтобы компьютер не угадывал слово по его внешнему виду, оформление текста меняли на каждом показе. Дополнительные проверки отделили распознавание самого слова от более простых подсказок: темы рассказа, позиции слова в последовательности и других особенностей эксперимента. Это важно, потому что без таких проверок система могла бы распознавать не слово, а, например, то, что сейчас читается середина рассказа.

Наибольший вклад дали электроды над затылочной и задневисочной областями — зонами, связанными с обработкой зрительной формы и содержания прочитанного. Если убрать их, преимущество распознавания слова уменьшалось примерно на треть, но отслеживание контекста рассказа почти не менялось. При этом качество продолжало расти вместе с объёмом обучающих данных по логарифмической зависимости: явного выхода на плато авторы не увидели. Это указывает, что в эксперименте упирались прежде всего в нехватку данных, а не в предел самого метода.