dumaiПрепринт — материал ещё не прошёл рецензирование
Синтетические fMRI-данные улучшили распознавание изображений
Кратко
В препринте проверили, можно ли расширять небольшие наборы fMRI-данных искусственно сгенерированными примерами из модели TRIBE v2. На двух наборах данных такой подход в ряде режимов повысил точность извлечения изображений, а в некоторых случаях модели, обученные только на синтетике, работали лучше случайного уровня.
Зачем это знать
Это показывает, что большие модели фMRI-сигналов могут помочь, когда реальных размеченных данных мало. Но вывод пока предварительный: это препринт, а результат зависит от набора данных и доли синтетического обучения.
Разбор
Авторы взяли обычную схему: есть немного реальных fMRI-замеров, а дальше им «добавили» искусственные примеры, которые сгенерировала уже обученная модель TRIBE v2. Идея была проверить не просто «помогает ли синтетика вообще», а в каких именно режимах она даёт прирост, потому что в мозговом декодировании данные обычно очень дорогие и их мало.
Для этого они прогнали сетку экспериментов на двух наборах данных: одном с 7T fMRI по Natural Scenes Dataset и другом с 3T fMRI по BOLD5000. Затем обучали декодер, который по сигналу fMRI восстанавливает представление изображения, и сравнивали, что будет, если в обучение добавить разное количество синтетики. Интересно, что эффект оказался не одинаковым везде: долю искусственных примеров приходилось подбирать под конкретный источник данных, а не брать одну универсальную пропорцию.
Самый заметный результат — на отдельных режимах точность поиска изображений в топ-10 подскочила до 68% по сравнению с обучением только на реальных данных. Ещё более неожиданно, в некоторых настройках модель, которую учили только на синтетических fMRI, всё равно работала лучше случайного угадывания. Это намекает, что TRIBE v2 действительно умеет передавать в декодер полезный сигнал о связи между изображением и реакцией мозга, даже если настоящих записей мало.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, то есть статью ещё не проверяли независимые рецензенты. Проверка шла на двух наборах данных, а не на большой клинической выборке, поэтому результат выглядит убедительно как направление, но не как окончательный вывод. Особенно важно, что эффект зависел от источника данных и доли синтетики — значит, перед практическим применением метод ещё нужно настраивать и перепроверять.
Пересказано ИИ по научной статье. Как это устроено