dumaiПрепринт — материал ещё не прошёл рецензирование
Медицинская модель запоминает фрагменты клинических записей и диагнозы
Кратко
Авторы проверили, как медицинская языковая модель, обученная на 378 тысячах клинических заметок, раскрывает информацию при разных уровнях доступа к данным пациента. Рутинные сведения вроде имени, даты рождения, врача и даты визита часто помогали восстановить фрагменты записей и связанные с ними чувствительные диагнозы. При этом точное совпадение текста не всегда означало реальную утечку: заметная часть совпавших токенов приходилась на шаблонные формулировки документации.
Зачем это знать
Это показывает, что при оценке приватности медицинских ИИ важно смотреть не только на буквальное совпадение текста, но и на то, как модель может выдавать чувствительные сведения в реалистичных сценариях. Но из-за формата preprint и результатов на одной модели выводы пока стоит считать предварительными, а не основанием для практических рекомендаций.
Разбор
Авторы не просто проверили, «помнит» ли модель обучающие тексты, а посмотрели, как далеко может зайти утечка, если у модели есть разный уровень доступа к данным о пациенте. Для этого они собрали лестницу из нескольких сценариев: от информации, которую легко угадать по ситуации, до фрагментов самих клинических заметок. На каждом уровне измеряли две вещи: может ли модель почти дословно воспроизвести кусок записи и всплывают ли при этом чувствительные диагнозы.
Самый неприятный вывод связан с обычными служебными деталями: имя, дата рождения, врач, место приёма и дата визита часто оказывались достаточными, чтобы вытянуть не только куски записей, но и диагнозы из прошлого и последующих визитов. То есть модель, обученная на длинной истории клинических заметок, может связывать разрозненные подсказки в довольно точную картину о пациенте.
Но есть важная оговорка: совпадение текста ещё не всегда означает настоящую утечку. Часть «вспомненных» токенов оказалась не уникальным содержанием, а типовыми шаблонами, которые врачи часто повторяют в документах. Поэтому авторы отдельно показывают, что для оценки приватности мало ловить буквальные повторы — нужно смотреть, выдаёт ли модель именно личную и чувствительную информацию в правдоподобной ситуации.
Ключевые цифры
Можно ли доверять
Это preprint на arXiv, то есть работу ещё не проверили рецензенты. Проверяли одну модель и один тип данных — клинические заметки, так что выводы хорошо показывают риск, но их пока рано переносить на все медицинские ИИ без дополнительных тестов.
Пересказано ИИ по научной статье. Как это устроено