Прогнозы ИИ завышали годовую выживаемость пациентов с раком
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили языковые модели на 12 врачебных сценариях: при описании пациентов с одним видом рака модели часто создавали похожие образы. Обычно они учитывали особенности опухоли и лечение, но плохо справлялись, когда имели значение прежняя терапия или ослабленное состояние пациента. При продолжении историй реальных пациентов модель предсказала годовую выживаемость 89,9%, а с примерами похожих пациентов — 79,2% против 72,2% в действительности.
Зачем это знать?
Прогнозы ИИ для пациентов с раком требуют осторожной проверки: модели могут упускать важные сведения о лечении и состоянии человека и давать слишком оптимистичные оценки.
Разбор
Авторы проверили, как модели реагируют на изменения сведений о пациентах в 12 врачебных сценариях. Модели верно учитывали признаки опухоли и лечение в 29 из 36 проверок, а предыдущее лечение или ослабленное состояние пациента — в одной из 12.
Созданные моделями образы пациентов часто повторялись. Когда моделям называли только вид рака, для каждого исходного признака самое частое значение встречалось в среднем у 81,0–93,2% созданных пациентов с этим видом рака.
Ключевые цифры
Можно ли доверять
Авторы меняли сведения о пациентах в 12 врачебных сценариях и сравнивали продолжения историй реальных пациентов с тем, что произошло на самом деле. Число реальных пациентов не приведено, поэтому трудно судить, насколько результаты применимы к другим пациентам.
- Это препринт, не прошедший полноценное рецензирование.
- Проверка охватывала 12 клинических сценариев и ограниченный набор факторов; из аннотации неясны размер и состав выборки.
- Модели заметно ошибались при учёте предыдущего лечения и хрупкости пациентов, а прогноз выживаемости оказался завышенным.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено