ИИarXiv cs.CL11 октября

Оценка депрессии ИИ сильнее зависит от модели, чем от пациента

Препринт, ещё не рецензирован · ранние данные

Кратко

Авторы сравнили 11 языковых моделей на 189 интервью и проверили выводы ещё на 86. Выбор модели объяснял 30,0% различий в итоговой оценке симптомов, тогда как устойчивые различия между участниками — 10,5%; даже достаточно точные модели расходились примерно в 40% решений о людях. Сравнение проводили с восьмивопросным опросником о симптомах, а не с полноценным диагнозом.

Зачем это знать?

Одна и та же беседа может привести разные модели к разным решениям при первичной проверке на депрессию. Поэтому оценки таких систем нельзя считать надёжной диагностикой депрессии.

Разбор

Авторы не просто запустили несколько моделей и сравнили ответы. Они заранее составили широкий набор вариантов оценивания: 11 открытых моделей, разные инструкции для них и разные способы перевести ответ в балл. Всего получилось 880 таких «оценщиков». Каждый вариант применили к одним и тем же интервью и посмотрели, что меняется: порядок участников по выраженности симптомов, итоговый балл и решение о направлении на дополнительную проверку.

Главная тонкость в том, что модель может неплохо расставлять людей от более тревожных к менее тревожным, но всё равно по-разному проводить границу «нужна проверка» или «не нужна». Это похоже на несколько весов: они могут одинаково упорядочить предметы, но показывать разные значения. Поэтому среднее число отмеченных случаев иногда зависит не от точности модели, а от того, насколько высоко или низко она в целом выставляет оценки.

Затем авторы попробовали местную настройку: дали системе 40 уже размеченных примеров и скорректировали её шкалу. Точность выросла примерно с 60% до 75%, а разногласия сократились вдвое. Но это не решило вопрос полностью: даже после настройки разные варианты всё ещё могли выбрать разных людей. Основные выводы заранее зафиксированного анализа повторились на 86 новых интервью, что отличает проверку от подгонки результата только под исходный набор данных.

Ключевые цифры

880 оценщиковЭто не 880 разных программ: авторы перебрали сочетания моделей, инструкций и способов выставлять баллы, чтобы увидеть влияние каждой настройки.

40 размеченных примеровТакого небольшого местного набора хватило, чтобы заметно улучшить работу системы, но не чтобы добиться одинаковых решений по каждому человеку.

60% → 75%После настройки на местных примерах доля правильных решений выросла примерно на 15 процентных пунктов.

86 новых интервьюНа отдельном наборе данных проверили, сохраняются ли основные выводы, а не только объясняют ли они исходные интервью.

Можно ли доверять

Это препринт на arXiv, поэтому независимую рецензию он ещё не прошёл. Сильная сторона — заранее зарегистрированный анализ и проверка на 86 новых интервью; при этом речь идёт об оценке по опроснику из восьми вопросов, а не о полноценном клиническом диагнозе. Настройка проводилась на 40 размеченных примерах, поэтому её результат может зависеть от конкретной местной выборки.

Это препринт, поэтому результаты еще не прошли полноценную независимую проверку.
Анализ основан на 189 интервью и проверке на еще 86 интервью; насколько выводы обобщаются на другие группы пациентов и клинические условия, неясно.
Сравнение проводилось с восьмипунктным опросником PHQ, а не с полноценным клиническим диагнозом.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали

ЖурналarXiv (cs.CL)

Дата публикации у нас11 октября 2026 г.

Дата источника6 октября 2026 г.

ОригиналОткрыть

АвторыBaihan Lin