dumaiУчебные диалоги помогли ИИ вдвое реже пропускать острый кризис
Препринт, ещё не рецензирован · ранние данные
Кратко
В 60 парах учебных сценариев психиатры разыгрывали заранее заданные роли пациентов, а другие специалисты оценивали записи разговоров. Обученная модель выиграла у базовой в 76,7% сравнений и пропускала признаки острого кризиса более чем вдвое реже — 12,9% против 30,5%; реальные пациенты в проверке не участвовали.
Зачем это знать?
Симуляции дают разработчикам контролируемый способ проверять разговорный ИИ до возможного применения в психиатрии. Сохранившиеся пропуски кризисных признаков показывают, что для такого применения потребуются защитные механизмы и контроль врача.
Разбор
Команда не просто дала модели примеры хороших ответов. Она устроила ей серию учебных разговоров с меняющимися состояниями «пациентов» и по итогам каждого диалога начисляла баллы за важные действия: сбор анамнеза, подходящую дифференциальную диагностику, план первых шагов и человеческий стиль общения. Затем исследователи сравнили эту версию с той же моделью до обучения — с одинаковой инструкцией, инструментами и лимитом на рассуждение. Так они проверяли именно эффект тренировочных диалогов, а не удачно составленного промпта или дополнительных вычислений.
Проверка прошла в формате двойного слепого перекрёстного эксперимента: ни оценивающие специалисты, ни порядок сравнения не подсказывали, какая запись принадлежит какой версии модели. В роли пациентов выступали психиатры, игравшие заранее подготовленные сценарии, а другие психиатры независимо оценивали обезличенные расшифровки. В отдельной проверке на 127 сценариях модель после обучения заметно лучше справлялась на всех четырёх уровнях сложности. Особенно выросли две связанные вещи: она чаще поддерживала разговор так, чтобы человек раскрывал важные детали, и на этой основе точнее различала возможные диагнозы.
Но обучение не устранило главный риск. В сложных проверочных сценах модель всё ещё иногда не задавала вопрос, который мог раскрыть скрытый кризис, или не предлагала срочно усилить помощь. Такие ошибки опасны тем, что в ответе может не быть явно вредной фразы — обычный фильтр её не заметит. Поэтому авторы рассматривают симуляции как полигон для подготовки и стресс-тестов, а не как замену врачу.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому его ещё не проверили независимые рецензенты. Эксперимент хорошо контролировали и привлекли сертифицированных психиатров, но все «пациенты» были специалистами, игравшими сценарии: реальные люди и реальная клиническая практика в проверке не участвовали.
- Это препринт, поэтому результаты еще не прошли полноценную независимую проверку.
- Проверка проходила в симулированных сценариях: психиатры играли стандартизированных пациентов, а не реальные пациенты в клинической практике.
- Модель все еще пропускала признаки кризиса и недостаточно часто рекомендовала срочную помощь; авторы указывают на необходимость защитных механизмов и контроля врача.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено