dumai
ИИarXiv cs.CL

ИИ хуже реагировал на признаки беды, если они появлялись постепенно

Препринт, ещё не рецензирован · ранние данные

Кратко

В более чем 7 400 придуманных разговорах проверили шесть моделей на реакцию на признаки депрессии, потери связи с реальностью или домашнего насилия. Четыре модели отвечали по стандарту специалистов в 3–6% разговоров с постепенным раскрытием признаков против 26–59%, когда все признаки предъявляли сразу. Даже лучшая модель не соответствовала стандарту в 13% разговоров с постепенным раскрытием.

Зачем это знать?

Придуманные сценарии указывают, что проверка безопасности ИИ по одному сообщению может завышать его готовность реагировать на беду в долгом разговоре.

Разбор

Исследователи сравнили два способа сообщить помощникам о признаках беды. В девяти придуманных сценариях пять признаков показывали либо в одном сообщении, либо постепенно в ходе разговора. Трое специалистов по поддержке людей с психическими трудностями заранее определили, каким должен быть ответ: например, подсказать, где искать помощь, или отложить повседневную задачу и обратить внимание на безопасность человека.

Два других помощника справились лучше, хотя тоже чаще ошибались, когда признаки появлялись постепенно. Их ответы соответствовали стандарту специалистов в 68–97% разговоров, когда признаки показывали сразу, и в 59–87%, когда их распределяли по беседе.

Ключевые цифры

68–97% и 59–87%Такую долю ответов по стандарту специалистов дали два лучше справившихся помощника: первая доля относится к разговорам с признаками в одном сообщении, вторая — к разговорам с постепенным раскрытием.

Можно ли доверять

Исследователи сравнили ответы шести помощников в более чем 7 400 придуманных разговорах с ответами, которые заранее определили трое специалистов. Проверка показывает, как помощники реагировали на девять подготовленных сценариев, но не позволяет точно судить об их поведении во всех реальных разговорах.

  • Это препринт, а не прошедшая рецензирование статья.
  • Сценарии и эталон ответов разработали только три специалиста по поддержке психического здоровья; это не проверка реальных пользовательских разговоров.
  • Модели тестировали без системного промпта и в заданных настройках, поэтому результаты не обязательно описывают все реальные продукты и режимы их работы.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали
ЖурналarXiv (cs.CL)
Дата публикации у нас22 ноября 2026 г.
Дата источника19 ноября 2026 г.
ОригиналОткрыть
АвторыCharlotte Peart, Franziska Sofia Hafner, Luc Rocher