ИИ хуже реагировал на признаки беды, если они появлялись постепенно
Препринт, ещё не рецензирован · ранние данные
Кратко
В более чем 7 400 придуманных разговорах проверили шесть моделей на реакцию на признаки депрессии, потери связи с реальностью или домашнего насилия. Четыре модели отвечали по стандарту специалистов в 3–6% разговоров с постепенным раскрытием признаков против 26–59%, когда все признаки предъявляли сразу. Даже лучшая модель не соответствовала стандарту в 13% разговоров с постепенным раскрытием.
Зачем это знать?
Придуманные сценарии указывают, что проверка безопасности ИИ по одному сообщению может завышать его готовность реагировать на беду в долгом разговоре.
Разбор
Исследователи сравнили два способа сообщить помощникам о признаках беды. В девяти придуманных сценариях пять признаков показывали либо в одном сообщении, либо постепенно в ходе разговора. Трое специалистов по поддержке людей с психическими трудностями заранее определили, каким должен быть ответ: например, подсказать, где искать помощь, или отложить повседневную задачу и обратить внимание на безопасность человека.
Два других помощника справились лучше, хотя тоже чаще ошибались, когда признаки появлялись постепенно. Их ответы соответствовали стандарту специалистов в 68–97% разговоров, когда признаки показывали сразу, и в 59–87%, когда их распределяли по беседе.
Ключевые цифры
Можно ли доверять
Исследователи сравнили ответы шести помощников в более чем 7 400 придуманных разговорах с ответами, которые заранее определили трое специалистов. Проверка показывает, как помощники реагировали на девять подготовленных сценариев, но не позволяет точно судить об их поведении во всех реальных разговорах.
- Это препринт, а не прошедшая рецензирование статья.
- Сценарии и эталон ответов разработали только три специалиста по поддержке психического здоровья; это не проверка реальных пользовательских разговоров.
- Модели тестировали без системного промпта и в заданных настройках, поэтому результаты не обязательно описывают все реальные продукты и режимы их работы.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено