dumaiИИ распознаёт эмоции, но плохо понимает отношения в разговоре
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили десять моделей ИИ на 191 разговоре пар и семей. Модели неплохо замечали отдельные эмоциональные сигналы, но хуже отслеживали, как меняются отношения участников, чью точку зрения учитывать и какую поддержку выбрать.
Зачем это знать?
Результат помогает точнее оценивать ИИ для разговоров с несколькими участниками: понимания отдельных эмоций недостаточно, чтобы выбрать уместную поддержку. Это проверка возможностей моделей на специальных заданиях, а не доказательство их эффективности в реальной жизни.
Разбор
До сих пор системы эмоциональной поддержки в основном проверяли на диалогах один на один: один человек рассказывает о проблеме, другой отвечает. Такой подход упускает важную часть реальных разговоров — участники могут быть партнёрами или родственниками, а их отношения меняются прямо по ходу беседы. Поэтому авторы собрали отдельный тест, который проверяет не только эмоции, но и то, как люди влияют друг на друга.
Для этого они создали набор RESCUE на основе видеозаписей интервью пар и семей. Разметка показывает, какие социальные и эмоциональные события происходят в разговоре и какая поддержка может подойти в конкретный момент. Внутри набора шесть заданий: одни проверяют понимание отношений, другие — способность выбрать помощь с учётом этих отношений.
Модели справлялись лучше, когда нужно было заметить близкий к текущей реплике эмоциональный сигнал или отдельный признак поддержки. Но им было заметно труднее предсказывать общую схему отношений, выбирать, чью точку зрения принять, и подбирать стратегию ответа с учётом ситуации. Иными словами, модели видят отдельные фрагменты разговора, но пока хуже собирают из них картину того, что происходит между людьми.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv: другие учёные ещё не проверили работу в рамках рецензирования. Тест основан на разговорах пар и семей, но абстракт не сообщает, как модели поведут себя при реальной эмоциональной поддержке или на более широком наборе ситуаций.
- Работа является препринтом и не прошла независимое рецензирование.
- Бенчмарк содержит 191 образец разговоров, поэтому его результаты могут ограниченно обобщаться на другие типы отношений и ситуации.
- Результаты оценивают способности моделей на конкретных заданиях, а не доказанную эффективность эмоциональной поддержки в реальной жизни.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено