dumaiИИ подбирал более разные взгляды, но люди не стали лучше их пересказывать
Препринт, ещё не рецензирован · ранние данные
Кратко
В диалоговой системе сравнили одну общую шкалу различий с подходом, который отдельно учитывает позиции по каждому понятию. В исследовании с 63 участниками второй вариант давал более разнообразные последовательности взглядов и охватывал больше сочетаний «понятие—позиция», но люди не стали глубже обосновывать и точнее пересказывать эти взгляды.
Зачем это знать?
Разделение позиций по понятиям разнообразило подбор взглядов, но само по себе не сделало их изложение пользователями глубже или точнее. Вывод относится к одной системе и фиксированному набору взглядов, поэтому описывает конкретный способ выбора, а не понимание альтернативных позиций вообще.
Разбор
Авторы превратили подбор взглядов в последовательный поиск по заранее собранному набору из пяти позиций. Сначала система читала свободный ответ пользователя и оценивала, насколько его мнение отличается от каждой позиции. Затем специальный алгоритм задавал допустимый предел отличия и выбирал внутри него ещё не показанный взгляд — самый новый по сравнению с уже увиденными. В двух вариантах менялся только способ описания мнения: либо одной общей оценкой, либо отдельными оценками по каждому понятию в теме. Все остальные правила диалога оставались одинаковыми.
Такой подход нужен потому, что одна общая шкала может скрыть важную разницу: два взгляда окажутся «одинаково далёкими» от пользователя, хотя один спорит с ним по одному вопросу, а другой — по совсем другому. Раздельный учёт понятий позволил системе различать такие случаи. В результате она создавала 24 разных порядка показа взглядов вместо 6 в варианте с одной общей оценкой и охватывала больше доступных сочетаний «понятие—позиция». Авторы получили такой же результат, когда мысленно прогнали алгоритм по всему набору взглядов и всем возможным исходным позициям пользователей, а не только по участникам эксперимента.
Но более разнообразный маршрут не превратился в лучшее понимание. Участники одинаково подробно объясняли, почему взгляд мог быть обоснован, и с одинаковой точностью восстанавливали его содержание — даже несмотря на то, что после каждого взгляда им задавали одинаковые вопросы в сократическом стиле. Дополнительный разбор показал неожиданную деталь: хуже всего люди вспоминали те части взгляда, по которым одна из сторон вообще не занимала позицию. Это оказалось более заметным источником ошибок, чем прямое несогласие пользователя с автором взгляда.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, а не статья, прошедшая рецензирование. Участников было 63, причём исследование могло надёжно заметить только крупные различия; кроме того, проверяли одну диалоговую систему и фиксированный набор взглядов, поэтому небольшие эффекты и перенос на другие темы остаются открытыми.
- Это препринт, а не прошедшая рецензирование публикация.
- В исследовании участвовали 63 человека, и оно было рассчитано только на обнаружение крупных эффектов.
- Результат относится к выбору взглядов из фиксированного корпуса внутри конкретной диалоговой системы, а не к пониманию альтернативных позиций вообще.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено