ИИ хуже людей распознаёт скрытые мотивы по рассказам

Кратко

Авторы проверили 12 языковых моделей с помощью симуляционного теста Fuse, где ассистенту нужно понять мотив одного участника через субъективный рассказ другого. Лучшая модель набрала меньше 83,7 балла против 89,8 у людей, а многие модели ошибались чаще чем в 20% случаев; предвзятая формулировка рассказа влияла на ответы, а более длинный диалог не всегда помогал.

Зачем это знать

Результат очерчивает слабое место ИИ-советников: они могут хуже людей отделять реальные намерения от чужой интерпретации событий. Это проверили в специально созданной симуляции, поэтому пока нельзя считать вывод оценкой надёжности таких помощников в повседневных разговорах.

Разбор

Авторы построили Fuse — симуляцию, в которой один виртуальный участник скрывает свой мотив, другой пересказывает события от своего лица, а ассистенту нужно восстановить исходное намерение по этому пересказу. Важная деталь: правильный ответ заранее известен создателям сценария, потому что его задаёт сам виртуальный участник. Это позволяет проверять не впечатление от ответа модели, а её точность.

Чтобы убедиться, что такие сцены похожи на человеческие разговоры, исследователи попросили людей разметить 24 тысячи примеров. Затем они прогнали через тест 12 моделей и отдельно проверили, что именно мешает им рассуждать: сложность самой ситуации, искажения в рассказе пользователя, количество деталей и длина диалога.

Оказалось, что модели часто не используют подсказку, которая уже есть в первом сообщении: вместо ошибочного ответа они выбирают «не могу определить». Четыре модели из семейств Gemma и Claude отказывались отвечать более чем в трети случаев; при этом каждая из них правильно угадывала мотив максимум в половине сцен. Такой осторожный стиль уменьшает число ошибок, но одновременно делает помощника менее полезным. Авторы выложили код Fuse и набор из 21 тысячи примеров, чтобы другие исследователи могли повторить тест и сравнить новые модели.

Ключевые цифры

24 000 разметокЛюди проверили, похожи ли смоделированные социальные сцены на правдоподобные ситуации, а не только на выдумку алгоритма.

21 000 примеровТакой набор данных позволяет другим командам воспроизвести проверку и увидеть, где именно модели ошибаются.

более трети случаевЧетыре модели так часто отказывались от прогноза, хотя их просили выбрать вариант, что осторожность заметно снижала практическую пользу.

не более 50% правильных ответовУ каждой из этих четырёх осторожных моделей верный вывод встречался максимум в половине сцен.

Можно ли доверять

Это препринт с arXiv, поэтому его ещё не проверили независимые рецензенты. Сильная сторона работы — большая человеческая проверка симуляции и заранее известные правильные ответы, но сами результаты получены в искусственных сценариях, а не в реальных разговорах с пользователями.

Пересказано ИИ по научной статье. Как это устроено

Источник и детали

ЖурналarXiv (cs.AI)

Дата публикации у нас16 сентября 2026 г.

Дата источника15 сентября 2026 г.

ОригиналОткрыть

АвторыAmir Taubenfeld, Zorik Gekhman, Avigail Grinstein-Dabush, Itay Laish, Ariel Goldstein, Marian Croak, Avinatan Hassidim, Yossi Matias, Amir Feder