dumaiИИ имитирует сотрудничество, но со временем хуже подстраивается в диалоге
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы сравнили 15 881 диалог человека с ChatGPT и 10 784 разговора между людьми. ChatGPT воспроизводил признаки вежливости и моральности, однако со временем люди и ИИ всё меньше подстраивались друг к другу; некоторые мягкие формулировки, связанные у людей с большей взаимной подстройкой, в разговорах с ИИ были связаны с меньшей. Самым устойчивым признаком такой подстройки в обоих случаях оказалась возможность пользователя влиять на ход беседы.
Зачем это знать?
Предварительный результат показывает, что вежливый и удобный разговор с ИИ ещё не означает такой же взаимной подстройки, как между людьми. При этом выводы могут отличаться для других моделей, пользователей и типов разговоров, а обнаруженные связи сами по себе не доказывают причинность.
Разбор
Авторы не просто подсчитали, насколько часто ИИ использует вежливые или моральные слова. Они разбили длинные разговоры на последовательные реплики и с помощью статистической модели проверили, какие особенности одной реплики связаны с изменением следующей. Такой подход позволяет увидеть не только «похож ли текст на человеческий», но и меняется ли разговор под влиянием собеседника.
Картина получилась неоднородной. ИИ чаще берёт на себя моральные оценки и выражает тепло, а пользователю приходится сильнее поддерживать структуру разговора — например, задавать направление и удерживать тему. При этом моральная окраска ответов ИИ почти не меняется вслед за тем, что пишет человек: она выглядит скорее заранее настроенной, чем выработанной в ходе диалога. У людей же моральная вовлечённость подстраивается по ходу разговора.
Есть и более неожиданный результат: у людей смягчение формулировок и осторожные оговорки обычно помогают сближать манеру разговора, а в диалогах с ИИ связь оказалась обратной. Похожий переворот обнаружили для «морали чистоты» — рассуждений о чистом и нечистом: когда такие формулировки использовал человек, собеседники скорее расходились, а когда их выдавал ИИ, пользователь чаще двигался в его сторону. Ранний стиль беседы при этом надолго задавал дальнейший ход, поэтому оценки отдельных реплик могут не отражать успех разговора в целом.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому работу ещё не проверили независимые рецензенты. Анализ опирается на большие наборы диалогов, но показывает статистические связи в разговорах с ChatGPT, а не доказывает, что именно стиль ИИ вызывает ухудшение подстройки или что тот же эффект будет у других моделей.
- Это препринт, поэтому результаты еще не прошли полноценную экспертную проверку.
- Анализ диалогов и статистических связей показывает ассоциации, но сам по себе не доказывает причинность.
- Неясно, насколько результаты обобщаются на другие модели, пользователей и типы разговоров.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено