dumaiПрепринт — материал ещё не прошёл рецензирование
Модели в психотерапии задают до трёх раз больше вопросов, чем люди
Кратко
Авторы сравнили разговоры людей и современных языковых моделей по десяти типам терапевтических ходов — вопросам, объяснениям и поддержке. Модели задавали вопросы до трёх раз чаще людей, реже объясняли идеи клиенту и обычно продолжали стратегию, начатую человеком, вместо того чтобы начинать её самим. Инструментарий с описанием таких ходов примерно вдвое сократил расхождение с человеческой манерой разговора; категории проверили пять лицензированных психологов.
Зачем это знать
Работа показывает, чем структура разговоров моделей отличается от человеческой и как её можно измерять без дообучения модели. Но это препринт: авторы оценивали сходство диалогов, а не улучшение состояния пациентов или качество терапии.
Разбор
Авторы сначала превратили терапевтический разговор в набор из десяти наблюдаемых действий: например, вопрос, объяснение или поддержка. Это не попытка угадать «настоящие мысли» собеседника, а способ разметить, что именно происходит на каждом шаге диалога. Затем такой разметкой описали реальные записи консультаций и сессии, которые вели языковые модели, чтобы сравнить не отдельные удачные реплики, а общий рисунок разговора.
Отдельно проверили, что происходит, если дать модели этот словарь действий в виде инструментов. Модель не переобучали и не меняли её параметры: ей просто показывали понятную схему возможных терапевтических ходов. После этого её ответы стали ближе к человеческой последовательности действий, причём улучшение заметили не только в общей статистике, но и при сравнении реплики с репликой.
Авторы также разделили ситуации, где модель продолжает разговор после человека-терапевта, и полностью искусственные сессии без человеческого примера. Это важно: иначе модель может лишь подстраиваться под уже заданное человеком направление. Такой подход позволил увидеть, какие ходы она умеет поддерживать, но редко выбирает первой. При этом исследователи рассматривают сходство структуры разговора как измеримый ориентир, а не как доказательство хорошей психотерапии.
Можно ли доверять
Это препринт с arXiv, поэтому работу ещё не проверили рецензенты журнала. Исследование сравнивает структуру реплик в расшифровках и модельных сессиях, но не показывает, помогли ли разговоры реальным пациентам; кроме того, в абстракте не указан общий объём корпуса диалогов.
Пересказано ИИ по научной статье. Как это устроено