dumaiМаленькая ИИ-модель может переубедить значительно большую
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили семь открытых языковых моделей на трёх задачах понимания языка. После одного обмена сообщениями модели нередко меняли первоначальный ответ, а итоговое изменение ответа сильнее зависело от того, насколько слушатель склонен менять своё мнение, чем от способности собеседника убеждать: даже небольшая модель иногда переубеждала значительно большую.
Зачем это знать?
Для систем, где несколько ИИ принимают решения вместе, размер и уверенность каждой модели по отдельности не позволяют надёжно предсказать итог взаимодействия. В этом опыте влияние заметно менялось от пары к паре, поэтому поведение таких систем нельзя выводить из свойств отдельных моделей.
Разбор
Авторы не просто сравнили ответы моделей, а дали им по нескольку раз решить одну и ту же задачу, чтобы оценить, насколько устойчиво каждая модель выбирает вариант. Затем они столкнули модели с разными ответами и объяснениями друг друга и измерили, как изменялась уверенность слушателя после одного такого обмена. Так можно отделить способность убеждать от готовности поддаваться влиянию.
Результат оказался неоднородным. Модели, которые почти всегда одинаково отвечали в одиночку, иногда всё равно легко меняли решение после сообщения партнёра. Влияние также не складывалось в простое правило «большая модель сильнее»: многое зависело от конкретной пары. Один и тот же агент мог убедить одного партнёра, но почти не повлиять на другого; в некоторых сочетаниях чужой ответ даже усиливал ошибочное несогласие — это и есть эффект обратного удара.
До этого свойства моделей часто оценивали поодиночке: смотрели на размер, точность или устойчивость ответа в независимом тесте. Работа показывает, что для группового ИИ этого недостаточно. Нужно проверять именно те сочетания моделей, которые будут работать вместе, потому что обмен сообщениями сам меняет итоговые решения.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому его ещё не проверили рецензенты. Авторы протестировали семь моделей на трёх задачах и много раз повторяли классификацию, но работа всё равно говорит прежде всего о поведении этих конкретных моделей и заданий, а не обо всех ИИ-системах.
- Это препринт, поэтому результаты еще не прошли полноценную экспертную проверку.
- Проверены семь открытых моделей на трех задачах понимания языка; выводы могут не распространяться на другие модели и задачи.
- Эксперимент изучал влияние после одного обмена сообщениями в контролируемой постановке, а не поведение реальных многоагентных систем.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено