dumaiКогда ИИ видит «своих», совместная работа становится хуже
Препринт, ещё не рецензирован · ранние данные
Кратко
В двух совместных играх и тесте на рассуждение программы с искусственным интеллектом начинали предпочитать собеседников из того же семейства моделей, хотя это не помогало выполнить задачу. Из-за таких меток они тратили на 30% больше раундов и на 55% больше токенов, а доля успешных решений падала с 96% до 81%; без меток эффект исчезал.
Зачем это знать?
Системы из нескольких ИИ могут терять эффективность из-за ярлыков, не связанных с задачей. Пока этот вывод относится к экспериментам с 9–25 программами, а не к реальным рабочим процессам.
Разбор
Авторы собрали группы из языковых моделей и дали им две кооперативные игры и отдельный тест на рассуждение. Участники должны были договориться, поэтому разделение на «команды» по происхождению заранее не давало им никакого преимущества. Исследователи сравнили несколько вариантов: модели видели настоящие названия семейств, получали случайные ярлыки или вообще не получали информации о происхождении собеседников.
Самая важная проверка — перестановка ярлыков. Когда одной модели приписывали обозначение другой, поведение всё равно следовало за этим обозначением, а не за реальным устройством модели. Значит, дело, по мнению авторов, не в настоящей совместимости между семействами, а в самой видимой метке. Если метки убирали, разделение исчезало. Такой результат повторился в разных заданиях, при разном размере групп и с разными семействами моделей.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому его ещё не проверили независимые рецензенты. Кроме того, речь идёт о поведении языковых моделей в игровых и тестовых сценариях, а не о людях или реальных рабочих командах; перенос результата на практические системы пока требует отдельной проверки.
- Это препринт, поэтому результаты ещё не прошли полноценную экспертную проверку.
- Выводы получены в двух играх и на одном тесте рассуждения с 9–25 агентами, а не в реальных рабочих системах.
- Эксперименты проводились на открытых моделях и не показывают напрямую, как эффект проявится в других конфигурациях.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено