dumaiПолные ответы сводят команды ИИ к одному подходу
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили, как несколько ИИ работают вместе, на 11 задачах, где нужно найти лучший вариант. Когда они видели решения друг друга целиком, то быстро начинали повторять один подход; независимые варианты обычно были надёжнее, а разбор чужой ошибки помогал только при легко заметных и исправимых ошибках.
Зачем это знать?
Результат ставит под сомнение идею, что больше агентов само по себе улучшает ответ. Но вывод основан на 11 искусственных задачах, а сама работа — ещё не прошедший независимую проверку препринт, поэтому переносить его на реальную работу рано.
Разбор
Авторы сравнили не только отдельные модели, но и десять разных схем совместной работы: от последовательной правки и обмена критикой до независимой генерации с последующим выбором. Всем схемам дали одинаковый ресурсный бюджет и проверяли ответы автоматическими оценщиками. Во время поиска агенты видели один проверяющий тест, а после завершения итоговый вариант прогоняли через скрытую проверку — более строгую или специально изменённую, чтобы понять, не подогналась ли система под видимый тест.
Главная деталь протокола: в большинстве команд агенты читали готовые решения друг друга. Это оказалось не нейтральным обменом информацией: увидев первый вариант, остальные чаще оставались рядом с ним и переставали покрывать другие возможные стратегии. Независимая генерация сохраняла разнообразие, а затем команда могла выбрать из более широкого набора кандидатов. Особенно заметна разница между задачами с плавной оценкой качества и задачами, где одна маленькая ошибка нарушает обязательное правило и обнуляет результат: критика помогала в основном во втором случае, только если модель легко находила и исправляла нарушение.
Есть и важный практический нюанс. Видимый проверяющий тест и скрытая проверка дали разные ранжирования в трёх задачах, поэтому высокий результат во время поиска не всегда означал устойчивое решение. При этом разнообразие моделей действительно расширяло покрытие: каждая команда из одной и той же модели хотя бы на одной задаче получала нулевой результат, тогда как команда из Claude, GPT-4o и Gemini не получила ноль ни на одной. Это показывает, что польза нескольких агентов может идти не от обсуждения самих по себе, а от сохранения разных вариантов и сочетания разных сильных сторон.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому независимая научная проверка ещё впереди. Эксперимент хорошо контролировал бюджеты и использовал автоматические проверки, но набор состоял из искусственных задач, а часть выводов основана на небольшом числе запусков; кроме того, расхождение скрытой и видимой оценки показали только в трёх задачах. На реальные рабочие процессы результат пока переносить осторожно.
- Это препринт, поэтому результаты еще не прошли независимую проверку.
- Выводы основаны на 11 искусственных задачах с детерминированными проверяющими, а не на широком спектре реальных рабочих задач.
- В трех задачах рейтинги по видимому и скрытому проверяющему расходились, что ограничивает переносимость результатов.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено