dumaiОрганизация ИИ-команды может дать до 25 процентных пунктов к результату
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили команды ИИ в поиске в интернете, понимании кода и ответах по документам, используя два семейства моделей. Самообучение без продуманного состава и правил почти не помогало: лучший участник после работы в команде превзошёл себя в одиночном режиме.
Зачем это знать?
Главный вывод — результат саморазвивающейся команды зависит не только от способности отдельных программ учиться, но и от распределения руководства. Вывод относится к трём тестам и заданным ограничениям и не подтверждает, что такая организация сработает в любых рабочих процессах.
Разбор
Авторы собрали систему AGORA, в которой можно отдельно менять состав команды и правила взаимодействия между её участниками. Например, агенты могли сотрудничать, подстраиваться друг под друга или конкурировать. Затем они проверяли несколько способов саморазвития команды и сравнивали результат с тем, что показывали те же модели до изменений и поодиночке. Такой дизайн нужен, чтобы отделить пользу самого обучения от пользы хорошо устроенной команды.
Проверка прошла на трёх разных типах задач: поиск и рассуждение в интернете, понимание больших кодовых баз и численные вопросы по документам. Важная деталь: для каждой задачи использовали отдельные обучающие, проверочные и тестовые наборы, поэтому финальная оценка не должна напрямую совпадать с примерами, на которых система настраивалась. Команды также работали в жёстких рамках по времени, числу сообщений и шагов — если сессия упиралась в лимит, её засчитывали как неудачу.
При разборе успешных команд авторы увидели не просто «коллективное мышление». Со временем система обычно передавала право принимать решения самому сильному участнику, а остальные отходили в сторону — если только их участие не устраняло конкретное узкое место. При этом лидер, который сначала учился внутри команды, потом работал лучше, чем тот же тип модели в одиночку. То есть команда могла быть полезна не как постоянный совет из равных, а как среда, которая помогает одному участнику вырасти и занять ведущую роль.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая рецензирование. Проверка выглядит содержательной: авторы сравнили множество конфигураций на трёх тестах и использовали отдельный набор данных для финальной оценки, но речь всё равно идёт о модельных заданиях в ограниченных сессиях, а не о работе реальной ИИ-команды в компаниях или других живых условиях.
- Это препринт, поэтому результаты ещё не прошли независимое рецензирование.
- Выводы основаны на вычислительных экспериментах с двумя семействами моделей, тремя бенчмарками и заданными ограничениями по времени и числу сообщений.
- Результаты показывают эффективность в использованных тестах, но не доказывают, что такая организация будет работать для любых моделей, задач или реальных рабочих процессов.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено