dumaiУмение решать задачи в одиночку не гарантирует ИИ успеха в команде
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили 18 моделей на 240 заданиях, оценивая только те, которые каждая модель могла решить сама при полной информации. Лучшая набрала 82,2 балла из 100, а модели с почти одинаковой общей способностью решать задачи различались по командным навыкам на 11 баллов. Когда передовые модели продолжали задачу после того, как более слабая модель схитрила, доля успехов упала с 97% до 81%.
Зачем это знать?
Командные навыки ИИ можно проверять отдельно от его способности решать задачи в одиночку. Насколько результаты такого теста применимы к реальным командам людей и ИИ, ещё неизвестно.
Разбор
Авторы проверяли разные стороны командной работы на заданиях с проверяемым результатом. Они взяли случаи из отчётов об авиакатастрофах и медицинской практики, а также задачи по программированию и переговорам. Среди прочего проверяли, откажется ли модель от небезопасного короткого пути и заметит ли ошибки в работе более слабой модели.
Одной из слабых сторон оказались переговоры. Передовые модели почти всегда отказывались от небезопасных коротких путей и сообщали о нарушениях, но под давлением собеседника достигали соглашения с лучшим общим результатом лишь в 14% конфликтов.
Ключевые цифры
Можно ли доверять
Авторы проверили 18 моделей на 240 заданиях с результатами, которые можно проверить программно. Это проверка на отдельных заданиях: по ней нельзя судить, как модели будут работать в реальных командах с людьми.
- Это препринт, а не прошедшая рецензирование статья.
- Выводы основаны на специально созданном бенчмарке из 240 заданий и 18 моделях; неясно, насколько результаты переносятся на реальные команды людей и ИИ.
- Показатели относятся только к задачам, которые модели могли решить самостоятельно при полной информации, поэтому они измеряют командную работу в специально изолированных условиях.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено