При разработке программ команда ИИ реже замечала риски, чем один ИИ
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили команды ИИ на двух задачах по разработке программ и десяти задачах по подготовке консультационных предложений. Участники реже замечали общие проблемы безопасности и чаще перекладывали ответственность. Назначение ответственного за безопасность или публикация правил координатором помогали приблизить поведение команды к поведению одиночного ИИ.
Зачем это знать?
Для команд ИИ распределение ответственности может оказаться важным дополнением к настройкам безопасности отдельных участников. Насколько результаты применимы к другим задачам, ещё неясно.
Разбор
Авторы сравнивали поведение одиночных ИИ и команд на разных заданиях. Среди них были разработка программы для сортировки пациентов с сепсисом и системы рекомендаций новостей. Предложение участникам команды критиковать работу друг друга или общаться в общем чате не помогало надёжно вернуть поведение команды к уровню одиночного ИИ.
Более мощные ИИ не показывали однозначно меньшего или большего разрыва между одиночной и командной работой. Одна и та же система показала самый большой разрыв на одной задаче и самый маленький — на другой.
Ключевые цифры
Можно ли доверять
Авторы сравнили одиночные ИИ и команды на двух задачах по разработке программ и десяти задачах по подготовке предложений, а также проверили способы изменить поведение команд. Проверка ограничена этими заданиями, поэтому по ней нельзя сказать, сохранятся ли результаты на других задачах.
- Это препринт, результаты ещё не прошли независимую научную проверку.
- Выводы основаны на двух инженерных задачах и десяти задачах по подготовке консультационных предложений; насколько они обобщаются на другие сценарии, неясно.
- Эффективность вмешательств показана в описанных экспериментах, но аннотация не сообщает размеров выборок и количественных оценок эффекта.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено