dumaiПрепринт — материал ещё не прошёл рецензирование
ИИ-агенты иногда не могут договориться о встречах
Кратко
В сценариях планирования встреч в университете даже добросовестные ИИ-агенты иногда не находили приемлемого решения. Неисправные или злонамеренные агенты могли затягивать переговоры и влиять на итог через уязвимости в сообщениях; авторы предлагают дополнительный слой правил и контроля — «социальный каркас» — для проверки таких сообщений и разбора сбоев.
Зачем это знать
Это ранний результат из небольших экспериментов, который помогает понять, какие правила нужны ИИ-агентам, действующим от имени разных людей и организаций. Эффективность самого предложенного слоя контроля ещё не продемонстрирована.
Разбор
Авторы проверяли не один общий тест, а два сценария университетского расписания. В первом несколько студентов по отдельности пытаются получить по 30 минут у профессора, у которого уже занято время на гранты и статьи. Во втором профессор собирает 30-минутную встречу с ассистентами курса, чьи расписания почти не пересекаются. В каждом случае оставляли несколько возможных решений, поэтому провал нельзя было объяснить тем, что подходящего времени вообще не существовало.
В испытаниях участвовали от одного до семи студентов или ассистентов. Все агенты обычно работали на одной модели, а в отдельной конфигурации агент профессора переводили на другую модель. Исследователи считали успехом только тот случай, когда все участники договаривались о времени и не нарушали прежние записи в календарях. При проверке неисправного агента добавляли ещё одно условие: итоговое время должно было исходить от добросовестного участника, а не появиться под влиянием сбойного.
Чтобы понять причины сбоев, авторы разбирали не только итог, но и всю переписку между агентами. Одни языковые модели размечали сообщения и объединяли повторяющиеся типы поведения, после чего человек сверял выбранные выводы с исходными сообщениями и снимками календарей. Предлагаемый «социальный каркас» пока остаётся проектом: он должен отдельно проверять допустимость сообщений во время переговоров, блокировать некоторые нарушения заранее и помогать разбирать ответственность после сбоя. В статье также подчёркивается нерешённый вопрос: какие правила задавать заранее, если требования задачи неполны или участники не могут полностью раскрыть свои внутренние намерения.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому другие учёные ещё не провели независимую проверку результатов. Эксперименты были небольшими и проходили в смоделированных университетских сценариях; при этом авторы проверяли несколько размеров групп и вручную сверяли часть выводов по переписке и календарям. Сам предложенный социальный каркас в этих экспериментах ещё не показал, что он действительно исправляет обнаруженные сбои.
Пересказано ИИ по научной статье. Как это устроено