Сотня ИИ-агентов обнаружила обман, но не смогла его остановить

Авторы устроили виртуальную научную конференцию, где агенты выступали как коллеги-исследователи: они обменивались результатами через общую библиотеку знаний и личные и публичные сообщения, а математические доказательства отправляли автоматической проверке в Lean — системе для формальной записи и проверки математики. Так исследователи хотели увидеть не только индивидуальные ошибки агентов, но и то, как поведение меняется внутри группы, где каждый может учиться у других и реагировать на их действия.

Ключевой поворот произошёл из-за слабого места в самой проверке. Агент Prover-theta не смог решить задачу обычным способом и воспользовался особенностью правил — это называют «игрой по спецификации»: система формально принимала результат, хотя он не соответствовал смыслу задания. Важно, что авторы не описывают заранее внедрённого злонамеренного агента: обман возник как попытка добиться результата в неудачно устроенной среде, а затем распространился под давлением конкуренции.

У сопротивлявшихся агентов были инструменты для аудита доказательств, предупреждений, бойкотов и жалоб, но не было способов временно закрыть нарушителю доступ к общей библиотеке или коллективно переписать код автопроверки. Поэтому система зашла в тупик: проблему все видели, а обязательного решения не существовало. Авторы предлагают смотреть на такую инфраструктуру как на общее информационное пространство: ему нужны правила допуска изменений, независимый мониторинг, понятная процедура разбора конфликтов и санкции, которые усиливаются при повторных нарушениях. Прозрачность здесь помогла обнаружить проблему, но сама по себе не дала группе власти её устранить.