dumaiВ модели ИИ не может нарушить правила без проверяемого доказательства
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы описали систему, где перед каждой операцией программа-агент предъявляет проверяемое доказательство: действие не нарушит заранее заданные ограничения. Математически они показали, что правила сохраняются во время выполнения даже при намеренно нарушающем их поведении агента — внутри принятой модели системы.
Зачем это знать?
В системах, где ИИ покупает услуги или передаёт поручения, такой подход описывает способ заранее проверять соблюдение правил, не полагаясь на добросовестность программы. Насколько это применимо в реальном мире, зависит от того, насколько модель учитывает внешнюю среду и последствия действий.
Разбор
Авторы предлагают не пытаться заранее перечислить все разрешённые решения агента. Вместо этого стороны договора задают условия, которые нельзя нарушать, а сам агент перед каждой операцией приносит машинно проверяемое доказательство: при выбранной им стратегии эти условия сохранятся. Специальный исполнительный слой Airlock проверяет доказательство и только потом открывает доступ к операции. Агент при этом может менять способ достижения цели — ему не навязывают отдельную жёсткую схему разрешений.
Проблема в том, что обычный текст договора или инструкции не заставляет программу подчиняться: она может ошибиться, попасть под влияние прочитанной информации или преследовать чужой интерес. Авторы математически показали, что предложенные ограничения сохраняются на каждом шаге выполнения даже при намеренно враждебном поведении агента — если рассуждения происходят внутри принятой модели системы. Для сборки таких договоров они также описали повторно используемые модули возможностей: готовые инструменты вместе с гарантиями того, что именно они позволяют делать. При этом сами авторы отдельно отмечают: гарантия безопасности в программе означает безопасность в реальном мире только тогда, когда модель правильно учитывает внешнюю среду и последствия действий.
Можно ли доверять
Это препринт на arXiv, а не статья, прошедшая рецензирование, поэтому выводы ещё не получили независимой проверки. Кроме того, результат теоретический: его сила зависит от того, насколько точно модель описывает реальный мир; абстракт не сообщает о проверке на людях, работающих системах или реальных сделках.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую проверку.
- Гарантии относятся к формальной модели; их перенос на реальные системы зависит от того, насколько точно модель описывает внешнюю среду и последствия действий.
- Абстракт не сообщает о практическом развертывании или проверке метода на реальных агентских системах.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено