dumai
🤖
ИИПрепринтarXiv cs.AI

Препринт — материал ещё не прошёл рецензирование

ИИ может нарушить правило, не нарушив ни одного шага

0

Кратко

Авторы описывают четыре случая, когда отдельные действия выглядят допустимыми, а весь процесс нарушает правило: например, полномочия постепенно расширяются или несколько небольших решений вместе превышают порог. Предложенная система проверяет весь ход работы и заново считает важные показатели по исходным данным, а не по промежуточным результатам.

Зачем это знать

Идея подсказывает, почему проверки каждого действия недостаточно для ИИ, который выполняет длинные цепочки задач. Её эффективность в реальных регулируемых процессах пока не подтверждена количественными испытаниями.

Разбор

Проблема здесь не в том, что отдельные проверки работают плохо. Авторы показывают более жёсткое ограничение: если правило относится ко всей цепочке, проверка одного шага просто не видит нужного контекста. Поэтому даже идеальный классификатор, который без ошибок оценивает каждый отдельный шаг, не найдёт нарушение, возникающее только после их объединения.

Авторы разбирают четыре механизма таких сбоев и связывают каждый с тем, где именно меняется контролируемый показатель. Это важно для исправления: нельзя поставить один и тот же фильтр в любую точку процесса и ожидать одинакового результата. Нужно восстановить смысл правила на уровне всей траектории работы системы — от исходных данных до финального решения.

Для этого предложена архитектура, которая хранит происхождение данных: она отслеживает, откуда взялся каждый показатель и какие действия на него повлияли. В конце система заново вычисляет контролируемые величины по исходным данным, а не доверяет числам, которые уже могли быть изменены или агрегированы внутри рабочего процесса. В абстракте не показаны испытания на реальных регулируемых процессах, поэтому это пока концептуальная основа для будущих систем контроля.

Ключевые цифры

4 типаАвторы показывают, что проблема возникает как минимум по четырём разным схемам, а значит, одного универсального правила проверки может быть недостаточно.

Можно ли доверять

Это препринт на arXiv, а не статья, прошедшая рецензирование. Работа убедительно формулирует проблему и предлагает архитектуру решения, но в абстракте нет количественной проверки на реальных системах или регулируемых процессах, поэтому практическую эффективность пока оценить нельзя.

Пересказано ИИ по научной статье. Как это устроено

Источник и детали
ЖурналarXiv (cs.AI)
Дата публикации у нас17 сентября 2026 г.
Дата источника16 сентября 2026 г.
ОригиналОткрыть
АвторыAshwini Kurady, Sri Sai Charith Grandhi, Rajesh Gupta, Sumit Mamoria