dumaiТочность ИИ не гарантирует, что он следует правилам
Препринт, ещё не рецензирован · ранние данные
Кратко
Пять языковых моделей проверили в 20 областях, меняя или убирая правило при одном и том же описании ситуации. Вердикт часто оставался прежним: универсальные модели набрали 90–92% правильных ответов, но почти не меняли решение даже после существенного изменения правила; заметно лучше они учитывали правило лишь в сложных случаях, где без него нельзя было ответить правильно.
Зачем это знать?
Для систем, которые решают, нарушен ли закон или внутреннее правило платформы, высокой точности самой по себе недостаточно. Надёжность такого решения связана с тем, меняется ли вердикт вслед за изменением правила.
Разбор
Авторы не просто сравнивали ответы с эталоном. Они оставляли описание ситуации неизменным, а затем по очереди удаляли правило, заменяли его другим или записывали его отрицание. Если решение действительно опирается на правило, такая подмена должна менять вердикт. Для этого использовали две проверки: одну по самому ответу модели, другую — по тому, меняется ли внутри модели сигнал, связанный с соблюдением правила. Это важно, потому что одинаковый ответ ещё не показывает, каким способом модель к нему пришла.
Главный результат оказался неоднозначным. В простых случаях модель часто угадывает правильный ответ по самому описанию ситуации: например, нарушение очевидно и без текста правила. Поэтому высокая точность может сочетаться с почти полным безразличием к подмене правила. Но в специально отобранных случаях, где удаление правила ломало бы прежде правильный ответ, чувствительность к замене резко возрастала — модели уже заметно лучше отслеживали содержание правила.
Отдельно проверили Llama-Guard-3-8B — защитную модель, которую обычно обучали для другой системы из 14 категорий, а здесь заставили работать с произвольными регуляторными правилами. Она показала другой тип сбоя: не «правильный ответ без опоры на правило», а слабое решение самой задачи. Ни улучшение формулировки запроса, ни прямое вмешательство во внутренние представления модели не устранили разрыв. Значит, одной проверки точности недостаточно: нужно отдельно выяснять, меняется ли решение вслед за тем правилом, которое системе дали.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая независимую рецензию. Сильная сторона работы — сравнение пяти моделей в 20 областях и два разных способа проверить зависимость от правила, но выводы относятся к тестовым сценариям, а не к реальным решениям в судах, модерации или государственных системах. Для Llama-Guard результат особенно нельзя обобщать: её проверяли в формате, под который она изначально не была обучена.
- Это препринт, поэтому результаты ещё не прошли независимую проверку.
- Экспериментальная проверка правил и сценариев не обязательно отражает работу реальных систем комплаенса.
- Результат для Llama-Guard-3-8B получен после адаптации модели к задаче вне её исходной таксономии; авторы трактуют его отдельно от результатов универсальных моделей.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено