dumaiSIGMA снизил два показателя опасного поведения модели
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили способ, при котором языковая модель сама придумывает задачи о безопасном поведении, оценивает свои ответы и обучается на этих оценках. На одной модели показатель вредоносности снизился с 22,6 до 14,8, а показатель опасного поведения в многошаговых задачах — с 79,1 до 3,8; общие способности сохранились.
Зачем это знать?
Подход указывает на возможность улучшать безопасное поведение ИИ без постоянной внешней разметки. Результат получен на одной модели и ограниченных тестах, поэтому переносить его на реальные системы пока нельзя.
Разбор
Проблема в том, что способности модели можно улучшать по проверяемым результатам — например, по правильности кода, — а безопасность так легко не измерить. SIGMA пытается убрать зависимость от постоянной проверки людьми или более сильной моделью. Авторы дали системе описание желаемого поведения — не только «не вредить», но и оставаться полезной — и поручили ей самой искать сложные ситуации, где эти правила могут конфликтовать.
Сначала модель придумала набор сценариев: от безобидных запросов до задач, связанных с потенциально опасными действиями и попытками обойти ограничения. Затем она создавала несколько вариантов ответа, сравнивала их по заранее заданным правилам и использовала лучшие варианты для дообучения. В роли проверяющего тоже выступала сама исходная модель, а не внешний эксперт. Такой конвейер объединил обычное дообучение на примерах и обучение с подкреплением — метод, при котором система получает условную «награду» за более подходящий ответ.
Важная деталь: обучение проходило только на коротких диалогах из одного запроса и ответа, но затем модель проверили в многошаговых сценариях, где агент должен последовательно выполнять действия. Улучшение там оказалось заметнее, чем на простых примерах. Авторы также сравнили SIGMA с двумя подходами, которые используют описание правил для размышления или самокритики, и с набором данных, подготовленным при внешней помощи. По их анализу, результат особенно зависел от трёх вещей: сбалансированных правил, отдельного размышления о безопасности во время ответа и качественных критериев оценки, которые генерировала модель-дизайнер.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому независимая проверка рецензентами ещё впереди. Эксперимент провели на одной базовой модели и на специально выбранных тестах; даже сильный результат здесь не гарантирует такой же эффект в других моделях или реальных системах.
- Работа является препринтом и не прошла независимую экспертную проверку.
- Оценка проведена на одной базовой модели и в ограниченном наборе тестовых сред; переносимость на другие модели и реальные сценарии не показана.
- Сама модель использовалась для генерации задач, обучения и оценивания, поэтому результаты могут зависеть от самооценки и выбранных тестов.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено