DeepSeek-R1-Distill-Llama-8B: ранняя правка подняла безопасность с 29,06% до 82,05%

Препринт, ещё не рецензирован · ранние данные

Кратко

Авторы один раз меняли внутреннее состояние модели на втором–третьем токене рассуждения, не меняя её веса и не вмешиваясь дальше. На трёх дистиллированных моделях лучшие результаты пришлись на такое раннее окно; для DeepSeek-R1-Distill-Llama-8B доля полностью безопасных ответов выросла с 29,06% до 82,05%. На безвредных запросах отказы и полезность почти не менялись.

Зачем это знать?

Для систем контроля ИИ это указывает на узкий момент в самом начале рассуждения, когда однократное вмешательство может повлиять на последующий ответ. Вывод получен только на трёх моделях и искусственных тестах, поэтому универсальность подхода пока не установлена.

Разбор

Авторы проверяли не только сам факт вмешательства, но и его момент. Для каждой из первых пяти позиций в цепочке рассуждения они отдельно учили направление безопасности — условный вектор, который отличает безопасные траектории от опасных. Затем модель получала одну небольшую правку скрытого состояния, а все следующие токены генерировала уже без дополнительных изменений; веса модели при этом оставались замороженными. Такой перебор нужен потому, что позднее состояние может лучше показывать риск, но это ещё не значит, что правка в нём сможет изменить весь дальнейший ответ.

Ключевые цифры

2–3 токенаСамое полезное окно для однократной правки находится почти в самом начале рассуждения, а не в момент, когда риск уже легче всего распознать.

4-й и 5-й токеныНа 8B-модели вмешательство здесь почти переставало помогать, хотя позднее состояние лучше предсказывало опасность.

3 модели и 3 случайных запускаРаннее окно воспроизвели на трёх моделях и проверили с разными вариантами генерации, а не на одном-единственном запуске.

примерно 53 процентных пунктаНа одном из наборов опасных запросов доля полностью безопасных траекторий выросла примерно на половину шкалы — это показывает эффект в другой проверке, не только в основном наборе.

Можно ли доверять

Это препринт arXiv, поэтому его ещё не прошла независимая журнальная экспертиза. Результат проверили на трёх дистиллированных моделях и искусственных наборах запросов; часть вспомогательного анализа была корреляционной и проводилась в режиме, где правильные следующие токены заранее известны. Это серьёзная проверка механизма, но она пока не показывает, как метод поведёт себя на других моделях и в реальных пользовательских диалогах.

Это препринт, а результаты получены только на трёх дистиллированных моделях и в заданных тестовых наборах.
Показатель безопасности измерялся на искусственно сформированных бенчмарках, поэтому переносимость на реальные пользовательские запросы не установлена.
Авторы не утверждают универсальное превосходство этого раннего вмешательства над другими способами контроля, включая вмешательство до начала генерации.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали

ЖурналarXiv (cs.CL)

Дата публикации у нас26 октября 2026 г.

Дата источника23 октября 2026 г.

ОригиналОткрыть

АвторыHanwen Zhang, Enyi Jiang, Ruike Zhu, Qinan Yu, Sanmi Koyejo