ИИ-помощник на 33,6% чаще справлялся с атаками, которых не было при обучении

Препринт, ещё не рецензирован · ранние данные

Кратко

Авторы обучали ИИ-помощника одновременно выполнять задания и не поддаваться инструкциям на страницах, которые пытаются увести его от цели. На 150 веб-задачах его относительная успешность при атаках от неизвестного при обучении атакующего была выше на 33,6%, а прирост способности выполнять задачи сохранился при переносе в настоящий браузер.

Зачем это знать?

Веб-помощники читают страницы, которым нельзя полностью доверять: такая тренировка помогает проверять их устойчивость к атакам, подстроенным под модель. Для реальных сайтов это пока ранний сигнал, поскольку основная проверка прошла в виртуальной среде.

Разбор

Проблема здесь в том, что веб-страница одновременно нужна помощнику и может быть опасной. На ней находятся кнопки, цены и другие данные для выполнения задания, но там же может скрываться инструкция вроде «забудь просьбу пользователя и сделай другое». Поэтому просто запретить помощнику слушать текст страницы нельзя: вместе с вредной командой он потеряет важную информацию.

Авторы поместили помощника в замороженную модель веб-мира — симулятор, где можно безопасно и быстро воспроизводить сайты. Внутри него одновременно менялись три вещи: задания, атаки на страницах и сам помощник. Система подбирала задания, которые помощник решал примерно в половине случаев, чтобы обучение не становилось слишком лёгким, а атакующий получал награду только тогда, когда его вставка действительно превращала правильное решение в ошибку. Такой подход должен постоянно подбрасывать новые, посильные испытания вместо набора атак, которые модель вскоре запоминает.

В итоге помощник стал лучше выполнять задания и без атак, и под их воздействием. Защита сработала даже против атакующего на базе более мощной современной модели, которого во время обучения не использовали. Отдельно важно, что прирост обычной способности выполнять задания сохранился после перехода из симулятора в настоящий браузер — то есть обучение не оказалось полностью привязанным к искусственной среде.

Ключевые цифры

4B параметровЭто относительно компактный помощник: улучшения удалось получить не только за счёт использования огромной модели.

150 веб-задачРезультат проверили на заметной серии разных сценариев, а не на одном демонстрационном примере.

примерно 50% успешных решенийДля обучения специально выбирали задания средней сложности — такие, где помощник ещё ошибается, но уже способен учиться на попытках.

33,6% относительного приростаПо сравнению с исходным помощником улучшение измеряли именно относительно его прежнего результата, а не в процентных пунктах.

Можно ли доверять

Это препринт с arXiv, поэтому независимая проверка рецензентами ещё впереди. Основное обучение и проверка проходили в симуляторе, хотя перенос прироста на настоящий браузер — полезный дополнительный сигнал; 150 задач дают ориентир, но не гарантируют такой же результат на всех сайтах и атаках.

Результаты опубликованы как препринт и еще не прошли независимую экспертную проверку.
Основное сравнение проведено на 150 веб-задачах и в основном в симуляторе; перенос на реальные сайты подтвержден ограниченно.
Относительный прирост не сообщает абсолютную долю успешно выполненных задач и не показывает, насколько метод защищает от всех типов атак.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали

ЖурналarXiv (via Hugging Face)

Дата публикации у нас7 октября 2026 г.

Дата источника6 октября 2026 г.

ОригиналОткрыть

АвторыSarim Hashmi, Mukul Ranjan, Kshitij Mishra, Mikhail Kuznetsov, Praneeth Vepakomma, Nils Lukas