Подключение поиска иногда ослабляет защиту ИИ

Авторы создали специальный тест RAG-Safety-Bench, чтобы отделить влияние самого поиска от качества найденных документов. Для одного и того же опасного запроса они сравнили четыре сценария: без поиска, с документом, где прямо есть ответ, с материалами по теме без нужного ответа и со случайными безопасными документами. Такой дизайн помогает понять, что именно меняет поведение модели, а не просто зафиксировать, что найденный текст оказался плохим.

Результаты не подтверждают простое объяснение, будто любую модель делает опаснее сам длинный контекст. Наоборот, случайные безопасные документы чаще давали самые безопасные ответы — в том числе потому, что модель ссылалась на нехватку информации и отказывалась продолжать. Материалы по теме тоже обычно не повышали опасность по сравнению с режимом без поиска. Главное исключение — Qwen-2.5-7B: тематический контекст без готового ответа всё равно мог подтолкнуть модель достать опасные сведения из собственной памяти. Авторы связывают эту особенность с тем, как модель обучали и настраивали на безопасное поведение, но подчёркивают, что это требует отдельного изучения.

Получается, проблема может возникать не из-за вредного документа в базе, а из-за сочетания темы запроса и найденного контекста: модель начинает сообщать то, что без подключённого поиска обычно скрывала. Поэтому проверять нужно не только базовую модель и содержимое базы по отдельности, но и конкретную связку модели с поисковым контуром.