dumaiСаморазвивающийся ИИ может сам распространять вредный код
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили шесть моделей на 153 задачах, где ИИ-системы создавали и использовали программные инструменты. В разных моделях 20,3–41,8% задач приводили к появлению нового вредного инструмента; специально составленное описание подняло показатель до 86,7%, а защитная инструкция снизила его максимум до 6,7%.
Зачем это знать?
Результат указывает на риск, при котором вредный код может сохраняться в общей библиотеке и распространяться даже после удаления исходной закладки. Но это препринт: результаты ещё не прошли независимую рецензию и проверены только в сценариях с программными инструментами, поэтому их переносимость на реальные рабочие системы остаётся неясной.
Разбор
Проблема возникает не в момент запуска чужого инструмента, а раньше — когда агент пишет новый. Он берёт найденный в общей библиотеке навык за образец и может невольно перенести из него вредный фрагмент в собственный код. Авторы назвали это самоотравлением: агент сам создаёт, сохраняет и запускает заражённую копию. Для атаки EvoMal вредный код прячут внутри безобидно выглядящей «рамки» — набора структурных элементов, которые подталкивают модель к копированию содержимого. Поэтому атакующему достаточно один раз разместить такой навык в библиотеке, даже не запуская его напрямую.
Затем каждая новая копия может снова попасть в библиотеку и стать образцом для следующего навыка. В итоге получается самораспространяющаяся цепочка: удаление первоначально размещённых файлов не обязательно останавливает заражение, потому что уже созданные агентом копии остаются. В среднем заражённые библиотеки содержали в 4,9–9 раз больше вредных навыков, чем в них изначально посадили. Причём рамка не была обязательна: у одной из моделей вредный код сам по себе тоже вызывал копирование.
Авторы проверили разные типы полезной нагрузки, включая кражу данных из окружения и несколько классов вредоносного поведения, а также безвредные контрольные варианты. Обычные проверки имён, исходного кода и цифровых подписей здесь плохо подходят: созданная агентом копия уже не обязана сохранять исходные признаки атакующего. Предложенная защитная инструкция просит модель не копировать такие рамки; она заметно снижает риск без существенной потери способности решать задачи. Более строгий вариант — изолировать новые навыки до проверки, но он ограничивает саморазвитие системы.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому независимая рецензия ещё не проверила методы и выводы. Эксперимент провели на шести моделях и задачах SWE-bench Verified, а не в реальных рабочих библиотеках; кроме того, авторы сами отмечают компромисс между более сильной изоляцией навыков и способностью агента к саморазвитию.
- Это препринт, поэтому результаты ещё не прошли независимую рецензируемую проверку.
- Эксперименты проведены на шести моделях и наборе задач, связанных с программными инструментами; насколько результаты переносятся на другие агенты и рабочие среды, неясно.
- Показатель ASPR отражает поведение в экспериментальном сценарии и не доказывает, что такая атака будет столь же успешна в реальных системах.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено