dumaiМалые языковые модели уже генерируют код для отдельных задач после взлома
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили семь моделей размером от 20 млн до 1,5 млрд параметров — внутренних настроек модели — в двух лабораторных заданиях: перечислении файлов и папок и создании скрытого входа в систему. В лучшей настройке хотя бы один успешный результат получали в 99,2–100% серий из пяти попыток, но результат сильнее зависел от постановки задания и запроса, чем от размера модели.
Зачем это знать?
Для киберзащиты это ранний сигнал: компактные модели могут стать основой для будущих вредоносных программ, хотя сейчас им мешает высокая потребность в вычислительных ресурсах, а проверка проходила только в лабораторной среде.
Разбор
Авторы проверяли не просто то, похож ли ответ модели на рабочую программу, а запускали сгенерированный код в изолированной тестовой среде. Система сначала отбрасывала явно неработающие варианты — например, с ошибками синтаксиса или без нужных функций, — а затем проверяла, выполняет ли код поставленную задачу. Это важное отличие от оценки «на глаз»: модель могла получить результат только за реально работающий фрагмент кода.
Исследователи сравнили несколько условий: обычную и более подробную постановку задачи, запросы с примерами готовых ответов, пошаговое рассуждение, ограничение структуры программы и доработку кода после сообщения об ошибке. Отдельно взяли Python, популярный среди моделей, и Lua — менее распространённый в обучающих данных язык. Так авторы проверяли не только способность повторять знакомые шаблоны, но и переносить навык в менее привычную среду.
Главный дополнительный вывод — размер модели сам по себе плохо предсказывает успех. Более полезной оказалась точная формулировка алгоритма: когда модели подсказывали, какие шаги должна выполнять программа, и давали несколько примеров, даже компактная система заметно лучше справлялась. При этом эксперимент оставался лабораторным: модели работали без дообучения, а проверяли их на заранее заданных сценариях, а не в настоящей заражённой сети.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому работу ещё не проверили независимые рецензенты. Методика выглядит содержательно: семь моделей проверили запуском кода в песочнице и сравнили разные языки и способы постановки задачи. Но результаты получены только на двух лабораторных сценариях, а не на реальных атаках, поэтому их нельзя напрямую считать показателем готовности вредоносных программ.
- Это препринт, результаты ещё не прошли независимую проверку рецензированием.
- Оценивались лабораторные задания по генерации кода в песочнице, а не реальные автономные вредоносные кампании.
- Проверены семь моделей и два типа задач; перенос результатов на другие модели и сценарии неизвестен.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено