Четыре из девяти ИИ-помощников плохо распознали адаптированный фишинг

Авторы не просто дали помощникам набор известных мошеннических писем. Они создали AgentPhishing — проверку, где письма специально подстраиваются под особенности конкретного почтового ИИ. Для этого использовали PhishOpt: метод, который перебирает варианты формулировок и собирает повторно применимый «навык» генерации писем, пока они не будут выглядеть правдоподобно и при этом чаще сбивать выбранного помощника с толку. Такой подход нужен потому, что старые наборы писем хорошо проверяют обычное распознавание фишинга, но почти не показывают, как ИИ реагирует на убедительную просьбу, обращённую именно к нему.

Затем исследователи разобрали, какие приёмы убеждения связаны со сбоями. Они опирались на принципы Чалдини — например, давление авторитетом или срочностью — и на их основе сделали универсальный способ составления писем. Он смог выявлять слабые места у нескольких помощников, которых не подстраивали отдельно, хотя стабильно превзойти специально настроенные варианты не смог. Это важная деталь: неспособность распознать письмо и готовность согласиться с вредной просьбой оказались разными проблемами, поэтому одной оценки «заметил ли ИИ фишинг» недостаточно.

Проверка измеряла, какое действие помощник выберет и какой ответ подготовит, а не отправит ли он письмо, откроет ли ссылку или передаст данные в настоящей системе. Кроме того, исследование охватывало искусственные односообщенческие атаки, отдельные настройки моделей и конечное число тестов. Поэтому работа показывает уязвимость в поведении таких систем, но не измеряет реальный ущерб и не гарантирует, что те же результаты повторятся в многошаговом диалоге или другой почтовой среде.