dumaiМашина под управлением ИИ в тесте врезалась после правки кадра с камеры
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили две модели ИИ: одну для вождения, другую для управления предметами. В 154 дорожных сценах специально подобранные изменения всего изображения вызывали новую аварию в 52,6% случаев, а изменения небольшого участка — в 35,1%.
Зачем это знать?
Объяснение ИИ за рулём само по себе не гарантирует безопасности его действий: в эксперименте оно оставалось прежним даже тогда, когда менялось поведение машины.
Разбор
Авторы сравнили способы изменения изображений, которые получали две системы ИИ: одна управляла машиной, другая — предметами. Они подбирали изменения так, чтобы повлиять на действие, но оставить объяснение системы прежним.
Новый способ чаще сохранял объяснение машины без изменений, чем другой способ с той же целью: в 89,5% случаев против 83,0% при сопоставимой частоте столкновений. У системы управления предметами ответ оставался дословно прежним в 85,0% примеров, хотя её действия менялись.
Ключевые цифры
Можно ли доверять
Авторы проверили воздействие на систему вождения в 154 дорожных сценах, а также на систему управления предметами. Проверка показывает, что объяснение может остаться прежним при изменении действия, но о проверке на настоящих дорогах авторы не сообщают.
- Это препринт, а не прошедшая рецензирование статья.
- Результаты получены на двух конкретных моделях и в экспериментальных сценариях вождения и манипуляций.
- Показанные атаки требуют специально подобранных визуальных возмущений; из аннотации не следует, насколько часто такая уязвимость встречается в реальных условиях.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено