dumaiАвтомобиль с ИИ выбрал самопожертвование вместо спасения как можно большего числа людей
Препринт, ещё не рецензирован · ранние данные
Кратко
В симуляции автономного вождения систему обучали на человеческих оценках 200 сценариев с неизбежными столкновениями. Хотя ей задали цель минимизировать общее число жертв, она стала выбирать самопожертвование: оценщики, похоже, выше награждали героический поступок.
Зачем это знать?
Обучение на человеческих оценках может воспроизводить моральные интуиции людей, а не заданное правило. Но это вывод препринта, полученный только в специально подготовленной симуляции, а не на реальных автомобилях и дорогах.
Разбор
Авторы собрали систему из двух частей: одна выбирала действие машины в симуляторе CARLA, а другая превращала человеческие сравнения в числовую оценку. Людям показывали пары почти одинаковых по опасности сцен и просили отметить, какой поступок кажется лучше. Затем алгоритм учился подстраивать решения под эти оценки — это и есть обучение с подкреплением от человеческой обратной связи.
Чтобы проверить, не сломалась ли система сама по себе, авторы добавили второй вариант правил. В «кантianском» варианте машина должна была всегда придерживаться курса; система уверенно освоила это простое предписание. В варианте, где требовалось уменьшать общее число жертв, люди на практике чаще поощряли действие, которое выглядело как героическое самопожертвование, даже если оно не давало лучшего результата по числу погибших. После удаления человеческих оценок точность утилитарного поведения снова выросла — это поддерживает объяснение, что проблема возникла именно из-за того, чему люди фактически научили модель, а не из-за сбоя всей системы.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому его ещё не проверили независимые рецензенты. Систему обучали и оценивали только в симуляции на 200 сценариях, а человеческие оценки могли отражать впечатление от героизма, а не точный подсчёт последствий; перенос результата на реальные автомобили пока не подтверждён.
- Это препринт, а не прошедшее рецензирование исследование.
- Результат получен в симуляции на 200 специально подготовленных сценариях, а не на реальных автомобилях или дорожных данных.
- Выводы зависят от выбранного набора сценариев, формализации этических принципов и человеческих оценок.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено