В Among Us действия сильнее слов отделяли успешный обман ИИ
Препринт, ещё не рецензирован · ранние данные
Кратко
В 3D-версии игры Among Us модели, которые видят игровой мир и действуют в нём, добивались победы за самозванца, сочетая разговоры и поведение. Среди признаков успеха чаще встречались имитация заданий, слежка и бегство после убийства, чем отдельные фразы. Результат также зависел от того, как было устроено программное окружение эксперимента.
Зачем это знать?
Работа предлагает проверять обман ИИ не только по тексту, но и по поведению в виртуальном мире. Пока это вывод из специально созданной игры, поэтому переносить его на реальное общение рано.
Разбор
Авторы сделали не просто чат, а игровую «песочницу»: агенты видят трёхмерную карту, перемещаются по ней, выполняют задания, убивают персонажей и участвуют в обсуждениях. Так они проверили обман сразу по двум каналам — по тому, что агент говорит, и по тому, что он делает. Для разбора партий исследователи описали отдельные наблюдаемые приёмы: например, слежку перед убийством, выбор момента без свидетелей, бегство после него, ложное выполнение задания или выдуманный алиби.
Отдельно авторы меняли не только саму модель, но и «обвязку» вокруг неё — набор правил и когнитивных компонентов, которые определяют, как агент видит игру, планирует и реагирует. Это важно, потому что один и тот же ИИ может выглядеть сильнее или слабее из-за устройства такой обвязки. В одном из экспериментов полностью эгоцентрическое зрение сломало игровой процесс: агенты не совершали убийств, не созывали собрания и не обманывали словами.
Для сравнения исследователи проверяли разные модели с поддержкой зрения в одинаковых настройках. Хорошая игра за самозванца обычно сопровождалась хорошей игрой за члена экипажа — похоже, решающим оказывался общий уровень модели, а не отдельный «режим обмана». При этом сильные агенты не пользовались одной универсальной схемой: одни чаще маскировали обман действиями, другие делали ставку на ложные объяснения и обвинения. Чтобы систематизировать такие различия, авторы использовали разметку игровых логов, которую сначала сделали два разработчика игры, а затем масштабировали с помощью отдельной модели-судьи.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому его ещё не проверили рецензенты. Эксперименты проходили в специально созданной игре и на агентах, а не на людях или в реальных социальных ситуациях; кроме того, подробная разметка опиралась на 48 партий, так что выводы о других играх и моделях пока требуют дополнительных проверок.
- Это препринт, поэтому результаты еще не прошли полноценную независимую проверку.
- Выводы получены в специально созданной игровой симуляции, а не в реальных социальных взаимодействиях.
- Часть разметки поведения выполнена с помощью LLM-as-a-Judge и разработчиков среды; перенос этих оценок на другие среды не установлен.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено