Система выявляет скрытую координацию ИИ в аукционном тесте

Авторы не пытались заранее перечислить все возможные способы сговора. Вместо этого они обучили монитор на обычном, «нейтральном» поведении моделей, а подозрительные решения сравнивали с подходящими контрольными вариантами. Для каждой ставки система связывала запись скрытого состояния модели с её публичным действием через общий идентификатор события. Так можно было проверить не только то, что модель сделала, но и какие внутренние изменения сопровождали этот шаг.

Монитор состоит из трёх последовательных проверок. Первая ищет необычные изменения во внутренних представлениях модели — условно говоря, следы поведения, не похожего на нормальное. Вторая спрашивает, как изменилась бы вероятность разных ставок, если заменить скрытый канал на нейтральный контроль. Третья помогает интерпретировать найденные признаки с помощью разреженного автоэнкодера — метода, который раскладывает сложный внутренний сигнал на более понятные компоненты. Важно, что основной монитор не обучали на примерах атак: авторы хотели проверить, способен ли он обнаруживать отклонения от нормы, а не просто узнавать знакомые шаблоны.

Отдельно проверили способы вмешательства. При чёрном ящике защитник мог менять только инструкции, а при белом ящике получал доступ к внутренним состояниям и мог подставлять согласованный нейтральный контрфактический вариант — то есть вариант «что было бы, если бы скрытого канала не было». Именно второй режим дал полное восстановление распределения ставок, но это не независимое чудо: метод напрямую воспроизводит заранее известный нейтральный контроль. Эксперименты провели на четырёх семействах моделей и на парах как одинаковых, так и разных моделей; также проверили аукционы с десятками участников и работу мониторинга при росте числа возможных связей.

До этого публичные журналы переписки оставляли слепую зону: модели могли передавать информацию через непрерывные внутренние состояния, не превращая её в текст. Эта работа предлагает связать такие скрытые записи с наблюдаемыми действиями и проверять их причинно, но пока только в специально контролируемом аукционе.