dumaiНекоторые ИИ согласованно выбирали «случайные» объекты
Препринт, ещё не рецензирован · ранние данные
Кратко
В тестах шести рассуждающих ИИ-моделей номера объектов, даты и другие общие части входа влияли на выбор, который должен был быть случайным. Даже когда общая доля выбранных объектов выглядела правильной, сами выборы оставались связанными или предсказуемыми. В отдельном тесте одна модель приблизилась к нужной доле выбранных заявок, но предсказуемо выбирала их по номерам, а три другие почти не выбирали заявки вообще.
Зачем это знать?
Для распределения ресурсов и проверки заявок людьми одной доли выбранных объектов недостаточно: общие или повторяющиеся части входных данных могут связывать решения ИИ, делать их предсказуемыми или смещать выбор.
Разбор
Авторы не просто посчитали, сколько раз модели выбрали объект. Сначала они изучили поведение каждой модели на отдельных входах, а затем проверили, можно ли по этим ответам заранее предсказать поведение группы. Для этого меняли даты, формат записи и названия полей, сравнивали одинаковые идентификаторы у разных решений с разными идентификаторами и отдельно смотрели на общие части входа, например биты времени. Так удалось различить две проблемы: решения могут слишком часто совпадать между собой, а могут иметь правильную среднюю долю, но зависеть от структуры входных данных.
Отдельно проверили, спасает ли явная просьба «рандомизировать независимо». Она уменьшила связь между ответами, но не убрала её полностью. Это важная деталь: одной инструкции недостаточно, если система не получает конкретный способ случайного выбора — например, заранее сгенерированное случайное число. Когда такие числа моделям выдавали, все четыре модели хорошо им следовали, то есть проблема была не в неспособности выполнить случайное решение вообще, а в том, что без внешнего источника случайности модели начинали использовать видимые признаки входа.
Авторы связывают это с практической проверкой ИИ-систем: нужно отдельно измерять правильную долю решений, независимость решений друг от друга и возможность предсказать выбор по входу. Особенно важно тестировать реальные поля и формулировки промпта, потому что дата, метка или формат могут стать для модели скрытым «переключателем». При этом описанные риски для обхода аудита или координации остаются возможными сценариями, а не продемонстрированными атаками.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, а не статья, прошедшая рецензирование. Модели проверяли в контролируемых тестах, а не в реальных системах распределения ресурсов или аудита; кроме того, авторы прямо отмечают, что враждебные модели, адаптивные отправители и реальные атаки не тестировали.
- Это препринт, поэтому выводы ещё не прошли полноценную рецензию.
- Проверяли ограниченное число моделей и специально заданные условия; смешанные группы моделей, адаптивные отправители и реальные атаки не исследовали.
- В части эксперимента модели выбирали заявки для проверки: три модели редко выбирали заявки вообще, поэтому результаты не показывают надёжную работу реального аудита.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено