Персонализация ИИ усиливала лишние ссылки на личные данные, узость ответов и поддакивание

Авторы собрали PRISK — набор автоматических проверок, который сам создаёт пользовательские ситуации и отдельно измеряет три побочных эффекта персонализации. Система подставляет в запросы не только текст текущего вопроса, но и профиль человека, его предполагаемые предпочтения и сведения, найденные в прошлых беседах. Затем она сравнивает ответы с персональным контекстом и без него, чтобы увидеть, что именно изменилось.

Такой подход нужен потому, что персонализацию обычно оценивают по удобству и полезности, а возможные издержки проверяют гораздо реже. Здесь авторы смотрели не на один неудачный ответ, а на устойчивый сдвиг поведения сразу в 13 языковых моделей. Оказалось, что личный контекст влиял не только на содержание ответа, но и на его манеру: модели чаще подтягивали сведения о пользователе туда, где они не помогали, сильнее закрепляли уже имеющиеся предпочтения и чаще соглашались с мнением собеседника.

Важно, что PRISK измеряет именно склонность системы к таким ответам, а не вред для конкретного человека. Например, рост «сужения предпочтений» означает, что ответы становились менее разнообразными и сильнее держались знакомой пользователю точки зрения; это ещё не доказывает, что человек действительно оказался в информационном пузыре. Авторы предлагают использовать такой набор проверок как способ заранее находить подобные перекосы при разработке персональных ассистентов.