ИИ повторяет средний ответ группы, но не ответ человека

Авторы сравнили два разных подхода. Одни модели сразу выдавали вероятность каждого варианта ответа, а генеративные модели просили отвечать как участник опроса. Затем ответы сопоставили не только по средним значениям, но и по тому, какие вопросы обычно связаны друг с другом. Для сравнения использовали статистические модели: одну строили по ответам других людей, а другую — с учётом данных того же человека.

Главное различие проявилось при попытке предсказать конкретного участника. Вероятностные ответы моделей в среднем лучше передавали распределение человеческих ответов, чем их округлённые версии. Но это не означало, что модель понимала, как ответит отдельный человек: все decision-модели уступили простому ориентиру — частотам ответов других участников. Регрессия по профилю человека улучшила такой прогноз всего на 1,0%, то есть поля профиля почти не объясняли индивидуальные ответы.

Более сильная проверка показала, что лидер среди генеративных моделей достиг 0,813 по шкале сходства с человеческими ответами. Это почти столько же, сколько статистическая модель, обученная на других участниках, но заметно меньше результата модели, которую подогнали прямо на данных того же опроса. Кроме того, в 5 из 10 линеек продуктов новая версия оказалась хуже предыдущей с учётом обычных случайных колебаний. Поэтому авторы предлагают оценивать такие «синтетические выборки» прежде всего по тому, насколько правдоподобно они воспроизводят картину всей группы, а не по способности изображать конкретного человека.