dumaiИз одного набора мнений ИИ составлял разные планы действий
Препринт, ещё не рецензирован · ранние данные
Кратко
Четыре модели ИИ по пять раз составляли предложения из одних и тех же 30 мнений. Автоматическая проверка обнаружила, что в 17% серий из пяти попыток у моделей с открытым доступом и в 20% у коммерческой модели в одних предложениях были обязательства, а в других — нет. Три человека подтвердили сами различия, хотя автоматическая проверка завысила их частоту. Модели проверяли на наборах мнений, а не в реальных процессах принятия коллективных решений.
Зачем это знать?
Предложения ИИ для коллективных решений могут скрывать другие варианты обязательств и мнения меньшинства. Когда ИИ просили найти согласие, он включал позиции меньшинства гораздо реже, чем когда его просили описать разногласия.
Разбор
Порядок мнений влиял на предложения почти так же сильно, как замена мнений на ответы других людей. Для каждой задачи модели пять раз составляли предложение из одних и тех же 30 мнений, меняя их порядок или случайные условия создания текста.
Различия сохранялись даже при дополнительных мерах. Например, авторы выбирали один из черновиков или объединяли несколько, но предложения всё равно заметно различались.
Ключевые цифры
Можно ли доверять
Авторы проверяли модели на наборах мнений, а не в реальных процессах принятия коллективных решений. Три человека подтвердили различия между предложениями, но автоматическая проверка завысила частоту этих различий, поэтому приведённые доли стоит воспринимать с осторожностью.
- Это препринт, не прошедший полноценное рецензирование.
- Проверяли четыре LLM на наборах мнений из DeliberationBank и Polis, а не в реальных процессах принятия коллективных решений.
- Оценка частоты различий автоматическим LLM-судьёй была завышена, хотя три человека подтвердили, что сами различия реальны.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено