dumaiСоседние задания меняли до 22% решений ИИ о вредных комментариях
Препринт, ещё не рецензирован · ранние данные
Кратко
При проверке вредности комментариев и кратких ответов смена случайной группы из 25 заданий меняла 11–22% решений у моделей с 4–9 млрд параметров и 6–15% у моделей с 14–32 млрд. Даже голосование по девяти перестановкам устраняло лишь 40–48% таких изменений: 52–60% из них сохранялись по сравнению с оценкой каждого задания отдельно. На простом выставлении звёзд решения менялись лишь в 2,9–3,9% случаев.
Зачем это знать?
Для систем, где ИИ сортирует комментарии или проверяет ответы, экономия на одном общем запросе может сопровождаться непредсказуемостью отдельных решений: результат зависит не только от задания, но и от его окружения.
Разбор
Авторы проверили распространённый способ сэкономить на запросах: вместо отдельного запроса для каждого примера они складывали 25 независимых примеров в один и смотрели, меняется ли ответ при новом случайном составе группы. Для этого взяли 2 000 заданий и несколько открытых моделей разного размера. Затем отдельно проверили три источника нестабильности: порядок соседних примеров, место конкретного задания в списке и самих соседей, которые попали с ним в одну группу.
Так удалось понять, что проблема не сводится к неудачной формулировке инструкции или к переименованию ключей в запросе. Наибольшую роль играют порядок и позиция, но часть эффекта создают и тексты соседних заданий. Дополнительная проверка с редактированием одного ответа показала: модель может опираться не только на соседние тексты, но и на собственные предыдущие вердикты в том же запросе.
Есть важная разница между оценкой качества в целом и отдельными решениями. По совпадению с человеческими метками пакетная обработка почти не отличалась от проверки каждого задания отдельно, но конкретные решения при этом часто менялись. Даже если прогнать одну группу 15 раз и взять большинство, это не возвращает результат одиночной проверки: систематическое расхождение сохраняется. Поэтому для неоднозначных случаев авторы советуют разделять задания, а если это слишком дорого — хотя бы измерять, насколько пакетная обработка меняет ответы.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, а не статья, прошедшая рецензирование, поэтому выводы ещё должны проверить другие исследователи. При этом работу прогнали на 2 000 заданиях и нескольких моделях, но речь идёт именно об открытых языковых моделях и тестовых заданиях, а не о проверке системы в реальной модерации или обучении.
- Это препринт, а не прошедшая рецензирование публикация.
- Проверены пять открытых моделей 4–9 млрд параметров и четыре модели 14–32 млрд параметров, а также три конкретные задачи; результат не обязательно переносится на другие модели и сценарии.
- На более простой задаче с выставлением звёзд решения менялись заметно реже — примерно в 2,9–3,9% случаев.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено