dumaiСтарые оценки смещают решения ИИ-судей
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили восемь моделей, которые оценивают тексты, на 20 заранее выбранных примерах и в 192 тысячах попыток. У 7 из 8 моделей прежняя оценка заметно тянула новый вердикт в свою сторону: она блокировала 48% исправлений ошибок и превращала 10,18% верных решений в заданную неверную категорию.
Зачем это знать?
Результат ставит под сомнение независимость автоматической проверки: решения могут зависеть от прежних оценок. Пока вывод основан на небольшом наборе моделей и текстов, а универсального способа устранить такую зависимость не нашли.
Разбор
Авторы не просто сравнили ответы моделей, а специально меняли только «память» о предыдущей проверке. В одном случае судья видел лишь задание, текст и критерии; во втором ему говорили, что это исправленная версия; в третьем добавляли номер попытки и прежний балл. При этом сам проверяемый текст оставался тем же, а прежний балл выбирали случайно и всегда ниже порога принятия. Так можно отделить влияние контекста от реального качества ответа.
Такой дизайн проверяет распространённое предположение: будто модель оценивает текст заново и независимо. Но добавление сведений о прошлой оценке меняло распределение вероятностей её ответов не плавно, а скорее пороговым скачком. После появления якоря модель заметно меняла свои оценки, а дальнейшая замена одного низкого якоря на другой в проверенном диапазоне влияла уже сравнительно слабо.
Авторы также посмотрели, что происходит не только с числовыми баллами, но и с решениями вида «верно/неверно» на отраслевых данных, где правильные ответы заранее разметили люди. Ни рассуждение по шагам, ни отдельная инструкция игнорировать метаданные полностью проблему не убрали. Предупреждение помогло лишь в одном сравнении точности, поэтому защиту от такого влияния нужно подбирать и отдельно проверять для каждой модели и задачи.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому работу ещё не проверили рецензенты. Эксперимент охватил восемь моделей и двадцать заранее выбранных текстов: большое число запусков помогает оценить устойчивость эффекта, но небольшой набор моделей и заданий не гарантирует, что он одинаково проявится в любых системах.
- Это препринт, результаты ещё не прошли независимую экспертную проверку.
- Эксперимент охватывал 8 моделей и 20 заранее выбранных текстов; переносимость на другие модели и задачи не установлена.
- Предложенные способы смягчения смещения не дали универсального решения: их эффективность зависит от модели и предметной области.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено