dumaiПарные сравнения точнее отражают качество ответов моделей
Препринт, ещё не рецензирован · ранние данные
Кратко
В препринте проверили, как ранжирование моделей по парным сравнениям соотносится с ранжированием по точности на пяти бенчмарках. Авторы перевели эти бенчмарки в формат свободной генерации и сравнили результаты Elo и прямой оценки LLM.
Зачем это знать?
Работа указывает, что парные сравнения могут быть надёжным способом упорядочивать модели, особенно когда судья слабый. Но это пока препринт, а выводы зависят от конкретной схемы оценки и наборов данных, поэтому их нельзя автоматически переносить на все случаи.
Разбор
Авторы взяли пять известных тестов для языковых моделей и переупаковали их в формат свободного ответа: модель не выбирала вариант из списка, а должна была сама сгенерировать ответ. Потом ответы сравнивали попарно — не по одному абзацу «на глаз», а через схемы агрегации, где из множества таких дуэлей собирается общий рейтинг. Так они проверяли очень конкретный вопрос: если у нас нет правильного ответа под рукой, можно ли всё равно получить порядок моделей, который близок к тому, что вышел бы при обычной оценке по точности.
Самое интересное здесь не только в том, что пары сработали, а в том, где именно они сработали лучше. Когда судья был слабым, прямое выставление оценок от большой модели уступало рейтингу, собранному из парных сравнений. То есть система, где модель-«судья» просто ставит балл, чаще путалась, чем схема, где она выбирала лучшего из двух. При этом авторы отдельно посмотрели, не портят ли картину стиль ответа и предвзятость судьи, и нашли, что на итоговый порядок моделей это влияет лишь немного.
Ещё один любопытный результат: очень часто судить приходилось о парах, где оба ответа были правильными или оба неправильными. Казалось бы, тут сигнал почти исчезает, но он всё равно есть. Авторы показывают, что на таких парах заметную роль играет повторение после финального ответа — так называемый echo, когда модель как будто «эхом» дублирует конец ответа. Именно это повторение оказалось причинным фактором, который сдвигал предпочтения судьи.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, значит, работу ещё не прошли внешнюю рецензию в журнале. Авторы проверили идею на пяти бенчмарках и нескольких сценариях с разными судьями, но всё это остаётся в рамках одной схемы оценки, поэтому выводы лучше воспринимать как сильный сигнал, а не как универсальное правило для всех моделей и всех тестов.
- Preprint only.
- Results come from benchmark conversions and depend on the specific judge/model setup.
- Generalization beyond the studied benchmarks and weak-judge settings is uncertain.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено