dumaiПрепринт — материал ещё не прошёл рецензирование
Новая схема отбора ответов LLM работает без обучения
Кратко
Авторы предлагают Embedding-Based Agreement — способ выбирать один из нескольких ответов модели по близости в пространстве эмбеддингов. Метод проверили на задачах с математикой, кодом и суммаризацией; он лучше случайного выбора и ведёт себя стабильнее, чем некоторые другие селекторы.
Зачем это знать
Работа помогает понять, как можно использовать согласованность нескольких генераций для открытых задач, а не только для ответов с фиксированными вариантами. Но это preprint и метод относится к этапу выбора ответа, а не к улучшению самой генерации, поэтому практические выводы пока стоит считать предварительными.
Разбор
Авторы взяли несколько ответов одной и той же модели на один запрос и попытались выбрать не «самый красивый», а самый согласованный с остальными. Вместо того чтобы сравнивать ответы по точному совпадению, как это обычно делают в задачах с готовыми вариантами, они перевели ответы в пространство эмбеддингов — то есть в числовое представление смысла — и искали там группы близких по смыслу генераций. Ответ из более плотного кластера считали более надёжным.
Зачем вообще понадобился такой ход? Потому что обычная самосогласованность хорошо работает, когда ответ можно свести к одному короткому варианту, но хуже подходит для задач, где модель пишет код, решает математику шагами или делает суммаризацию. Там ответы могут быть разными по формулировке, но одинаковыми по сути, и простое точное совпадение уже не ловит эту близость. Новый подход как раз пытается измерять не буквальное совпадение, а смысловую близость.
Что особенно интересно: авторы показали, что такие «области согласия» в пространстве представлений ведут себя довольно устойчиво. Это работает на нескольких семействах моделей и даже на разных типах эмбеддингов, включая скрытые представления самой модели. Ещё один важный результат — ответы, которые оказываются ближе к центру такого облака, чаще оказываются качественнее, а периферийные — заметно чаще ошибаются. То есть геометрия ответов действительно несёт полезный сигнал о качестве.
При этом это не способ улучшить саму генерацию, а именно способ выбрать лучший вариант уже после того, как модель несколько раз ответила. И пока речь идёт о preprint: идея выглядит сильной, но её ещё не проверили как окончательный стандарт в независимой рецензии.
Можно ли доверять
Это препринт из arXiv, то есть работу ещё не прошло внешнее рецензирование. Проверяли не на одной игрушечной задаче, а сразу на математике, коде и суммаризации, плюс сравнивали несколько моделей и способов представления — это добавляет веса результатам. Но важно помнить, что метод оценивает и отбирает уже сгенерированные ответы, а не делает саму модель умнее; в реальном применении итог может зависеть от того, сколько ответов вы готовы сэмплировать и насколько хорошо работает выбранное представление смысла.
Пересказано ИИ по научной статье. Как это устроено