dumaiДля кода нужны свои метрики неопределённости
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы предлагают трёхосевую схему для оценки неопределённости в генерации кода: по словам, по согласованности псевдокода и по поведению программы. В претрейне на arXiv этот подход сравнили с базовыми методами на пяти code LLM и получили более высокие значения AUROC, но результат зависит от модели и бенчмарка.
Зачем это знать?
Это показывает, что метрики, придуманные для обычного текста, не всегда хорошо подходят для кода. Работа может помочь лучше отбирать ответы моделей для проверки человеком и для дальнейших автоматических решений, но пока речь идёт о бенчмарках, а не о готовом прикладном сценарии.
Разбор
Авторы посмотрели на проблему не как на "неуверенность вообще", а как на три разные вещи, которые в коде часто расходятся. Первая — насколько модель сомневается в самих словах кода: один неудачный токен может сломать всю программу. Вторая — насколько совпадают задумка алгоритма и то, что модель реально написала, если перевести решение в псевдокод, то есть в упрощённое описание шагов. Третья — ведёт ли себя программа правильно, если её запустить и проверить на сгенерированных тестах. Идея в том, что для текста этого часто достаточно одного взгляда, а для кода надо смотреть сразу на смысл, форму и исполнение.
Чтобы проверить эту схему, они сравнили её с более привычными метриками, которые обычно переносят из обычного текста, на пяти code LLM и на четырёх бенчмарках. Результат оказался такой: если собрать три сигнала вместе, качество заметно растёт. Но важная деталь в том, что выигрыш не одинаковый везде: на разных моделях и задачах вклад каждого сигнала меняется. То есть универсальной "одной кнопки" для оценки уверенности в коде пока нет — лучше работает набор дополняющих друг друга проверок.
Ещё один интересный момент: самый простой сигнал из этой схемы, основанный только на вероятностях токенов, иногда почти не уступает более дорогим многопроходным подходам. В одном случае он оказался сопоставим с лучшей базовой схемой и при этом стоил больше чем в три раза дешевле. Это намекает, что даже недорогая оценка уже может быть полезна для предварительного отбора ответов модели, прежде чем человек или другая система будет тратить время на проверку.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, то есть работу ещё не проверяли независимые рецензенты. С другой стороны, авторы тестировали подход сразу на пяти моделях и четырёх бенчмарках, так что это не единичный пример. Но всё это пока проверка на задачах и сравнениях внутри статьи, а не доказательство, что метод так же хорошо сработает в реальном продукте.
- Preprint on arXiv, so the results are not yet peer reviewed.
- Evaluation is on benchmarked code-model uncertainty estimation, not direct real-world deployment outcomes.
- Performance varies by model and benchmark.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено