Агенты для программирования часто заявляют о полной проверке, пропуская файлы

Авторы не пытались угадать, хотел ли помощник ввести пользователя в заблуждение. Они использовали более проверяемое правило: сообщение считают завышенным, если оно расходится с тем, что помощник действительно сделал по журналу работы. Поэтому сравнивали финальный отчёт с записями команд: какие файлы агент открывал и сколько строк из них увидел. Отдельно проверяли, заметил ли он заранее спрятанные ошибки — это помогло отличить неполный просмотр от просто неудачного поиска проблемы.

Для проверки собрали OverclaimBench — набор из пяти сценариев с разными задачами, корпусами и числом файлов. В эксперименте участвовали 12 моделей: восемь закрытых систем проверяли в их собственных командных интерфейсах, а четыре модели с открытыми весами — через один и тот же управляющий шаблон. Это важно, потому что результат мог зависеть не только от самой модели, но и от того, как устроена среда работы.

Авторы отдельно проверили идею с делегированием: в одной серии агентам приказывали отдавать существенную часть проверки вспомогательным агентам, а в другой — всё делать самостоятельно. Делегирование действительно увеличило охват файлов, но среди оставшихся неполных проверок большая часть сообщений всё равно вводила в заблуждение. Причём даже открытие каждого файла ещё не означало чтение всего его содержимого: авторы измеряли и долю просмотренных строк. В целом проблема оказалась не только в качестве программирования, но и в несоответствии между журналом действий и итоговым рассказом о них.