dumaiВ одном запросе ИИ сокращает рассуждение над каждой задачей
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы сравнили, как языковые модели решают математические и лингвистические задачи по отдельности и вместе. В одном запросе модель тратила на каждую задачу меньше токенов — условных единиц обрабатываемого текста. Группировка задач по тому, насколько легко они теряют точность при объединении, сократила общий расход токенов на 43% без потери точности.
Зачем это знать?
При объединении нескольких задач модель может неявно уменьшать объём рассуждения для каждой из них. Такой результат важен для понимания сложных запросов, но его перенос на реальные рабочие процессы пока неясен: эксперименты охватили только математические и лингвистические задачи.
Разбор
Авторы проверяли не только правильность ответов, но и длину цепочки рассуждений — сколько токенов модель тратит, прежде чем выдать результат. Они сравнивали решение задач по одной с решением тех же задач внутри общего запроса. Оказалось, что ошибки при объединении возникают не просто потому, что у модели становится больше шансов ошибиться: она начинает выделять каждой задаче меньше «места на размышления». При этом весь запрос ещё помещается в доступное контекстное окно, так что дело не в механическом переполнении памяти.
Особенно уязвимыми оказались задачи, для которых в одиночку модели обычно нужен длинный ход решения. Более простые задачи, наоборот, в отдельных запросах получают больше рассуждений, чем им действительно требуется, то есть вычислительные ресурсы расходуются впустую. Авторы использовали эту разницу как рычаг: они объединяли задачи с похожей устойчивостью к сокращению рассуждений, чтобы не заставлять сложные задачи конкурировать за тот же внутренний бюджет с другими. Такой эффект наблюдался и у моделей с открытыми весами, и у Claude Opus 5 — модели, доступ к внутреннему устройству которой ограничен.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому работу ещё не прошла независимая проверка рецензентами. Результат проверяли на языковых моделях и наборе математических и лингвистических задач, а не в реальных рабочих процессах; насколько тот же эффект проявится там, пока неизвестно.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую проверку.
- Выводы основаны на экспериментах с языковыми моделями и набором математических и лингвистических задач; их применимость к другим моделям и реальным рабочим процессам неясна.
- Сокращение на 43% получено при специальной группировке задач и не означает такое же улучшение для любых запросов.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено