dumaiМаксимальный уровень рассуждений ИИ на простых задачах стоит до 42 раз дороже без гарантии лучшего результата
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы сравнили разные уровни вычислений у моделей ИИ на четырёх тестах — от отдельных задач до длинных цепочек действий. На простых задачах самый высокий уровень стоил до 42 раз дороже самого низкого, а схема с повышением уровня только после проверенной неудачи не уступала постоянному максимуму и обычно была дешевле для коммерческих моделей.
Зачем это знать?
Для создателей ИИ вывод важен: больше вычислений не означает автоматически лучший ответ. В этих тестах постепенное повышение уровня обходилось экономнее для большинства коммерческих моделей, но за пределами эксперимента надёжность такой схемы остаётся неясной.
Разбор
Авторы смотрели не только на среднюю точность, но и на один и тот же отдельный пример: что произошло бы с ним при разных настройках «усилий». Это важно, потому что заранее обычно неизвестно, поможет ли модели дополнительное обдумывание. Более того, удачный ответ сам по себе не показывает, были ли лишние вычисления действительно нужны — пользователь видит результат, но не видит цену именно этой прибавки рассуждений.
Сравнение провели на четырёх тестах: от задач, которые решаются одним обращением к модели, до длинных цепочек действий агента. Выяснилось, что высокая настройка иногда не просто тратит больше токенов — условных порций текста, которые модель обрабатывает, — но и меняет сам способ решения. Модель чаще перепроверяет себя и чаще ищет готовый путь к ответу вместо того, чтобы напрямую разбирать задачу. Из-за этого цепочка действий растягивается, хотя итог не меняется.
Есть и неприятный для простой стратегии результат: более сильный режим порой ошибается там, где слабый справился. Поэтому средняя точность по всему набору может вырасти, но для конкретной задачи максимальная настройка не становится автоматически безопаснее. Авторы предлагают оценивать не только конечный ответ, но и подтверждённый провал: сначала дать модели самый дешёвый режим, а следующий уровень включать лишь после проверки, что первая попытка действительно не удалась.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая независимую проверку рецензентами. Результаты получены на тестовых наборах и моделях, включая закрытые и открытые системы, поэтому они показывают важную закономерность, но ещё не гарантируют такой же эффект в реальных пользовательских сценариях.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую проверку.
- Выводы основаны на четырёх бенчмарках и могут не переноситься на все модели, задачи и реальные рабочие процессы.
- Стратегия повышения уровня требует надёжно проверять, была ли попытка неудачной; абстракт не показывает, насколько хорошо это работает вне эксперимента.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено