dumaiПрепринт — материал ещё не прошёл рецензирование
ИИ-модель сократила среднюю длину рассуждений на 41%, сохранив близкую точность
Кратко
Авторы обучили ИИ-модель с 1,5 млрд параметров — внутренних настроек — выбирать быстрый, короткий или длинный способ решения для каждой задачи. На 500 математических задачах точность почти сохранилась: 0,782 против 0,796 у исходной модели, а средняя длина ответа снизилась с 4796 до 2811 частей текста; на другом наборе задач экономия достигла 76%.
Зачем это знать
Если результат подтвердится, такой подход может экономить компьютерные ресурсы: лёгкие задачи не будут получать слишком длинные ответы. Пока его проверили главным образом на математических задачах одной модели, поэтому перенос на обычные запросы неизвестен.
Разбор
Проблема здесь в том, что обычный режим обучения задаёт модели один общий лимит на рассуждения. Из-за этого простая задача получает слишком много вычислений, а сложная может остаться без нужного запаса. Авторы сделали выбор усилия частью самого ответа: первым знаком модель выбирает один из трёх режимов — ответить сразу, рассуждать недолго или рассуждать долго. Отдельного «диспетчера» для этого не добавляли: модель училась выбирать режим во время общего обучения методом, который сравнивает несколько вариантов поведения и поощряет более полезный результат.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, а не статья, прошедшая рецензирование. Проверка выглядит содержательнее одного теста: авторы усреднили результат по трём запускам и проверили перенос на другие наборы без дообучения, но основное обучение шло на математических задачах одной модели, поэтому для обычных запросов и других моделей вывод пока не подтверждён.
Пересказано ИИ по научной статье. Как это устроено