Языковым моделям добавили умение считать без обучения на примерах
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы расширили две готовые языковые модели и встроили в них схемы для вычислений. В проверке на 1200 задачах с шестизначными числами точность составила 99,17% и 100%; внешняя программа для вычислений не понадобилась.
Зачем это знать?
Встроенные вычисления могут помочь языковым моделям точнее считать без отдельной программы. Для этого модель приходится расширять специальным вычислительным блоком.
Разбор
Авторы сравнили встроенные вычислительные блоки с другим способом улучшить счёт моделей. Для сравнения модели дополнительно обучили на 12 800 примерах; на задачах с шестизначными числами их точность составила 42,2% и 61,7%.
После вычислений модели обычно могли продолжить начатое предложение. С новыми блоками это получалось в 98–100% случаев, а после дополнительного обучения на примерах — в 0%.
Авторы проверили и логические задачи с тремя условиями. Во всех 1 728 случаях модели дали правильный ответ.
Ключевые цифры
Можно ли доверять
Авторы проверили две модели на 1 200 задачах с шестизначными числами и сравнили их с версиями, дополнительно обученными на примерах. Результаты показывают успех на этих проверках, но не доказывают, что модели будут безошибочно считать в любых задачах или всегда смогут продолжить обычный текст.
- Это препринт, а не прошедшая рецензирование статья.
- Результаты получены на конкретных моделях, наборах тестов и специально сконструированных схемах; переносимость на другие модели и задачи не показана в аннотации.
- Метод требует расширения модели и специального разреженного вычислительного блока, поэтому это не полностью бесплатное изменение весов.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено