В тестах на языки, математику и код многоязычный ИИ обошёл модели своего размера
Препринт, ещё не рецензирован · ранние данные
Кратко
Lara Mini base обучили на английском и ещё 44 языках. Среди открытых моделей до дополнительной настройки с не более чем 2 млрд настроек, которые используются при создании ответа, она получила лучший средний балл в стандартных тестах на языки, математику и программирование. При работе с одним пользователем на одном видеочипе модель создавала текст как минимум в 1,8 раза быстрее моделей с более высоким средним баллом.
Зачем это знать?
Lara Mini base даёт основания считать, что языки в одной модели не обязательно заметно мешают друг другу. Успех в тестах не гарантирует такого же результата в реальных задачах; лицензия модели ограничивает её коммерческое использование.
Разбор
Авторы сравнили новую модель с другими открытыми моделями на задачах по языкам, математике и программированию. В рассмотренных ими моделях доля учебных текстов не на английском составляла не больше 12%.
Новая модель обошла по среднему баллу и некоторые модели, которые обучались на материалах в четыре-шесть раз большего объёма. Особенно большим её отрыв был в математике и в многоязычных заданиях на языках, которые она поддерживает.
Ключевые цифры
Можно ли доверять
Авторы сравнили открытые модели на наборах заданий по языкам, математике и программированию; общее число заданий не указано. Результаты показывают успех в этих проверках, но не гарантируют такого же преимущества в реальных задачах.
- Это препринт, а не прошедшая рецензирование статья.
- Преимущество показано на стандартных бенчмарках, а не напрямую в реальных пользовательских задачах.
- Модель распространяется по лицензии CC BY-NC-SA 4.0, ограничивающей коммерческое использование.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено