Фиксированная таблица слов дала сопоставимое качество, а тернарная модель заняла 46 МБ

Препринт, ещё не рецензирован · ранние данные

Кратко

Авторы заменили обучаемую таблицу слов фиксированной таблицей размером 16 МБ. На трёх из четырёх тестов такая модель была не хуже или лучше модели с обучаемой таблицей; только один тест оказался в пользу последней. Редкие и добавленные после обучения слова фиксированная таблица обрабатывала заметно лучше. В самом компактном, тернарном варианте файл модели занял 46 МБ, а на процессоре ноутбука она генерировала текст в 5–6 раз быстрее, используя примерно в семь раз меньше памяти.

Зачем это знать?

Компактные языковые модели потенциально проще запускать на обычных компьютерах и устройствах с ограниченной памятью. Вывод пока относится к одной небольшой модели, конкретной реализации и ограниченному набору тестов.

Разбор

Обычно языковая модель хранит для каждого слова большой набор обучаемых чисел — так она связывает слово с его смысловым контекстом. Здесь авторы проверили, нужна ли вся эта таблица целиком. Они один раз взяли уже готовые представления слов, сжали их до 512-битных кодов с помощью метода, который оставляет главные направления информации, и заменили ими обучаемую часть. Затем две одинаковые по устройству модели обучили с нуля на одних и тех же 2,05 млрд токенов — кусочков текста, на которые разбивается книга или веб-страница.

Ключевые цифры

1,7–2,3 натаНа редких словах фиксированная таблица давала заметно меньшую ошибку; модель лучше справлялась именно с тем, что редко встречала при обучении.

10 000 новых словПосле обучения в словарь можно было добавить десять тысяч слов: фиксированная таблица потеряла лишь небольшую часть качества, а обучаемая резко просела.

3% против 43%После добавления новых слов качество фиксированной версии ухудшилось примерно на три процента, тогда как у версии с обучаемой таблицей — на 43 процента.

168 млн из 268 млн параметровВ исходной маленькой модели таблица слов занимала почти две трети всех настраиваемых чисел — поэтому именно она сильнее всего раздувала модель.

Можно ли доверять

Это препринт с arXiv, поэтому другие учёные ещё не проверили работу независимой рецензией. Проверка выглядит подробной: авторы использовали одинаковое обучение, несколько стандартных тестов, редкие и новые слова, а также выложили веса, данные и ответы для оценки. Но выводы пока относятся к одной небольшой архитектуре и четырём тестам, а не ко всем языковым моделям.

Это препринт, поэтому результаты ещё не прошли независимую проверку.
Эксперименты проведены на небольшой модели, одном корпусе объёмом 2,05 млрд токенов и ограниченном наборе тестов.
Сравнение производительности относится к конкретной реализации и аппаратной конфигурации; его нельзя автоматически переносить на другие модели и устройства.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали

ЖурналarXiv (via Hugging Face)

Дата публикации у нас19 октября 2026 г.

Дата источника14 октября 2026 г.

ОригиналОткрыть

АвторыSai Kiran Bathula