Новая схема делает локальные ИИ-задачи дешевле и легче

Кратко

Авторы предлагают схему, где описание задачи на обычном языке превращают в небольшой нейросетевой артефакт, который можно запускать локально. В их тесте 0,6-миллиардная версия интерпретатора с такими программами работала примерно на уровне прямого запроса к Qwen3-32B, но использовала около 1/50 памяти и выдавала 30 токенов в секунду на MacBook M3.

Зачем это знать

Это может упростить локальные ИИ-инструменты, которые работают без удалённых сервисов и дешевле в эксплуатации. Проверка шла на одном бенчмарке, поэтому до реального применения выводы ещё нужно подтвердить.

Разбор

Авторы взяли знакомую проблему: есть задачи, которые неудобно описывать жёсткими правилами, например разбор кривого JSON, поиск важных строк в логах или ранжирование результатов по смыслу. Вместо того чтобы каждый раз гонять большой чат-моделевый запрос, они предлагают сначала один раз превратить текстовое описание задачи в маленький нейросетевой артефакт — по сути, компактную «заготовку» для выполнения этой функции на своём устройстве.

Дальше они проверяют идею через схему Program-as-Weights: большой компилятор на 4 миллиарда параметров, обученный на их новом наборе FuzzyBench, создаёт адаптеры — небольшие добавки к весам модели — для лёгкого интерпретатора, который уже можно запускать локально. Смысл в том, что тяжёлая часть нужна только на этапе создания функции, а потом получившийся артефакт можно много раз использовать без обращения к внешнему API.

Интересный результат в том, что 0,6-миллиардный интерпретатор, который исполнял такие программы, вышел примерно на уровень прямого запроса к Qwen3-32B, но при этом требовал примерно в 50 раз меньше памяти и работал со скоростью 30 токенов в секунду на MacBook M3. То есть авторы не просто показали идею «локального ИИ», а попытались сделать её практичной: чтобы модель была не только умной, но и дешёвой в повторном использовании.

Ключевые цифры

10MСтолько примеров вошло в новый набор данных — это уже масштаб, на котором можно учить систему заметным задачам, а не игрушечным случаям.

4BКомпилятор с 4 миллиардами параметров создаёт нужную «заготовку» для задачи — это показывает, что конструировать такие программы поручили довольно мощной модели.

0.6BДаже сравнительно маленький интерпретатор на 0,6 миллиарда параметров смог работать на уровне гораздо более крупной модели в их тесте.

30 токенов/сНа ноутбуке система выдавала 30 кусочков текста в секунду — то есть работала достаточно быстро для локального запуска.

Можно ли доверять

Это препринт на arXiv, значит, работу ещё не проверяли независимые рецензенты. Авторы опираются на один бенчмарк и собственный датасет, так что результат выглядит многообещающе, но пока его стоит считать ранней демонстрацией, а не окончательным доказательством.

Пересказано ИИ по научной статье. Как это устроено

Источник и детали

ЖурналarXiv (via Hugging Face)

Дата публикации у нас3 июля 2026 г.

Дата источника1 июля 2026 г.

ОригиналОткрыть

АвторыWentao Zhang, Liliana Hotsko, Woojeong Kim, Pengyu Nie, Stuart Shieber, Yuntian Deng