Корпус можно подставлять в ИИ за миллисекунды

Препринт, ещё не рецензирован · ранние данные

Кратко

Авторы предлагают заранее кодировать документы в скрытые состояния модели и подставлять их в ответ на запрос вместо повторной загрузки текста. На модели TENNs-LLM с 1,2 млрд параметров это сократило время предзагрузки примерно с 27 секунд до менее чем 6 миллисекунд; на SQuAD v1.1 качество почти совпало с обычным поиском по контексту.

Зачем это знать?

Если такой подход подтвердится в других проверках, он сделает поиск с подставленным контекстом намного быстрее на устройствах с ограниченными ресурсами. Пока это ранний результат для моделей одного класса, а не универсальный способ для всех ИИ.

Разбор

Авторы не стали снова подсовывать модели сам текст документа при каждом запросе. Вместо этого они один раз заранее прогоняют корпус через модель и сохраняют не слова, а её скрытое состояние — внутреннее компактное представление прочитанного. Когда приходит вопрос, системе не нужно заново загружать большой кусок контекста: она просто подставляет нужное состояние и продолжает ответ с него.

Почему это вообще возможно, объясняется выбором архитектуры. Они работают не с обычным Transformer, где память растёт вместе с длиной текста, а с state-space model — моделью, у которой внутреннее состояние фиксированного размера и по смыслу служит сжатым итогом всего прочитанного. Из-за этого такой трюк можно провернуть именно здесь: скрытое состояние остаётся тем же «форматом памяти» и для текста корпуса, и для текущего диалога.

На практике это проверили на TENNs-LLM — модели с 1,2 млрд параметров и скрытым состоянием размером 192 КБ. Сравнили обычный поиск по контексту и подстановку заранее сохранённых состояний, а также вариант, где смешивали несколько подходящих состояний. На наборе SQuAD v1.1 лучшая версия PRECOG почти не уступила обычному подходу по качеству ответов, а версия с тремя состояниями дала небольшой спад, потому что такое смешивание здесь уже не даёт точного совпадения с исходным контекстом.

Есть ещё важный практический вывод: этот подход ускоряет именно этап подготовки запроса, то есть момент, когда модель «вчитывается» в найденный контекст. Но за скорость приходится платить памятью: хранить состояния заметно дороже, чем хранить сырой текст. Так что это не универсальная замена всем поисковым системам с ИИ, а вариант для случаев, где критична именно скорость подстановки контекста.

Ключевые цифры

1,2 млрд параметровПроверку сделали не на крошечной игрушечной модели, а на достаточно крупной системе, ближе к реальным задачам.

192 КБСтолько памяти занимает внутреннее состояние модели — именно его можно заранее хранить вместо длинного текста.

~27 sСтолько занимала подготовка ответа в обычной схеме с подгрузкой контекста — ждать приходилось очень долго.

<6 msДо такой скорости сократилась подготовка ответа после подстановки готового состояния — это уже почти мгновенно.

Можно ли доверять

Это препринт на arXiv, то есть работу ещё не прошли независимые рецензенты. Проверка была на одной архитектуре и на одном наборе задач, поэтому результат выглядит сильным, но пока рано считать его универсальным для всех ИИ и всех типов поиска.

Это preprint, а не рецензированная работа.
Проверка качества показана на одном датасете SQuAD v1.1 и на 1 000 случайно выбранных вопросах.
Метод применим к SSM-моделям; для Transformer KV-cache он, по словам авторов, архитектурно недоступен.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали

ЖурналarXiv (cs.AI)

Дата публикации у нас4 августа 2026 г.

Дата источника3 августа 2026 г.

ОригиналОткрыть

АвторыAnusha Madan Gopal, Aras Pirbadian, Kristofor D. Carlson, M Anthony Lewis, Jonathan Tapson