В тесте больничных документов ИИ повысил точность с 81,3% до 97,2%

Препринт, ещё не рецензирован · ранние данные

Кратко

Платформа LLENS запустила систему на открытой языковой модели внутри закрытой сети университетской больницы. В тесте на 180 вопросах о больничных документах точность выросла с 81,3% при фиксированном поиске до 97,2%, когда система сама читала документы и использовала дополнительные инструменты; проверка прошла в пяти сценариях на синтетических данных.

Зачем это знать?

Работа внутри закрытой сети важна для больниц, где медицинские документы должны оставаться внутри сети. Полученный результат относится только к заданным задачам и не показывает безопасность системы или её способность заменить врачей.

Разбор

Авторы решали не только задачу поиска нужного абзаца. Они собрали платформу, которая сама читает страницы и вложения, работает со сканами, запускает изолированные вычисления и проверяет свой ответ. Вместо векторного поиска, который заранее выбирает похожие фрагменты, система строит дерево документов по их расположению и обращается к нужным частям по ходу работы. Это помогает, когда ответ зависит не от одного предложения, а от подсчёта, сравнения или просмотра нескольких файлов.

Главная практическая проблема — закрытая больничная сеть: документы нельзя отправлять во внешний сервис, поэтому внутри пришлось разместить и модель, и все инструменты вокруг неё. Платформа работает на одном сервере с восемью ускорителями NVIDIA H200; для интерфейса авторы переделали Open WebUI. Из трёх открытых моделей выбрали Kimi K2.6: на японском медицинском экзамене она набрала 480 баллов из 500 и могла обслуживать несколько запросов одновременно.

Самый заметный дополнительный результат связан с вопросами, где нужно фильтровать записи и что-то пересчитывать. При обычной выдаче десяти найденных фрагментов такие задания решались в 16,7% случаев, а при интерактивной работе с документами — в 87,8%. Без доступа к документам средняя точность падала до 10,7%. Авторы также проверили отдельные возможности на синтетических данных: ответ на травму иглой, массовую оценку нежелательных явлений, расшифровку скана направления, сбор и построение графика по данным о падениях и параллельное изучение трёх тем несколькими подагентами.

Ключевые цифры

8 NVIDIA H200Всю систему разместили на одном мощном сервере, а не вынесли работу с больничными данными во внешний облачный сервис.

10 компонентовПлатформа объединяет не только модель, но и чтение страниц, работу с файлами, изолированные вычисления и проверку ответа.

480 из 500Выбранная модель очень хорошо справилась с японским медицинским экзаменом, хотя экзаменационный результат сам по себе не доказывает пользу в реальной клинике.

16 одновременных запросов; 908 токенов в секунду суммарноСистема рассчитана на параллельную работу нескольких пользователей, а не только на один последовательный диалог.

Можно ли доверять

Это препринт с arXiv, поэтому независимую проверку рецензентами он ещё не прошёл. Тесты проводили в одной университетской больнице и на синтетических данных, а не на реальных клинических решениях и исходах пациентов; поэтому результат показывает возможности платформы в заданных сценариях, но не её безопасность или пользу для врачей в повседневной работе.

Это препринт, поэтому результаты еще не прошли независимую экспертную проверку.
Оценка основана на 180 вопросах и пяти сценариях с синтетическими данными в одной больнице.
Тесты показывают качество на заданных документах и задачах, но не доказывают безопасность или пользу в реальной клинической работе.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали

ЖурналarXiv (cs.CL)

Дата публикации у нас26 октября 2026 г.

Дата источника23 октября 2026 г.

ОригиналОткрыть

АвторыKen Enda, Jien Saito, Masami Mukai, Feng Han, Emir Turkes, Tatsumi Kusakabe, Reona Umeki, Kazuhiro Sumiyoshi, Mitsuya Numata, Takumi Tanikawa