dumaiДиффузионная языковая модель ускорила глубокий поиск примерно в 6 раз
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы встроили в систему для глубокого поиска модель, которая обрабатывает текст не только слева направо, и сравнили её с обычной моделью в тех же условиях. На 100 заданиях новая система работала примерно в 6 раз быстрее при сопоставимом качестве отчётов, а отдельный режим ускорил выделение дополнительных поисковых запросов в 1,99 раза без потери качества.
Зачем это знать?
Если результат подтвердится на более широких проверках, такое ускорение может быть важным для интерактивных ИИ-сервисов. Сейчас оно проверено только на 100 заданиях и на конкретных моделях, поэтому преимущество в обычной работе не установлено.
Разбор
Проблема здесь не только в качестве ответа, но и во времени ожидания: система глубокого поиска несколько раз строит план, ищет материалы, пишет черновик и исправляет его. Обычно на каждом шаге работает авторегрессионная модель — она генерирует текст строго слева направо, поэтому длинные планы и отчёты становятся узким местом.
Авторы собрали открытый фреймворк DiffResearch и заменили в нём обычную языковую модель на диффузионную. Такая модель постепенно уточняет сразу весь фрагмент текста, а не выдаёт токены по одному. Чтобы сравнение было честным, исследователи оставили одинаковыми каркас агентов, поиск документов, подсказки и способ оценки — меняли только основу модели.
Самое интересное — диффузионная модель ускорила не один отдельный вызов, а весь цикл работы. Основной вклад дали планирование и написание отчёта: на этих этапах задержка сократилась на порядок, то есть примерно в десять раз. Кроме того, режим dFast начал извлекать дополнительные поисковые запросы ещё до того, как модель закончила генерацию; при этом итоговое качество отчётов не ухудшилось. В отдельном публичном рейтинге система на более сильной диффузионной модели также оказалась выше нескольких коммерческих решений, но это лишь снимок рейтинга, а не контролируемое сравнение всех систем.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая независимое рецензирование. Сравнение аккуратно контролировали, но проверка ограничена 100 заданиями одного бенчмарка и конкретными моделями; работа системы в реальных поисковых сервисах может дать другой результат.
- Это препринт, поэтому результаты еще не прошли независимую проверку.
- Выводы основаны на бенчмарке из 100 заданий и сравнении конкретных моделей, а не на реальной пользовательской эксплуатации.
- Упоминание более высокого места в таблице лидеров относится к отдельному снимку рейтинга и не доказывает общее превосходство над коммерческими системами.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено