dumaiSpatialClaw улучшает пространственное рассуждение VLM в бенчмарках
Препринт, ещё не рецензирован · ранние данные
Кратко
Предложен training-free подход SpatialClaw: агент пишет исполняемый код как интерфейс действий и опирается на уже полученные текстовые и визуальные результаты. В preprint его проверили на 20 тестах по пространственному рассуждению и сообщили о среднем результате 59,9% и стабильном приросте на шести VLM-базах.
Зачем это знать?
Это показывает, что не только сами модели, но и способ вызова инструментов может заметно влиять на качество пространственных ответов. Но это пока результат preprint на бенчмарках, поэтому его нельзя напрямую переносить на реальные сценарии или считать общим улучшением VLM.
Разбор
Проблема здесь не в том, что VLM не умеют смотреть на картинку, а в том, как им дают действовать. Авторы сравнили два популярных подхода: когда модель заранее строит весь план анализа одним куском, и когда она может вызывать инструменты через более жёсткий список команд. Оба варианта, по их словам, плохо подходят для задач, где нужно не просто ответить на картинку, а по шагам разбирать сложное 3D- или 4D-пространство, например следить за изменением сцены во времени.
Поэтому они сделали SpatialClaw — систему без дополнительного обучения, где модель пишет исполняемый код. Проще говоря, это не просто ответ текстом, а поэтапная работа в Python-среде, где уже загружены кадры и есть готовые примитивы для восприятия и геометрии. После каждого шага модель видит промежуточный результат и может подстроить следующий шаг под него. Это и есть главный сдвиг: не фиксированный сценарий, а более гибкий разбор задачи по мере того, как появляются новые подсказки.
Проверили подход на 20 бенчмарках по пространственному рассуждению. Важный результат не только в среднем качестве, но и в том, что улучшение сохранилось на шести разных базовых VLM из двух семейств моделей без отдельной настройки под конкретный тест или конкретную модель. То есть система оказалась не привязана к одному удачному случаю, а дала стабильный выигрыш в разных конфигурациях.
Ключевые цифры
Можно ли доверять
Это preprint на arXiv, то есть работу ещё не проверили независимые рецензенты. Результаты выглядят убедительно, потому что тестов много и эффект повторился на нескольких моделях, но проверяли всё на бенчмарках, а не в реальных приложениях, где задачи обычно сложнее и менее аккуратны.
- Preprint on arXiv, so results are not yet peer reviewed.
- Evaluation is benchmark-based; real-world usefulness may differ.
- The gains are shown for spatial reasoning tasks and agent backbones, not as a general-purpose VLM improvement.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено