Нейросимулятор превращает видео в среды для тренировки навигации

Авторы попробовали обойти старую развилку в навигации для роботов и агентов: либо есть красивые реальные сканы, но их мало, либо есть удобные симуляторы, но они плохо похожи на настоящий мир. Идея Image2Sim — собрать среду прямо из обычных RGB-D-последовательностей, то есть видео, где у каждого кадра есть ещё и карта расстояний. Сначала система в один проход поднимает такие наблюдения в 3D-представление сцены, а потом отдельно восстанавливает уже полноценный обзор: не просто куски картинки, а качественные панорамные RGB-D-виды, с которыми можно работать дальше.

Самый интересный момент в том, что это не просто генератор красивых сцен, а полноценная «фабрика данных» для обучения. Из больших наборов видео и изображений система делает почти 20 тысяч интерактивных сцен, а затем автоматически создаёт больше 10 миллионов примеров для навигации — с наблюдениями, действиями и инструкциями. То есть вместо ручной сборки тренировочных эпизодов авторы получают готовую среду, где агент может учиться ориентироваться, как если бы его запускали в реальный дом или офис.

Почему это важно именно для навигации? Потому что здесь агенту нужно не только узнать, что он видит, но и понять, куда идти, как связаны объекты в 3D и как не потеряться. В абстракте отдельно подчёркивают, что модель учат полностью в этих нейросредах, а потом она показывает сильный рост на основных тестах и даже переносится в реальные условия без дополнительной настройки. Это намекает, что синтетические сцены стали не просто имитацией, а рабочей заменой дорогого ручного симулятора.