Робота для робота стала быстрее и легче на обычной видеокарте

Обычно такие модели для роботов устроены как длинная цепочка: сначала картинку переводят в «внутренний язык» большой языковой модели, а уже потом из него получают действие. Авторы TurboVLA предложили более прямой ход: отдельно обрабатывать изображение и текстовую инструкцию, дать им обменяться информацией через лёгкий двусторонний блок и сразу из этого предсказывать команды для робота. То есть они убрали тяжёлое звено, которое раньше съедало много вычислений и памяти на каждом запуске.

Зачем это понадобилось? Потому что прежний подход был удобным, но дорогим: каждый раз система тянула за собой большой языковой модуль, даже если для управления роботом он не нужен в полном объёме. TurboVLA пытается решить именно эту практическую боль — сделать управление быстрее и легче без заметной потери качества. Поэтому модель строят не вокруг большой языковой модели, а вокруг компактного декодера, который выдаёт непрерывные куски действий сразу из признаков картинки и текста.

На тесте LIBERO это дало результат не только компактный, но и сильный: модель показала 97,7% средней успешности и при этом работала с задержкой 31,2 миллисекунды на обычной потребительской RTX 4090. Авторы отдельно подчёркивают, что такой режим потребовал всего 0,9 ГБ видеопамяти, а по качеству TurboVLA не уступила, а местами и обошла более крупные политики управления. Это важный намёк: для робототехники не всегда нужен самый большой «мозг», иногда выигрывает более прямой и аккуратный способ связать зрение, язык и действие.