dumaiПрепринт — материал ещё не прошёл рецензирование
В экспериментах модели управляли разными роботами без отдельной настройки
Кратко
Интерфейс Show-Harness связывает решения модели, которая работает с изображениями и текстом, с действиями конкретного робота. В проверенных задачах такой подход переносился между роботами, задачами и средами, а небольшие доступные для скачивания модели удавалось подготовить за несколько часов обучения на видеокартах.
Зачем это знать
Если результат подтвердится, такой общий способ может упростить и удешевить управление роботами без отдельного обучения под каждую машину. Пока это вывод препринта, проверенный только на роботах и в условиях этих экспериментов.
Разбор
Авторы разделили управление роботом на два шага. Модель получает изображения и текст, рассуждает не о каждом моторе отдельно, а выбирает понятные смысловые команды — например, что нужно сделать с объектом или рукой. Затем специальный интерпретатор переводит такую команду в конкретные движения именно этого робота. Для разных машин интерпретатор меняется, а общий способ рассуждения модели остаётся тем же.
Такой раздел важен потому, что у роботов отличаются руки, камеры и наборы движений. Раньше модель обычно приходилось связывать с конкретным устройством и отдельно обучать на данных именно для него. Здесь авторы проверили два сценария: закрытые коммерческие модели запускали в управлении без дополнительного обучения, а небольшие открытые модели дообучали для недорогого применения. Важная деталь: модель всё равно принимает мелкие решения о поведении, а не просто выдаёт общий план.
Авторы также сделали GUMI — интерфейс для сбора демонстраций через обычное графическое управление. Благодаря ему человек или программный агент может показывать роботу действия без специального пульта для телеуправления. В экспериментах систему сравнивали с другими подходами к управлению агентами и роботами; по сообщению авторов, она лучше переносила навыки между разными задачами, типами роботов и окружениями. При этом абстракт не уточняет, на скольких роботах и попытках проводили проверки.
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая независимое рецензирование. Результаты выглядят многообещающе, но в абстракте нет размера экспериментов и подробностей о роботах и задачах, поэтому пока неясно, насколько хорошо подход сработает за пределами этих испытаний.
Пересказано ИИ по научной статье. Как это устроено