Одна общая модель лучше координирует несколько роботов без связи

Авторы взяли уже обученную модель, которая умеет связывать зрение, язык и действия робота, и приспособили её не для одного робота, а сразу для целой команды. У каждого робота своя копия этой модели, но она смотрит только на то, что видит сам робот, и получает короткую подсказку, по которой понимает, кто он в команде. То есть во время работы роботам не нужно обмениваться сообщениями или собирать общую «картинку» всей сцены.

Зачем такой ход вообще понадобился? Потому что старые подходы обычно упираются в два неудобства. Если делать всё централизованно, модель должна учитывать наблюдения всех роботов сразу — это быстро раздувает систему, когда роботов становится больше. Если же учить каждого робота отдельно, то они хуже подстраиваются друг под друга и часто требуют дополнительных правил согласования. Здесь как раз проверяли, может ли одна общая основа, уже натренированная на зрительно-моторных задачах, сама по себе дать более живую и гибкую координацию.

В реальных испытаниях на переносе предметов, измерении ленты, передаче книг и подъёме корзины такая схема действительно сработала лучше моделей, которые учили с нуля. Ещё важнее, что роботы заметно лучше реагировали на действия напарника: если второй робот двигался или менял позицию, система чаще успевала подстроиться. Авторы также проверили, что подход не ломается, когда в команде не два, а три робота, — это важный намёк на масштабируемость.