dumaiGPT-6-Astra хорошо управляет роботами, но до работы в реальности ещё далеко
Препринт, ещё не рецензирован · ранние данные
Кратко
GPT-6-Astra показала высокие результаты в управлении роботами и навигации на 12 тестах. Проверка восьми вариантов роботов выявила ограничения: примеры для обучения дорого собирать, а большее число шагов не позволяет просто повысить успешность выполнения задач. Поэтому система приблизилась к практической компетентности, но полноценной самостоятельной работы в реальном мире ещё не достигла.
Зачем это знать?
Для робототехники это важный предел: высокий результат в лабораторных тестах ещё не означает, что ИИ сможет недорого и надёжно работать в реальном мире.
Разбор
Авторы проверяли не одну «идеальную» пару робота и задачи, а разные типы управления: захват предметов на столе, гуманоидных роботов, мобильные платформы и ловкие роботизированные кисти. Для всех использовали единый подход: GPT-6-Astra показывали примеры решения из обучающего набора, а затем разрешали выполнять гораздо больше последовательных действий. Такой режим проверяет не только разовое угадывание движения, но и способность перенести подсказку на новую ситуацию и довести длинную задачу до конца.
Отдельно исследователи разобрали связку из двух уровней. GPT-6-Astra выступала как «System 2» — планировала и рассуждала, а низкоуровневый контроллер вроде π0.5 превращал план в конкретные движения. Замкнутая связь между ними оказалась рабочей, но дорогой: система постоянно сверяет результат действия с планом и при необходимости корректирует следующий шаг.
Главная проблема проявилась при переходе к настоящим роботам. Для обучения на примерах нужны демонстрации именно от робота, а их сбор требует времени и денег. Кроме того, в физическом мире нельзя бесконечно компенсировать ошибки дополнительными попытками: предмет может упасть, робот — застрять, а неудача может стать необратимой. Поэтому авторы предлагают новые тесты, где задачи исходят из реальных потребностей, готовых примеров внутри конкретной области нет, а время продолжает идти, пока система размышляет.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая независимое рецензирование. Проверка выглядит широкой: есть 12 тестов и эксперименты на восьми конфигурациях роботов, но абстракт не сообщает размеры наборов данных и подробности условий, поэтому перенос результатов на другие реальные среды пока остаётся открытым вопросом.
- Это препринт, поэтому результаты ещё не прошли независимую проверку.
- Высокие результаты получены при протоколе с обучением на демонстрациях из обучающей выборки и увеличенным числом шагов выполнения.
- В реальном мире авторы сами отмечают существенный разрыв между результатами на бенчмарках и практическим применением.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено