dumaiПрепринт — материал ещё не прошёл рецензирование
Подсказки под рабочее место помогли точнее выполнять физические задачи
Кратко
Система наблюдала за рабочим местом и создавала изображения и видео с нужными действиями прямо в ходе задания. В лабораторном исследовании с 24 участниками она помогла выполнять задачи качественнее, лучше соответствовала обстановке и ускорила подтверждение шагов по сравнению с заранее подготовленными подсказками. При этом система иногда ошибалась в предметах и действиях, поэтому её указания могли вводить в заблуждение.
Зачем это знать
Такие подсказки могут сделать инструкции для физических задач более подходящими к конкретному месту и набору предметов. Но результат получен в небольшом лабораторном исследовании препринта, а ошибки системы пока ограничивают надёжность такого подхода.
Разбор
Авторы не просто показывали человеку заранее записанную инструкцию. Система сначала смотрела на исходный кадр рабочего места — какие там лежат предметы и как устроено пространство — и получала короткое описание одного ближайшего действия. Затем она генерировала картинку с ожидаемым результатом или видео с демонстрацией шага. В прототипе дополненной реальности подсказки появлялись по ходу задания: система учитывала уже сделанные действия и пыталась показать, что должно получиться дальше.
Сначала исследователи проверили такой подход на 15 физических задачах, чтобы понять типичные сбои генерации. Для всех моделей использовали одинаковые исходные данные: кадр рабочего места и инструкцию с одним действием. Это помогло отделить особенности самой системы от случайных различий в запросах. Дополнительные способы улучшить запросы тоже пробовали, но они давали нестабильный результат, поэтому в основную проверку их не включили.
Ошибки оказались не косметическими. Модель могла соединить детали конструктора не тем способом, перелить смесь в другой сосуд, добавить второй венчик или продолжить движение тела дальше, чем требовала инструкция. При этом в пользовательском исследовании люди не только лучше выполняли задания, но и быстрее подтверждали отдельные шаги. Интервью показали, почему сходство подсказки с реальным рабочим местом важно для доверия: когда картинка выглядит знакомо, ей легче поверить, а ошибка в предмете или действии может изменить смысл всей инструкции.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому его ещё не проверили независимые рецензенты. Пользовательскую часть провели в лаборатории на 24 участниках, а не в реальных рабочих условиях; кроме того, авторы сами отмечают ошибки в предметах и действиях и не называют проверку генеративных моделей исчерпывающим сравнением.
Пересказано ИИ по научной статье. Как это устроено