ИИ-система разбирает ошибки в упражнениях по шагам

Авторы не просто обучили модель смотреть на видео, а собрали целую систему для разбора силовых упражнений. Во время выполнения одного и того же движения они синхронно записывали видео с разных ракурсов, положение суставов в пространстве и электрические сигналы мышц — по ним можно понять, какие мышцы включаются и насколько активно. Это позволяет сравнить внешне похожие движения: например, ошибка может быть почти незаметна на видео, но проявляться в неправильном распределении нагрузки между мышцами.

Чтобы система не воспринимала упражнение как один цельный ролик, авторы разложили каждое действие на этапы и ключевые шаги. Эксперты связали эти шаги с типичными ошибками и способами их исправления, а затем оформили связи в специальный граф знаний — структуру, где видно, какая ошибка относится к какой фазе движения и какую подсказку нужно дать. CUBIST проходит этот путь поэтапно: сначала делит упражнение на части, потом ищет проблему и в конце собирает объяснение обратно в понятную рекомендацию.

Авторы проверили систему в трёх направлениях: оценка качества выполнения, ответы на вопросы о движении и восстановление мышечной активности по одному видео. В первых двух задачах сравнение шло не только с другими системами, но и с вариантами, которые используют лишь изображение или скелет человека. Мультимодальные данные и структурированные описания улучшили точность, объяснимость и указание конкретного места ошибки. Отдельный результат — видео смогло хотя бы частично заменить электромиографию, то есть запись электрической активности мышц, хотя это пока не означает полноценную замену датчиков.