dumaiSignRAG улучшил перевод жестового языка без промежуточной записи жестов на тестах
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы объединили поэтапное обучение, поиск похожих примеров и дополнительную настройку модели, чтобы переводить жестовый язык сразу в текст. На нескольких тестовых наборах система получила лучшие результаты, а на CSL-Daily превзошла методы, обученные на промежуточных записях жестов, по всем представленным показателям.
Зачем это знать?
Для людей, использующих жестовый язык, это пока не готовый переводчик: систему проверяли по автоматическим оценкам на тестовых наборах, а работу с реальными пользователями не показывали.
Разбор
Проблема для авторов была не только в качестве перевода, но и в устройстве самих моделей. Большие языковые модели обычно генерируют текст шаг за шагом, а многие прежние системы перевода жестового языка строились вокруг другой схемы — отдельного модуля для понимания входа и отдельного модуля для генерации. Поэтому авторы сначала научили SignRAG выделять из жестов признаки, связанные со смыслом и языком, а затем подключили этот модуль к языковой модели Qwen3.
Дальше система проходит ещё два этапа. Она ищет в специальной галерее похожие примеры жестов вместе с их переводами и использует их как подсказки. Чтобы модель не начинала слепо копировать найденные фразы, во время дополнительного обучения её поощряют не только за хороший перевод, но и за полезное использование подсказок; вредная опора на поиск, наоборот, снижает награду. Важная техническая проверка: галерею собирали только из обучающей части каждого набора, а примеры из проверки и теста туда не попадали.
Авторы проверили подход на китайском и американском жестовых языках, используя четыре независимых набора для перевода: CSL-Daily, PHOENIX-2014T, How2Sign и OpenASL. SignRAG показал лучшие результаты на всех этих тестах, а на CSL-Daily впервые среди методов без промежуточной записи жестов обошёл методы, которым такую запись давали во время обучения, по всем указанным метрикам. Код и модели разных размеров выложили открыто, чтобы другие исследователи могли повторить эксперименты и сравнить систему.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому работу ещё не проверили рецензенты журнала. Эксперименты выглядят основательно: систему сравнили на четырёх наборах, а тестовые примеры отделили от галереи поиска. Но в абстракте нет проверки с реальными пользователями и нет данных о том, насколько хорошо модель работает вне этих наборов.
- This is a preprint, so the results have not necessarily undergone peer review.
- The evidence comes from benchmark metrics such as BLEU and ROUGE-L, not demonstrated performance with real users or in deployment.
- The abstract does not provide the size of the improvement or details needed to assess comparisons across all methods.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено