dumaiПользователи и разработчики по-разному оценивают машинный перевод
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проанализировали 79 286 постов и комментариев в соцсетях за 2019–2025 годы и нашли заметные расхождения во взглядах на качество, удобство, надёжность и влияние машинного перевода на работу людей.
Зачем это знать?
Работа показывает, что обсуждение машинного перевода выходит за рамки одних технических метрик и включает доверие, эффективность, рабочие процессы и влияние на труд. Но это выводы из препринта и анализа соцмедиа, а не проверенное измерение качества систем.
Разбор
Авторы не измеряли сам перевод в вакууме — они посмотрели, как о машинном переводе говорят разные группы людей в соцсетях. Для этого собрали большой корпус: посты и комментарии из Reddit, Facebook, Bluesky и Mastodon за несколько лет, а потом сравнили, где мнения совпадают, а где расходятся. Такой подход нужен потому, что технические метрики вроде обычных тестов качества не показывают, что думают о переводе те, кто им реально пользуется или с ним работает.
Самый заметный результат — у разных групп совсем разные приоритеты. Разработчики и AI-сообщество чаще смотрят на перевод как на инженерную задачу: насколько система точна, быстра и вычислительно удобна. А переводчики, языковые сервисы и изучающие язык больше говорят о нюансах смысла, экономии времени, доверии к результату и о том, как перевод влияет на работу людей. Из-за этого обсуждения не просто различаются по тону — по части тем они прямо конфликтуют, особенно вокруг качества, надёжности и полезности.
Ещё важно, что авторы проследили не только разницу между сообществами, но и то, как напряжение может нарастать со временем. То есть речь не о разовом споре, а о устойчивом расхождении взглядов, которое может усиливаться по мере того, как системы переводов всё активнее входят в рабочие процессы. Отсюда и главный практический вывод статьи: если оценивать машинный перевод только по техничным метрикам, легко промахнуться мимо того, что для людей действительно важно.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, то есть статью ещё не проверили независимые рецензенты. Сильная сторона работы — очень большой корпус реальных обсуждений из нескольких платформ, но это всё равно анализ соцсетей, а не прямое измерение того, насколько хорошо переводят сами системы. Такие данные хорошо показывают мнения и конфликты, но не всегда отражают всех пользователей и реальные рабочие сценарии.
- This is a preprint, so the findings have not been peer reviewed.
- The evidence is based on social media posts and comments, not direct measurement of MT performance or outcomes.
- The conclusions are about stakeholder perspectives and recommended evaluation criteria, not a tested intervention.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено