dumai
ИИarXiv cs.AI

С подсказками из словарей ИИ перевёл верно 43 текста вместо 13

Препринт, ещё не рецензирован · ранние данные

Кратко

Эксперт проверил 816 переводов с четырёх языков на английский. Без помощи словарей и разбора слов он принял 13 переводов из 272, с подсказками — 43, а когда ИИ мог сам вызывать инструменты, — 55. Самостоятельные вызовы оказались ненадёжными: 14 из 31 модели ни разу не воспользовались инструментом, а половина вызовов указывала язык, которого в наборе не было.

Зачем это знать?

Для редких языков словари могут улучшить машинный перевод, хотя даже с их помощью эксперт принял лишь часть переводов. Для удмуртского подсказки не помогли: в его словаре не было перевода на английский.

Разбор

Исследователи сравнили три способа перевода одних и тех же 272 предложений с четырёх языков на английский. Самой сильной модели либо не давали подсказок, либо заранее добавляли к запросу разбор слов и словарные переводы, либо позволяли самой обращаться к таким сведениям. Эксперт прочитал все 816 результатов, принял или отверг каждый перевод и назвал главную ошибку в каждом отвергнутом.

Английские подсказки из словаря доходили до модели не для всех слов. Для трёх языков они попадали в запрос для 74–80% слов исходного текста. Из 14 моделей, которые ни разу не обратились к инструментам самостоятельно, 11 не смогли составить пригодный запрос к ним.

Ключевые цифры

74–80%Для такой доли слов исходного текста модель получила английские словарные подсказки при переводе с трёх языков.
11 из 14Столько моделей, ни разу не вызвавших инструмент, не смогли составить пригодный запрос к нему.

Можно ли доверять

Эксперт проверил 816 переводов одной самой сильной модели: одни и те же предложения переводили без подсказок, с готовыми подсказками и с возможностью самостоятельно вызвать инструменты. Ручная оценка показывает результат именно для этой модели; по ней нельзя судить о качестве переводов остальных моделей.

  • Это препринт, а не прошедшая рецензирование статья.
  • Оценка основана на ручной проверке 816 переводов и сравнительно небольшом числе моделей; надёжность MCP сильно зависела от конкретной модели.
  • Эффект отсутствовал для удмуртского, у которого словарь не содержит английской стороны.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали
ЖурналarXiv (cs.AI)
Дата публикации у нас17 ноября 2026 г.
Дата источника14 ноября 2026 г.
ОригиналОткрыть
АвторыIaroslav Chelombitko, Mika Hämäläinen