С подсказками из словарей ИИ перевёл верно 43 текста вместо 13
Препринт, ещё не рецензирован · ранние данные
Кратко
Эксперт проверил 816 переводов с четырёх языков на английский. Без помощи словарей и разбора слов он принял 13 переводов из 272, с подсказками — 43, а когда ИИ мог сам вызывать инструменты, — 55. Самостоятельные вызовы оказались ненадёжными: 14 из 31 модели ни разу не воспользовались инструментом, а половина вызовов указывала язык, которого в наборе не было.
Зачем это знать?
Для редких языков словари могут улучшить машинный перевод, хотя даже с их помощью эксперт принял лишь часть переводов. Для удмуртского подсказки не помогли: в его словаре не было перевода на английский.
Разбор
Исследователи сравнили три способа перевода одних и тех же 272 предложений с четырёх языков на английский. Самой сильной модели либо не давали подсказок, либо заранее добавляли к запросу разбор слов и словарные переводы, либо позволяли самой обращаться к таким сведениям. Эксперт прочитал все 816 результатов, принял или отверг каждый перевод и назвал главную ошибку в каждом отвергнутом.
Английские подсказки из словаря доходили до модели не для всех слов. Для трёх языков они попадали в запрос для 74–80% слов исходного текста. Из 14 моделей, которые ни разу не обратились к инструментам самостоятельно, 11 не смогли составить пригодный запрос к ним.
Ключевые цифры
Можно ли доверять
Эксперт проверил 816 переводов одной самой сильной модели: одни и те же предложения переводили без подсказок, с готовыми подсказками и с возможностью самостоятельно вызвать инструменты. Ручная оценка показывает результат именно для этой модели; по ней нельзя судить о качестве переводов остальных моделей.
- Это препринт, а не прошедшая рецензирование статья.
- Оценка основана на ручной проверке 816 переводов и сравнительно небольшом числе моделей; надёжность MCP сильно зависела от конкретной модели.
- Эффект отсутствовал для удмуртского, у которого словарь не содержит английской стороны.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено