dumaiИИ хуже узнаёт одного человека по имени в другой письменности
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили 601 отобранную пару имён, записанных в латинской и индийской письменности, а затем повторили проверку на 374 парах для другого языка. У модели Qwen точность распознавания одного и того же человека упала с 35,1% до 8,5%, хотя разных людей она различала более чем в 98% случаев. Коррекция работы модели подняла результат на новых данных с 6,5% до 33,5%, сохранив 98,5% точности для разных людей.
Зачем это знать?
Системы, которые сопоставляют имена, могут путать одного человека с разными людьми из-за письменности — это риск для многоязычных ИИ. Результат получен на специально собранных парах имён, поэтому надёжность рабочих систем по нему оценивать рано.
Разбор
Авторы не просто сравнили готовые ответы модели, а устроили контролируемый тест: брали одну и ту же пару людей и меняли только письменность имён — оба имени в деванагари, оба в латинице или смешанный вариант. Вопрос и связь между людьми оставались прежними. Так можно отделить проблему письменности от других причин, например от разной формулировки запроса или содержания имени. Проверка на пяти моделях показала, что у них разные устойчивые перекосы в ответах, а более мелкая разбивка текста на части сама по себе проблему не устраняет.
Затем исследователи проверили, есть ли внутри модели полезный сигнал, который она не умеет правильно использовать. Для этого обучили простой «зонд» — отдельный классификатор, который читает внутренние состояния модели и пытается определить правильную метку. Он находил информацию о совпадении имён в представлениях на деванагари лучше, чем метод, смотрящий только на внешнее сходство строк. Это значит, что часть провала возникает не из-за полного отсутствия знаний, а из-за того, где модель проводит границу между ответами «это один человек» и «это разные люди».
Наконец, авторы вмешались в работу Qwen на среднем слое и в участке, который особенно чувствителен ко второму имени. Такое вмешательство не подставляло модели правильный факт и не зависело от конкретной пары имён: оно меняло общий способ принятия решения. На отложенных примерах это заметно восстановило распознавание совпадающих людей, при этом почти не ухудшив различение разных людей. Результаты по отдельным формулировкам запроса и типам связи показывают, что эффект не сводится к одной неудачной фразе, хотя абсолютная точность между формулировками сильно меняется.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому его ещё не проверили независимые рецензенты. Тестировали модели на специально отобранных парах имён, а не на работе реальной системы с настоящими пользователями; кроме того, подробные результаты относятся к Qwen, так что перенос на другие модели требует отдельной проверки.
- Это препринт, поэтому результаты еще не прошли полноценную независимую проверку.
- Исследование проверяет несколько языковых моделей и специально собранные пары имен, а не надежность реальных систем идентификации людей в рабочих условиях.
- Корректирующее вмешательство показано прежде всего для Qwen и маратхи; его переносимость на другие модели, языки и сценарии не установлена.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено