Локализованные задачи ИИ часто теряют культурные детали

Авторы не просто посмотрели на готовые переводы, а разложили их по элементам и сравнили, как каждая модель обращается с отдельными культурными деталями. Они взяли 60 английских задач по математике, сгенерировали для них адаптации на семи языках и затем вручную/по разметке проследили судьбу 6 489 объектов в тексте — например имён, мест, еды, праздников и валюты. Такой подход нужен был потому, что по красивому переводу ещё не видно, что именно изменилось: одна модель может оставить деталь, другая — заменить её, а третья — вообще убрать.

Самое интересное здесь в том, что модели часто вели себя по-разному даже на одном и том же исходнике. В 62,5% случаев они совпадали только в общем типе преобразования, а конкретную замену выбирали одинаково лишь в 33,5% случаев. Иными словами, выбор модели напрямую менял, какой культурный мир увидит ученик: у одной версии задача могла остаться ближе к оригиналу, у другой — стать заметно локальнее или, наоборот, потерять связь с местным контекстом.

Ещё один важный результат — авторы увидели не рост, а сжатие культурного разнообразия. Во всех 21 сочетаниях «язык-модель» адаптация делала текст менее разнообразным с культурной точки зрения. При этом модели охотнее трогали заметные на поверхности вещи — имена, еду, валюту — и чаще оставляли нетронутыми более глубокие штуки вроде системы школьных классов, хотя именно они могут нести скрытые местные предположения. Были и более грубые сбои: например, региональный контекст иногда путался, и для индийских бенгальских студентов появлялась бангладешская валюта, а пасхальные egg hunts превращались в празднование Ид.

Важно и то, что часть ошибок видна только если смотреть не на один пример, а на весь корпус сразу. На уровне отдельного перевода всё может выглядеть правдоподобно, но массовый анализ показывает системные перекосы: какие детали модели считают важными, а какие — нет. Это делает работу полезной именно как диагностику скрытых искажений в автоматической локализации учебных задач.