Адаптация под диалект меняет стиль ответов, но не всегда их качество

Авторы взяли три открытые языковые модели и сначала продолжили их предобучение на корпусе английских диалектов — по сути, «подкормили» их текстами из австралийского, индийского и северного британского английского. Потом они прогнали модели через несколько вариантов постобучения: где-то диалект подсказывали явно, а где-то — косвенно, и к каждому из этих вариантов добавляли разные схемы выравнивания, то есть способы подстроить ответы под нужное поведение. Такой набор позволил честно сравнить не одну волшебную кнопку, а именно отдельные этапы пайплайна: что отвечает за баллы в тестах, а что — за сам диалектный голос модели.

Главный неожиданный вывод в том, что умение модели справляться с диалектом и умение говорить на нём — не одно и то же. Одни этапы обучения сильнее двигают результаты в стандартных и диалектных бенчмарках, а другие заметнее меняют сам текст ответа: он начинает выглядеть диалектным и это замечают и люди, и автоматические оценщики. Причём наиболее «диалектный» вариант не всегда оказывается самым любимым у людей — то есть модель может звучать более местно, но при этом восприниматься хуже.

Ещё важная деталь: никакой один способ выравнивания не победил везде. Для части моделей изменения хорошо ловились на уровне генерации, но почти не отражались в тестах; для других всё было менее устойчиво. Авторы отдельно показали, что поверхностные диалектные признаки появляются уже на этапе supervised fine-tuning — дообучения на размеченных примерах — а выравнивание потом в основном перераспределяет эти признаки, а не создаёт их с нуля. Поэтому, если цель — не просто «сдать тест», а реально научить модель говорить по-диалектному, одного стандартного подхода мало: нужны и более богатые данные, и более удачно устроенные награды для обучения.