dumaiИИ сильнее подстраивается под британское написание, чем под афроамериканские языковые особенности
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проследили, как дополнительная настройка после основного обучения меняет ответы десяти открытых семейств моделей. Модели сглаживали особенности речи всех пользователей, но чаще выбирали британское и австралийское написание, чем афроамериканские языковые особенности и разговорный английский Сингапура; специальные пары примеров улучшили подстройку на одной полностью открытой модели без заметного вреда для стандартного английского и выполнения инструкций.
Зачем это знать?
Внешне одинаковые ответы чат-ботов могут скрывать разное отношение этапов обучения к вариантам языка: одним из них модель может отдавать больше предпочтения. Вывод пока основан на десяти семействах моделей и отдельно проверен на одной полностью открытой модели, поэтому его переносимость неясна.
Разбор
Авторы не ограничились проверкой готовых ответов. Они разбирали, что происходит на каждом этапе дообучения модели: сначала обучение на примерах с правильными ответами, затем настройка по предпочтениям и обучение с подкреплением. Для каждой реплики они сравнивали две версии с одинаковым содержанием: одна подстраивалась под особенности речи пользователя, другая — нет. Затем учитывали, насколько вероятной модель считала каждую версию ещё до обновления, чтобы отделить исходные языковые способности от эффекта конкретного этапа обучения.
Такой подход нужен потому, что одинаковый стандартный ответ не показывает, одинаково ли модель обращается с разными вариантами английского. Анализ показал: после дообучения модели в целом убирают разговорные и диалектные признаки, но настройка по предпочтениям всё равно сохраняет разницу между вариантами языка. Чтобы её исправить, исследователи создали CAP — пары примеров, где модель поощряют совпадать с плотностью диалектных признаков пользователя, но не заставляют добавлять их тому, кто пишет на стандартном английском.
На полностью открытой модели этот способ помог ей подстраиваться даже под признаки, которых не было в обучающих примерах. При этом исследователи не обнаружили заметного ухудшения следования инструкциям или усиления диалектных черт в ответах стандартным пользователям. Более простой вариант с односторонними примерами дал похожий прирост только ценой чрезмерной подстройки: модель начинала навязывать диалект сильнее, чем использовал сам пользователь.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, который ещё не прошёл обычную проверку рецензентами. Основной вывод повторился на десяти линейках моделей, но проверку нового метода провели на одной полностью открытой модели и не на реальных пользователях, поэтому переносимость результата пока неясна.
- Это препринт, а не прошедшее рецензирование исследование.
- Результаты основаны на 10 открытых модельных линейках и отдельно на одной полностью открытой модели; переносимость на другие модели неясна.
- Работа оценивает поведение моделей, а не качество или пользу таких ответов для реальных пользователей.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено