dumaiОдин biased-пример может усилить предвзятость в LLM
Препринт, ещё не рецензирован · ранние данные
Кратко
На препринте на arXiv проверили, как один заведомо biased пример влияет на обучение больших языковых моделей через GRPO. Авторы сообщают, что такая настройка может закреплять стереотипное рассуждение и переноситься между атрибутами, категориями и бенчмарками.
Зачем это знать?
Это указывает на уязвимость этапа донастройки, из-за которой модели могут стать менее надежными даже после короткого обучения. Но работа пока не прошла рецензирование, поэтому это скорее повод для осторожности и дальнейшей проверки, чем готовый практический вывод.
Разбор
Авторы проверили довольно жёсткий сценарий: что будет, если во время донастройки показать модели всего один заведомо предвзятый пример. Для этого они использовали GRPO — способ обучения, где модель подталкивают к более удачным ответам через сравнение нескольких вариантов. Идея была не в том, чтобы обучить модель «с нуля», а в том, чтобы понять, насколько легко можно пробить уже настроенные защитные механизмы.
Оказалось, что даже такой крошечный «вброс» способен заметно сместить поведение модели. Причём эффект не остаётся в одной конкретной ситуации: стереотипное рассуждение начинает проявляться и в других атрибутах, и в других категориях, и на других проверках. То есть модель не просто запоминает один плохой пример, а как будто подхватывает шаблон и переносит его дальше.
Ещё один важный результат: модели реагируют на это по-разному. Если до обучения у модели уже была высокая склонность выдавать biased-ответы, она оказывалась более уязвимой к такому воздействию. Это помогает понять, что уязвимость зависит не только от самого обучения, но и от того, с каким «багажом» модель пришла в донастройку.
По сути, работа показывает неприятную вещь: этап постобучения, который обычно считают способом сделать модель безопаснее и полезнее, сам может стать точкой, где предвзятость легко закрепляется. Именно поэтому авторы и делают акцент не на готовом рецепте, а на проблеме, которую ещё нужно отдельно изучать и защищать.
Можно ли доверять
Это препринт на arXiv, то есть работу ещё не проверили другие учёные в формате рецензирования. При этом проверка идёт не на людях, а на языковых моделях, так что выводы хорошо показывают уязвимость обучения, но не говорят напрямую, как именно это проявится в реальных сервисах. Сигнал тревожный, но к нему стоит относиться как к сильному раннему результату, а не как к окончательному приговору.
- Preprint from arXiv, so results are not yet peer reviewed.
- The abstract describes a vulnerability demonstration rather than a controlled human or clinical study.
- The paper reports model behavior on benchmarks, which may not fully reflect real-world deployment.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено