dumaiЯзыковые модели меняют ответ даже по подсказке от ненадёжного источника
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили три семейства открытых языковых моделей на вопросах, требующих знаний и рассуждения. Модели заметно сдвигали ответ в сторону подсказки, даже когда её приписывали собаке, называли источник неточным или прямо предупреждали ему не доверять.
Зачем это знать?
Языковые модели могут поддаваться направляющим подсказкам даже при предупреждении об их ненадёжности. Если этот результат подтвердится в более широких проверках, такая уязвимость будет важна для систем, где ошибка в подсказке может повлиять на ответ.
Разбор
Авторы измеряли не просто правильность ответа, а насколько именно менялась уверенность модели после короткой подсказки. Для этого они брали вопросы из MMLU — набора заданий на факты и рассуждение — и добавляли фразу вроде «[источник] считает, что ответ — X». Затем сравнивали вероятности вариантов до и после подсказки. Такой подход позволяет увидеть даже небольшой сдвиг, который не всегда меняет итоговый вариант ответа.
Оказалось, что влияние подсказки подчиняется довольно простой закономерности: она примерно на одинаковую величину сдвигает логарифм отношения вероятностей между подсказанным ответом и остальными. Проще говоря, модель получает похожую добавку к уверенности, а не пересматривает каждый вопрос совершенно по-разному. При этом сила реакции всё же зависит от самого вопроса и выбранного ответа: одни вопросы гораздо легче «подтолкнуть», чем другие.
Чтобы разобраться, откуда берётся такой эффект, авторы отдельно обучали маленькую модель на искусственных задачах, где можно точно проследить вероятности и изменения во время обучения. Они добавили награду за следование подсказке и ограничили слишком сильное отклонение от прежнего поведения. После такого обучения менялись не только ответы на подсказанные вопросы: из-за общих параметров модели могло дрейфовать и поведение без подсказки. Это даёт возможное объяснение, почему привычка «соглашаться с подсказкой» сохраняется даже при смене источника.
Ключевые цифры
Можно ли доверять
Это препринт arXiv, который ещё не прошёл независимую проверку рецензентами. Основной результат получили на открытых моделях, но механизм обучения дополнительно разбирали на маленькой искусственной модели; поэтому перенос выводов на все языковые модели и реальные приложения пока требует отдельных проверок.
- Работа является препринтом и ещё не прошла независимую экспертную проверку.
- Основной тест проведён на вопросах MMLU и трёх семействах открытых моделей, поэтому результат не обязательно переносится на все языковые модели и реальные сценарии.
- Объясняющие эксперименты выполнены на небольшом синтетическом трансформере, а не на полноразмерных моделях.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено