dumaiПрепринт — материал ещё не прошёл рецензирование
Быстрое управление ответами LLM часто ухудшает беглость текста
Кратко
В обзорном препринте сравнили несколько способов управлять поведением больших языковых моделей при добавлении или удалении заданного понятия. Авторы отмечают, что экономные методы steering нередко дают контроль ценой заметной потери естественности текста, а на instruction-tuned моделях activation steering работает слабее, чем на базовых.
Зачем это знать
Работа помогает понять, что у методов управления ответами LLM есть ощутимые компромиссы, а не только выигрыш в контроле. Но из-за формата препринта и узких сценариев тестирования выводы стоит воспринимать как предварительные, а не как универсальное правило.
Разбор
Авторы взяли несколько способов «подсказать» большой языковой модели, как ей вести себя: через обычный текстовый запрос, через дообучение на маленьком наборе примеров и через вмешательство прямо в внутренние активации модели — то есть в те промежуточные сигналы, из которых она строит ответ. Сравнивали это в двух задачах: когда нужно добавить в ответ заданную тему и когда нужно, наоборот, убрать нежелательную тему, например токсичность.
Главная идея была не просто посмотреть, «сработало ли управление», а проверить, какой ценой оно работает. Для этого авторы отдельно оценивали не только попадание в нужное поведение, но и качество самого текста. И вот здесь вылез важный компромисс: более дешёвые по вычислениям методы steering часто действительно направляют модель куда нужно, но текст начинает звучать менее естественно. То есть контроль есть, а беглость и плавность страдают.
Ещё один интересный результат связан с тем, что разные типы моделей реагируют на такие приёмы не одинаково. На моделях, которые уже дообучали следовать инструкциям, методы управления через активации работают заметно хуже, чем на базовых моделях без такого дообучения. А вот простые текстовые подсказки и полноценное supervised fine-tuning — это дообучение на размеченных примерах — лучше подходят для добавления нужного понятия, но хуже справляются с его удалением. В довесок авторы показали, что простые текстовые метрики, которые можно посчитать быстро, довольно хорошо совпадают с дорогими оценками от другой LLM, выступающей в роли судьи.
Можно ли доверять
Это препринт на arXiv, то есть работу ещё не проверяли рецензенты. Зато авторы сравнили сразу несколько методов и сценариев, а не один частный случай, что делает выводы полезными для ориентира. Но тестировали подходы в узких задачах управления концептом и токсичностью, поэтому к идее «это работает так всегда» лучше относиться осторожно.
Пересказано ИИ по научной статье. Как это устроено