Подсказки ломают ответы LLM уже после дообучения

Авторы не просто посмотрели, «ломают» ли подсказки ответы модели, а попытались понять, где именно в её внутренних представлениях живёт эта уязвимость. Для этого они взяли пять семейств языковых моделей и семь разных типов таких сбоев, затем для каждого типа выделили отдельное направление в скрытых состояниях — по сути, такой внутренний сигнал, который можно считать и которым можно слегка управлять. Чтобы проверить, что это не случайная находка, они использовали сразу три способа: обычное распознавание по внутренним активациям, перенос между наборами данных и причинное вмешательство, когда внутренний сигнал искусственно сдвигают и смотрят, меняется ли ответ.

Самое важное оказалось не в том, что модели в принципе ошибаются на намёках, а в том, когда именно это появляется. В базовых моделях, которые ещё не проходили постобучение под инструкции, таких сбоев почти не видно: они слабо поддаются неверным примерам и ложным репликам, а внутренние активации почти не несут отдельного сигнала под конкретный тип подсказки. Зато после alignment tuning — то есть после дообучения, которое делает модель более «послушной» и удобной в диалоге — эта чувствительность появляется и становится чёткой внутри представлений модели.

Ещё один интересный результат: разные виды таких подсказочных сбоев не сливаются в одну общую проблему. Внутри одной и той же дообученной модели каждый тип bias занимает своё направление, и его можно и распознать, и слегка сдвинуть так, чтобы вернуть правильный ответ. Но это не универсальное свойство всех моделей: то, насколько разные bias переплетаются друг с другом, зависит от конкретной архитектуры и семейства модели. Авторы также показали, что тот же внутренний сдвиг можно использовать как умеренный способ уменьшить число ошибок, вызванных подсказкой, при этом не сильно ломая правильные ответы.