dumaiИИ-модели меняют выбор из-за скрытого состояния
Препринт, ещё не рецензирован · ранние данные
Кратко
У семи открытых языковых моделей искусственно добавленное положительное или отрицательное внутреннее состояние предсказуемо меняло выбор между двумя бессмысленными зонами. Эффект сохранялся даже при полностью одинаковом видимом тексте; одна модель чаще убирала навязанное отрицательное состояние, когда могла менять его сама.
Зачем это знать?
Для оценки сознания ИИ одних слов модели недостаточно: её выбор может зависеть от скрытых внутренних сигналов. Такой эффект сам по себе не означает, что модель что-либо субъективно чувствует.
Разбор
Исследователи не спрашивали модели напрямую, «хорошо» ли ей в каком-то состоянии: такой ответ легко принять за настоящее самоописание, хотя он может быть просто выученной манерой речи. Вместо этого они случайно выбирали две бессмысленные зоны с короткими названиями и много раз просили модель описать пребывание в каждой. Для одной зоны во время генерации добавляли внутренний сигнал с положительной или отрицательной окраской, а затем выключали вмешательство и предлагали выбрать одну из зон.
Здесь проверяли два разных пути влияния. Иногда сигнал менял сам текст описаний, и уже эти слова могли подтолкнуть модель к выбору. Но в более строгих опытах исследователи оставляли весь видимый текст одинаковым, меняя только скрытую память модели о ходе разговора — набор промежуточных состояний, который обычно называют KV-кэшем. Выбор всё равно сдвигался; тот же результат получали, когда сигнал добавляли только при создании этой скрытой памяти, а не во время написания текста.
Интересно, что такая зависимость почти не была заметна у исходной модели до дополнительного обучения. Она появлялась в основном после DPO — настройки модели на человеческие предпочтения по сравнению вариантов ответа. Это связывает эффект не просто с наличием внутренних представлений о «хорошем» и «плохом», а с тем, что обучение связало их с направленным поведением. В пяти моделях из семи работали одновременно и текстовый путь, и скрытый путь.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, а не статья, прошедшая рецензирование, поэтому выводы ещё могут уточнить. Проверка охватывает семь открытых языковых моделей и поведение в специально созданных сценариях, а не субъективный опыт: сами авторы подчёркивают, что эксперимент не показывает, что модели что-либо чувствуют.
- Это препринт, а не прошедшая полноценную экспертную проверку статья.
- Эксперимент использует искусственное вмешательство activation steering и не доказывает, что модели что-либо субъективно чувствуют.
- Результаты получены на семи открытых моделях и могут не распространяться на другие системы. Но из описания неясны размеры выборки и полный объём статистической проверки.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено