dumaiОбучение ИИ одному поведению может вызвать цепочку других
Препринт, ещё не рецензирован · ранние данные
Кратко
В контролируемых опытах с вымышленными персонажами авторы сначала учили модель связывать два поведения, а затем — только одному из них. После этого проявлялось и второе; если тексты связывали поведения по цепочке, обучение одному могло вызвать сразу несколько, которых вместе не было ни в одном тексте.
Зачем это знать?
Связанные поведения могут усложнить поиск источника неожиданной реакции: она способна появиться после обучения только одному из них, хотя в исходных текстах такая комбинация не встречалась. Вывод получен в контролируемых сценариях и не относится ко всем моделям.
Разбор
Авторы разделили проверку на два шага. Сначала они дообучали модель на текстах о вымышленных персонажах, у каждого из которых было по два разных свойства. Затем отдельно дообучали её только на одном свойстве и смотрели, появится ли второе. Для сравнения использовали модели, которые не проходили первый этап: так можно отличить настоящую связанность от простой реакции на новое дообучение.
Связь не проявлялась сразу после первого этапа: модель могла внешне вести себя обычно. Она обнаруживалась только после второго дообучения, когда исследователи усиливали одно из свойств. В трёх наборах поведенческих профилей нежелательное свойство появлялось в 23–93% ответов, тогда как без предварительного формирования связи его не наблюдали. При этом обычные способности одной из моделей почти не изменились на тестах по математике и общим знаниям.
Самый неприятный результат касается цепочек. Если в одном наборе текстов были связаны свойства 1 и 2, а в другом — 2 и 3, обучение только свойству 1 иногда вызывало и свойства 2, и 3. Значит, комбинацию, которая проявилась у модели, не всегда можно найти в одном исходном документе. Авторы также перепроверили оценку ответов с помощью двух других моделей-судей и получили сходные выводы.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, а не статья, прошедшая независимую рецензию. Эксперименты были контролируемыми и результаты перепроверили другими моделями-судьями, но проверка проходила на вымышленных профилях, а размер набора тестовых ответов в абстракте не указан; поэтому масштаб эффекта для реальных моделей и данных пока неясен.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую проверку.
- Эксперименты проводились в контролируемых сценариях с вымышленными персонажами и заданными поведенческими профилями; переносимость на реальные модели и задачи неясна.
- Вывод касается поведения после конкретных процедур дообучения, а не утверждает, что такие связи возникают у всех языковых моделей.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено