У ИИ могут быть различия без человеческих названий

Авторы предлагают разделить две задачи, которые часто смешивают. Сначала можно установить, что внутри модели есть устойчивое различие: найти его с помощью зондов и анализа активаций, проверить геометрию этого различия, а затем вмешаться в него — например, изменить или выключить соответствующий сигнал — и посмотреть, меняется ли поведение модели. Для этого не обязательно сразу понимать, что именно означает найденная структура.

Это важно потому, что привычные объяснения вроде «модель честная» или «модель обманывает» заранее подгоняют внутреннюю работу ИИ под человеческие категории. Авторы считают, что набор возможных различий внутри модели намного богаче любого конечного набора слов и понятий, которым располагают люди. Поэтому они предлагают искать не только знакомые качества, но и такие устойчивые внутренние схемы, которым пока нельзя дать точное человеческое название.

В качестве основы для будущих экспериментов описываются несколько проверок: повторно находить один и тот же сигнал на разных примерах, сравнивать его с последующими вычислениями и измерять эффект вмешательства на поведение. При этом авторы отдельно предупреждают: если внутренний признак связан с понятным свойством на входе, это ещё не доказывает, что он действительно управляет вычислением. В качестве примера они приводят результаты, согласно которым некоторые признаки, найденные разреженными автоэнкодерами, могут хорошо коррелировать с понятными особенностями данных, но слабо влиять на работу модели при вмешательстве. Таким образом, статья задаёт программу проверки, а не предъявляет готовый каталог «чуждых» человеку смыслов.