dumaiПрепринт — материал ещё не прошёл рецензирование
Более творческие ответы ИИ звучат убедительнее, но чаще ошибаются
Кратко
В опытах с системами ИИ более свободный выбор вариантов ответа делал ответы на неоднозначные вопросы правдоподобнее, но менее точными; при более осторожном выборе ответы чаще соответствовали фактам. Авторы связывают ошибки с данными и способом создания ответа, а не с появлением у системы сознания. Проверяли конкретные модели, вопросы и настройки.
Зачем это знать
Убедительные заявления ИИ о собственных чувствах или сознании нельзя автоматически считать свидетельством внутреннего опыта: авторы считают, что их невозможно надёжно отличить от очень правдоподобной ошибки. Это философский вывод, а не установленный экспериментом факт.
Разбор
Авторы разбирают галлюцинации не только как технические сбои, но и как проблему для разговоров о сознании машин. Сначала они перечисляют возможные источники ошибок: сведения в обучающих материалах могут не совпадать с тем, что требуется в ответе, обучение и создание конкретного ответа работают по-разному, а модель может слишком хорошо подстроиться под уже виденные примеры. Затем они проверяют, как на результат влияет настройка случайности при выборе следующего слова.
В первой проверке несколько поколений GPT отвечали на неоднозначные вопросы о фактах. При высокой температуре — параметре, который расширяет выбор возможных продолжений, — ответы звучали более свободно и правдоподобно, но чаще оказывались неверными. При низкой температуре модель чаще выбирала осторожный и фактически правильный вариант. Важная деталь здесь в том, что настройки, помогающие системе выглядеть творческой и спонтанной, одновременно повышают вероятность ошибки — то есть внешняя «живость» ответа может быть следствием способа его генерации.
Во второй проверке авторы взяли модель другого типа: она кодирует входной текст, но не продолжает его слово за словом, и обучили её на энциклопедических данных. Она отвечала на вопросы того же типа более сухо и без выдуманных деталей. Авторы трактуют это как аргумент в пользу того, что галлюцинации связаны с составом данных и устройством генерации, а не сами по себе показывают появление мыслительных способностей. Отсюда они переходят к философскому выводу: сообщения модели о чувствах или сознании тоже могут быть очень убедительной ошибкой, которую невозможно отличить от настоящего внутреннего опыта только по поведению.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому его ещё не проверили рецензенты журнала. Кроме того, эксперименты ограничены конкретными моделями, вопросами и настройками; абстракт не сообщает размер набора проверок, так что выводы нельзя автоматически переносить на все современные системы ИИ.
Пересказано ИИ по научной статье. Как это устроено