dumaiКороткие объяснения ИИ чаще расходятся с его решениями
Препринт, ещё не рецензирован · ранние данные
Кратко
Учёные обучили несколько языковых моделей тремя способами сокращать объяснения своих ответов. В большинстве проверенных условий такие объяснения стали хуже совпадать с решениями моделей, но даже заметно более короткий текст обычно сохранял указание на то, что изменение входных данных повлияло на ответ.
Зачем это знать?
Для разработчиков ИИ это разделяет две задачи: короткое объяснение может хуже отражать принятое решение, сохраняя способность заметить влияние изменённых данных. Вывод получен на конкретных моделях и способах обучения, поэтому его нельзя автоматически переносить на все системы.
Разбор
Авторы сравнили не просто разные настройки длины ответа, а три разных способа заставить модель рассуждать короче. В одном случае ей задавали жёсткий предел на длину ответа, в другом — просили уложиться в персональную цель, которую меняли от примера к примеру, а в третьем поощряли быть короче других вариантов ответа на ту же задачу. Такой дизайн помогает отделить сам эффект сокращения от особенностей конкретного метода обучения.
Проверяли два разных свойства объяснения. Первое — насколько цепочка рассуждений согласуется с решением модели на связанных входах: например, если в условии что-то изменить, объяснение должно отражать именно ту причину, которая действительно повлияла на ответ. Второе — замечает ли объяснение сам факт такого влияния. Это важное различие: текст может не вполне честно описывать путь к ответу, но всё же сигнализировать, что изменение входных данных что-то поменяло.
Сокращение сильнее ударило по первому свойству. После обучения модели стали менее последовательными, поэтому их объяснения чаще переставали надёжно отражать решения. При этом способность замечать влияние вмешательства в входные данные оказалась устойчивее и сохранялась даже при гораздо более коротких рассуждениях. Иными словами, длина объяснения влияет не на одну общую «понятность», а по-разному — на точность реконструкции решения и на способность подать сигнал о возможной причине изменения ответа.
Можно ли доверять
Это препринт на arXiv, поэтому работу ещё не проверили независимые рецензенты. Авторы сравнивали несколько способов обучения моделей, но в абстракте не указаны размер и состав набора задач, а также полный список моделей; значит, переносить вывод на все языковые модели пока рано.
- Это препринт, поэтому результаты ещё не прошли независимое рецензирование.
- Проверены конкретные модели и три способа обучения с ограничением длины; нельзя автоматически обобщать выводы на все модели и методы оптимизации.
- Исследование оценивает свойства цепочек рассуждений в экспериментальных условиях, а не надёжность таких объяснений в реальных продуктивных системах.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено