dumaiПравильный формат не гарантирует ИИ правильного решения
Препринт, ещё не рецензирован · ранние данные
Кратко
При тех же вопросах и правилах выбора перестановка смысловых названий вариантов меняла 70,4 ответа из 100 по сравнению с нейтральными «0/1». Все ответы при этом оставались допустимого формата, а случайные названия почти не влияли на результат. Проверка охватила 1200 решений по четырём проверяемым условиям.
Зачем это знать?
Это важно для систем, которые передают ответ программе: правильный формат сам по себе не подтверждает, что модель верно соотнесла название варианта с его смыслом. Но результат получен в ограниченном эксперименте и пока не показывает последствий для реального внедрения.
Разбор
Авторы проверяли не сами тексты правил, а связь между правилом и его коротким названием. У каждого варианта было два слоя: подробное описание смысла и ярлык вроде «0», «1», «нет» или «да». Исследователи оставляли вопрос, правила и набор ярлыков без изменений, но переставляли, какое название к какому правилу прикреплено. Так они отделили настоящую работу с содержанием от реакции модели на слова «да» и «нет». Для проверки взяли Jev, ещё две похожие модели с открытыми весами и одну размещённую онлайн-модель.
Ключевые цифры
Можно ли доверять
Это препринт arXiv, поэтому его ещё не проверили независимые рецензенты. Эксперимент хорошо изолирует эффект на нескольких моделях и контролируемых решениях, но не показывает, насколько часто такая ошибка возникает в реальных продуктах.
- Это препринт, а не прошедшее рецензирование исследование.
- Проверка проведена на 1200 решениях, четырёх предикатах и ограниченном наборе моделей; переносимость на другие задачи и системы не установлена.
- Результаты показывают уязвимость в экспериментальных условиях, но не оценивают реальные последствия внедрения таких моделей.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено