dumaiИИ правильно отвечает, но ломает правила в новых задачах
Препринт, ещё не рецензирован · ранние данные
Кратко
Модель Jev проверили на 41 500 ответах: в знакомых задачах она часто выбирала правильный вариант, а в проверенном сценарии ценообразования показывала лишь небольшие различия между демографическими группами. В адаптированных задачах на вероятность модель нарушала базовое правило в 54% ответов, причём результат зависел от чисел, формулировки и порядка вариантов.
Зачем это знать?
Для автоматических решений это означает, что хорошие результаты на знакомых тестах не гарантируют надёжность одной модели в новых формулировках и при другом порядке вариантов.
Разбор
Авторы проверяли не только, выберет ли модель правильный ответ, но и как она приходит к нему. Для этого они давали Jev классические задачи на «ловушки мышления»: например, меняли формулировку, добавляли ненужное число или переставляли варианты ответа местами. В адаптированных версиях проверяли, сохраняется ли результат за пределами знакомого для модели шаблона. Там обнаружилась важная деталь: лишняя информация и порядок вариантов могли менять оценки вероятности, даже если итоговый выбранный вариант оставался тем же.
Самый показательный тест касался правила вероятности: вероятность двух событий вместе не может быть выше вероятности одного из них. В исходной, хорошо известной формулировке Jev отвечала правильно, но после изменения сюжета и вариантов ответа та же логика часто исчезала. Поэтому авторы отдельно собрали ещё 15 000 ответов на 30 вариантов задач — не для проверки новой способности, а чтобы измерить, насколько сильно результат зависит от конкретной формулировки.
В эксперименте с ценами авторы использовали имена и явные указания на этническую принадлежность и пол, а затем сравнивали итоговые оценки для групп. Различия оказались небольшими: в единственном сравнении, где интервал неопределённости не включал ноль, разница составила 12,30 доллара при общем диапазоне цен в 2 145 долларов. Это показывает, почему одной проверки выбранных ответов недостаточно: модель может выглядеть устойчивой по финальному решению, но при этом менять скрытые вероятностные оценки из-за несущественных деталей.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая независимую проверку рецензентами. Кроме того, проверяли одну модель в специально составленных текстовых задачах, а не решения в реальных рабочих процессах; поэтому результат хорошо показывает уязвимость к формулировкам, но не измеряет надёжность всех ИИ-систем.
- Это препринт, а не прошедшая рецензирование публикация.
- Проверялась одна модель — Jev 1.13.0; результаты нельзя автоматически переносить на другие ИИ-системы.
- Часть заданий была адаптирована под структурированный формат ответов модели, поэтому результаты зависят от формулировок и порядка вариантов.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено