dumaiИИ убедительно ошибается в ответах по колумбийскому праву
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили 15 языковых моделей на 1042 заданиях по десяти областям колумбийского права. В развёрнутых ответах ни одна модель не набрала больше 0,45 по фактической точности: даже уместный и уверенный тон часто скрывал ошибки.
Зачем это знать?
Уверенный ответ ИИ не гарантирует правильности в юридических задачах: ошибки могут оставаться незаметными. Вывод относится к колумбийскому праву и ответам без доступа к интернету, поэтому не описывает работу моделей с поиском актуальных законов.
Разбор
Авторы собрали не просто набор вопросов, а проверочный тест с участием людей: студенты подготовили задания, а эксперты несколько раз проверили их содержание. В итоге в тест вошли вопросы трёх типов — от выбора готового варианта до развёрнутого разбора по схеме IRAC, где нужно выделить проблему, правило, применение и вывод. Все 15 моделей отвечали на одинаковые вопросы и без интернета или внешних инструментов, поэтому сравнивали именно их внутренние знания о колумбийском праве.
Разница между форматами оказалась принципиальной. В тестах с вариантами ответа модели выглядели заметно сильнее, но этот результат завышал их реальную надёжность: он хорошо показывал, какая модель лучше другой, но не говорил, что лучшая модель уже годится для самостоятельной юридической работы. В свободных ответах модели часто звучали по делу, однако содержание оказывалось неверным. Причём среди упомянутых ими правовых норм правильной была примерно каждая вторая; остальные нормы оказывались ошибочными или вообще несуществующими.
Качество менялось в зависимости от области права и сложности вопроса: самые трудные задания не всегда давали худший результат, поэтому зависимость получилась похожей на перевёрнутую букву U. Оценки независимого автоматического проверяющего и экспертов, которые не знали, какая модель дала ответ, в целом совпали с рейтингом моделей. Авторы предлагают повышать надёжность через опору на авторитетные источники, но в этой работе такой подход не проверяли: модели намеренно работали без доступа к сети.
Ключевые цифры
Можно ли доверять
Это препринт arXiv, поэтому независимая журнальная рецензия ещё не подтверждает выводы. Сильная сторона работы — большой экспертно проверенный набор из 1042 заданий и слепая оценка ответов людьми, но проверяли только 15 моделей, только колумбийское право и без доступа к актуальным источникам в интернете.
- Это препринт, а не прошедшая рецензирование публикация.
- Модели отвечали без доступа к интернету и внешним источникам, поэтому результаты не описывают сценарии с поиском актуальных законов.
- Проверка касается колумбийского права, 15 моделей и конкретного набора вопросов; ее результаты нельзя автоматически переносить на другие страны или задачи.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено