dumaiДвойная проверка сократила ошибочные ссылки ИИ вдвое
Препринт, ещё не рецензирован · ранние данные
Кратко
В тесте из 5 314 юридических вопросов правильного решения суда не было среди вариантов в 1 670 случаях. Обычные языковые модели всё равно выбирали один вариант в 38–86% таких случаев, а осторожная модель — в 30%; при согласии двух моделей ошибочных ссылок стало вдвое меньше.
Зачем это знать?
Для юридических ИИ-систем важна не только точность, но и умение не ссылаться на неподходящее решение суда; здесь такой подход проверяли только на тестовых вопросах, а не в работе юристов или реальных делах.
Разбор
Авторы превратили проверку судебной ссылки в задачу с понятным выходом: модель должна выбрать одно из предложенных решений или прямо сказать «ни одно». Для этого они сравнили два подхода. Обычные языковые модели сразу выдают ответ, а decision-модели сначала оценивают вероятность каждого варианта — такой формат позволяет настроить, насколько система должна быть осторожной.
Исследователи добавили к тесту специальное условие: иногда правильное обоснование суда убирали из списка и добавляли вариант «ни одного из этих». При этом проверяли не только промахи, но и обратную сторону осторожности: как часто модель отказывается от ответа там, где правильный вариант всё-таки есть. Самая осторожная модель ошибочно воздерживалась лишь в 1,8% обычных заданий, но в искусственно сложной части всё равно пропускала часть случаев, где подходящий вариант был.
На стандартном тесте одна из компактных decision-моделей почти сравнялась с лучшей генеративной моделью по точности, но обходилась намного дешевле. Ещё один практический результат: вероятности decision-модели использовали как учителя для локальной Qwen3-8B — без ручной разметки новых примеров. Такую модель можно запускать на своей инфраструктуре, сохранив заданную исследователями настройку осторожности. Иными словами, авторы предлагают оценивать юридический ИИ не только по правильным ответам, но и по тому, умеет ли он вовремя остановиться.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому независимая проверка рецензентами ещё впереди. Тест провели на наборе юридических вопросов, а не на реальных рабочих процессах и судебных делах; кроме того, искусственное удаление правильной ссылки не полностью повторяет ошибки в настоящих юридических базах.
- Это препринт, результаты ещё не прошли независимую проверку рецензированием.
- Выводы основаны на тестовом наборе CaseHOLD, а не на реальной работе юристов или судебных делах.
- Даже наиболее осторожная модель ошибочно выбирала вариант в 30% случаев, поэтому сама по себе она ненадёжна.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено