Препринт — материал ещё не прошёл рецензирование
После работы с ИИ опытные юристы лучше справлялись с заданием без него
Кратко
В трёхмесячном эксперименте участвовали 133 патентных юриста из 11 американских фирм. ИИ улучшил их работу во время эксперимента, а спустя три месяца опытные юристы лучше справлялись с похожим заданием уже без ИИ. У менее опытных средний результат не вырос: стало больше и слабых, и сильных оценок.
Что это значит для вас
Результат показывает, что ИИ может по-разному влиять на специалистов с разным опытом: устойчивый прирост получили только опытные юристы. Для новичков такая помощь сделала результаты более непредсказуемыми, поэтому вывод пока нельзя переносить на все профессии.
Разбор
Юристов случайным образом разделили на группы: одни получили доступ к специально настроенному помощнику для подготовки патентных документов, другие работали без него. Эксперимент заранее зарегистрировали — исследователи заранее описали план и основные проверки, чтобы не подгонять выводы под получившиеся данные. Качество текстов оценивали независимые опытные патентные юристы, которые не знали, кто пользовался ИИ. Так проверяли не только впечатление самих участников, но и реальный результат работы.
Оценки собирали в два момента: через 10 и через 90 дней после начала эксперимента. Юристы с ИИ выполняли лучше стандартные задания по подготовке патентных документов, причём на длинной дистанции преимущество сохранилось. Затем всем дали другой тип работы без ИИ: нужно было отметить проблемные места в уже готовой патентной заявке и предложить исправления. Это задание проверяет не скорость написания текста, а способность заметить юридически важные детали и принять профессиональное решение.
Самый интересный результат появился именно на этом последнем этапе. Общий перевес группы, работавшей с ИИ, почти полностью создали опытные юристы. У младших специалистов средний балл не изменился, но результаты разошлись в разные стороны: стало меньше средних оценок, зато больше как очень слабых, так и хороших. Это может означать, что ИИ не одинаково «наращивает» навык у всех: чтобы превратить подсказки в устойчивое профессиональное умение, человеку, возможно, нужна крепкая основа.
Ключевые цифры
Можно ли доверять
Это препринт NBER Working Papers, а не статья, прошедшая обычную журнальную рецензию. При этом эксперимент заранее зарегистрировали, участников распределяли случайно, а работы оценивали эксперты, не знавшие о принадлежности к группам. Результат пока напрямую относится к патентным юристам и конкретным заданиям, поэтому его нельзя автоматически переносить на другие профессии.
Пересказано ИИ по научной статье. Как это устроено