dumaiПодробные объяснения ИИ могут повысить точность, но увеличивают нагрузку
Кратко
В теоретической модели разная подробность объяснений ИИ по-разному влияла на решения человека. Короткие объяснения снижали умственную нагрузку без потери точности, а подробные повышали точность, одновременно снижая готовность полагаться на систему и увеличивая усталость и время обработки. Это вывод модели, а не проверка на реальных пользователях.
Что это значит для вас
Для сложных задач больше объяснений не обязательно означает лучший общий результат: в модели человек мог точнее решать задачу, но сильнее уставать и дольше обрабатывать информацию. Оптимальный уровень объяснений для реальных условий в этой работе напрямую не измеряли.
Разбор
Авторы не ставили эксперимент с людьми, а построили математическую модель совместной работы человека и алгоритма. В ней человек может ошибаться и ограничен в способности обрабатывать информацию, но умеет гибко оценивать подсказку машины. Алгоритм тоже не считается безошибочным: его качество заранее неизвестно человеку, поэтому объяснение меняет прежде всего доверие к его прогнозам.
Модель показывает, что важен не сам факт объяснения, а его объём. При большем количестве деталей человек лучше понимает, когда стоит исправить решение алгоритма, а когда — не соглашаться с ним. Поэтому подробные объяснения могут одновременно уменьшать чрезмерное доверие к плохой рекомендации и усиливать недоверие к хорошей — отсюда противоречивый эффект на итоговое решение.
Сильнее всего роль объяснений проявлялась в модели, когда у человека меньше возможностей сосредоточиться, задача достаточно сложная или цена ошибки ниже. Но именно в напряжённой ситуации — при сложной задаче, нехватке времени и сомнениях в качестве алгоритма — подробное объяснение требовало от человека больше умственных ресурсов. Это помогает понять, почему универсальное правило «чем подробнее, тем лучше» для интерфейсов ИИ не работает.
Можно ли доверять
Статья прошла рецензирование и опубликована в Management Science, но её выводы получены только из теоретической модели, а не из наблюдений за реальными пользователями. Надёжность конкретных эффектов зависит от того, насколько допущения модели похожи на реальные задачи, людей и алгоритмы.
Пересказано ИИ по научной статье. Как это устроено