ИИ улучшал диагностику кожи, но объяснения работали по-разному

Исследователи не просто проверили, «помогает ли ИИ», а разобрали, как именно люди с ним работают. Для этого они взяли модель, которая ставила кожные диагнозы, и отдельно добавили к ней объяснения — то есть текстовые подсказки, которые должны были показать, почему система решила именно так. Потом сравнили два сценария: обычную работу без такой поддержки и работу с ИИ, у которого ещё и постарались выровнять качество между разными оттенками кожи.

Самая важная часть здесь в том, что модель обучали с ограничением на справедливость. Иными словами, её специально настраивали так, чтобы она не работала заметно лучше на одной группе кожи и хуже на другой. Это важно, потому что в дерматологии такие перекосы особенно опасны: если система ошибается чаще на тёмной коже, она может только усилить старую медицинскую несправедливость. В экспериментах как раз посмотрели, удаётся ли такой подход снизить разницу в результатах между людьми с разным тоном кожи.

Ещё один слой анализа касался того, как на решение влияет само объяснение от ИИ. У непрофессионалов текстовые подсказки нередко включали автоматическое доверие: если ИИ был прав, итог становился лучше, а если ошибался — люди чаще ошибались вместе с ним. У врачей первичного звена картина оказалась другой: они в целом оставались устойчивее и получали пользу от объяснений даже тогда, когда сам ответ модели был неверным. То есть одно и то же объяснение работало не одинаково для всех — и именно в этом главный практический вывод.

Авторы также отметили, что значение имеет порядок подачи информации. Если сначала показывать диагноз ИИ, а уже потом просить человека решить самому, возрастает эффект якоря — когда первое увиденное число или ответ слишком сильно тянет следом за собой весь вывод. Поэтому дело не только в том, «насколько умна» модель, но и в том, когда и как она сообщает свой ответ человеку.