Порядок кандидатов влияет на оценку ИИ примерно так же, как демографические различия

Авторы заранее зафиксировали главный способ проверки, чтобы не выбирать удачный анализ уже после получения результатов. Они отправляли пяти моделям заявки, которые отличались только именем кандидата, и проверяли три ситуации: найм, выдачу кредита и медицинскую сортировку. В ранжировании разрешали поставить людей на одно место, а затем отдельно проверяли, что происходит, если кандидата просто поставить первым в списке. Такой подход важен: прежние работы иногда заставляли модель выстраивать всех кандидатов в жёсткий порядок, и часть обнаруженного эффекта могла появляться именно из-за этого требования.

После поправки на множество одновременных сравнений ни один запланированный демографический контраст не дал надёжного результата. Но это не означает, что авторы доказали полное отсутствие предвзятости: для некоторых проверок данных хватило лишь на то, чтобы исключить эффект определённого размера. В найме они смогли исключить штраф при ранжировании, сопоставимый с ранее опубликованным, а для кредитов и сортировки такой вывод оказался недоступен. В исходных материалах про благотворительную помощь тот же анализ воспроизвёл направление прежних эффектов, но неопределённость оставалась слишком большой, чтобы считать их установленными.

Самый заметный эффект возник не из-за демографической характеристики, а из-за позиции в списке: модели чаще выбирали кандидата, которого показывали первым. Авторы также проверили искусственно добавленные различия — модель реагировала на них примерно в соответствии с их размером, что служит контролем чувствительности метода. Наконец, один подозрительный результат исчез после исправления состава заявок: исходное различие −0,32 стало −0,01, когда раса и содержание заявки перестали быть связаны между собой. Это показывает, что состав тестовых материалов способен создать видимость эффекта.