Баллы теста мало меняли решения о приёме в магистратуру

Авторы взяли огромный архив заявок в одну большую магистратуру по госуправлению в США и сравнили, как разные куски анкеты помогают предсказать, как человек потом будет учиться в первый год. Сначала они смотрели только на средний балл диплома, потом добавляли результаты GRE — это стандартизированный экзамен, который многие вузы используют как общий ориентир. Затем они пошли ещё дальше и подключили более подробные сведения из транскриптов и других материалов заявки, чтобы понять, что меняется, если у комиссии есть больше информации.

Главный интерес тут был не просто в том, «умеют ли тесты угадывать оценки», а в том, помогают ли эти тесты принимать лучшие решения о зачислении. И вот здесь вышла важная разница: прогнозы действительно становились точнее, но сами решения комиссии менялись мало. Когда предсказания превращали в реальные решения «кого брать», итоговое качество зачисленных студентов улучшалось совсем немного. Это значит, что даже полезный сигнал не всегда сильно влияет на отбор, если многие кандидаты и так очень близки по уровню.

Исследователи отдельно показали и на данных, и с помощью теоретической модели, почему так происходит. Если несколько сильных кандидатов почти не отличаются друг от друга, то более точный прогноз чаще не переворачивает выбор, а лишь слегка сдвигает его внутри очень плотной группы. Поэтому тестовые баллы могут заметно улучшать оценку будущей учёбы, но при этом почти не менять список тех, кого в итоге зачислят.