dumaiЗамена имени в резюме немного меняла оценку ИИ при отборе кандидатов
Препринт, ещё не рецензирован · ранние данные
Кратко
При проверке модели JEV её ответы соответствовали требованиям проверки примерно так же часто, как ответы крупных языковых моделей. Она работала до 33 раз быстрее и до 67 раз дешевле, но в её оценках обнаружили небольшие различия, связанные с признаками кандидатов, особенно с именами.
Зачем это знать?
При найме даже небольшое влияние имени на оценку может менять шансы кандидата пройти первый отбор.
Разбор
Исследователи сравнивали оценки вариантов резюме, в которых меняли сведения о кандидате и косвенные подсказки, например имена. Они смотрели не только на оценки, но и на порядок кандидатов и попадание в список для дальнейшего отбора. Чтобы понять, насколько заметны различия, их сопоставляли с изменениями оценок при замене имён и исправлении опечаток. При повторных проверках оценки системы оказались более стабильными, чем у продвинутых систем ИИ, с которыми её сравнивали. Авторы также выложили наборы вариантов резюме и код проверки, чтобы другие исследователи могли её повторить.
Ключевые цифры
Можно ли доверять
Это проверка на наборах вариантов резюме: исследователи сравнивали оценки при изменении сведений о кандидатах, имён и написания. Сколько резюме проверили, не указано; результаты этой проверки не показывают, как система сработает при реальном найме.
- Это препринт, результаты ещё не прошли независимую рецензию.
- Модель изучали в контексте рекрутингового скрининга; переносимость результатов на другие языки и сценарии не установлена.
- Даже при хорошей эффективности авторы указывают на необходимость аудита справедливости и человеческого контроля.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено