Замена оценщика на ИИ обычно не снижала согласия в оценках ответов студентов
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили 631 ответ на немецком языке по экономике и медицинскому образованию. При замене одного из проверяющих на ИИ согласие между оценщиками сохранилось или улучшилось по 91 из 103 критериев; дополнительная проверка подтвердила возможность замены по 90 критериям.
Зачем это знать?
Проверку студенческих ответов по некоторым критериям со временем можно будет частично автоматизировать. Оценки ИИ по-прежнему нужно сверять с человеческими: согласие не доказывает, что ИИ точнее или справедливее людей.
Разбор
Авторы сравнили оценки людей с оценками после замены одного проверяющего на ИИ. Для каждого из 631 ответа уже были оценки от двух до пяти человек.
Исследователи также пробовали разные инструкции для ИИ. Всего они проверили 523 варианта инструкций, составленных по критериям оценки, и при замене человека использовали наиболее успешное сочетание системы и инструкции.
Ключевые цифры
Можно ли доверять
Исследователи сравнили оценки ИИ с уже существовавшими оценками людей для 631 ответа на немецком языке по экономике и медицинскому образованию. Это показывает согласие с людьми, но не доказывает правильность оценок ИИ или то, что результат повторится для других языков и предметов.
- Это препринт, а не прошедшая рецензирование статья.
- Данные ограничены 631 немецкоязычным ответом из двух образовательных областей и конкретными критериями оценивания.
- Автоматические оценки сравнивали с человеческими оценщиками, но это не доказывает, что они точнее или справедливее людей.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено