dumai
ИИarXiv cs.CL

Замена оценщика на ИИ обычно не снижала согласия в оценках ответов студентов

Препринт, ещё не рецензирован · ранние данные

Кратко

Авторы проверили 631 ответ на немецком языке по экономике и медицинскому образованию. При замене одного из проверяющих на ИИ согласие между оценщиками сохранилось или улучшилось по 91 из 103 критериев; дополнительная проверка подтвердила возможность замены по 90 критериям.

Зачем это знать?

Проверку студенческих ответов по некоторым критериям со временем можно будет частично автоматизировать. Оценки ИИ по-прежнему нужно сверять с человеческими: согласие не доказывает, что ИИ точнее или справедливее людей.

Разбор

Авторы сравнили оценки людей с оценками после замены одного проверяющего на ИИ. Для каждого из 631 ответа уже были оценки от двух до пяти человек.

Исследователи также пробовали разные инструкции для ИИ. Всего они проверили 523 варианта инструкций, составленных по критериям оценки, и при замене человека использовали наиболее успешное сочетание системы и инструкции.

Ключевые цифры

631 ответНа таком количестве студенческих ответов сравнивали оценки ИИ и людей.
91 из 103 критериевПо стольким критериям согласие оценщиков сохранилось или улучшилось после замены одного человека на ИИ.
90 критериевПо стольким критериям дополнительная проверка подтвердила возможность замены.

Можно ли доверять

Исследователи сравнили оценки ИИ с уже существовавшими оценками людей для 631 ответа на немецком языке по экономике и медицинскому образованию. Это показывает согласие с людьми, но не доказывает правильность оценок ИИ или то, что результат повторится для других языков и предметов.

  • Это препринт, а не прошедшая рецензирование статья.
  • Данные ограничены 631 немецкоязычным ответом из двух образовательных областей и конкретными критериями оценивания.
  • Автоматические оценки сравнивали с человеческими оценщиками, но это не доказывает, что они точнее или справедливее людей.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали
ЖурналarXiv (cs.CL)
Дата публикации у нас18 ноября 2026 г.
Дата источника16 ноября 2026 г.
ОригиналОткрыть
АвторыDaniel Baumartz, Alexander Mehler, Patrick Schrottenbacher, Leon Hammerla, Sebastian Gombert