dumaiПрепринт — материал ещё не прошёл рецензирование
Студенты оставили итоговую оценку преподавателю
Кратко
На занятии 13 студентов оценили обратную связь ChatGPT после того, как узнали, что именно он выставил балл за их письменную работу. Они сочли замечания полезными для поверхностной правки текста, однако решение о балле оставили за преподавателем; вывод основан на их письменных размышлениях, а не на проверке качества оценок или самих текстов.
Зачем это знать
В этой группе студентов полезность подсказок и право выставлять итоговую оценку оказались разными вещами: первое они связывали с ChatGPT, а второе — с преподавателем.
Разбор
Авторы провели занятие в курсе технической коммуникации для студентов-компьютерщиков в государственном университете Саудовской Аравии. Студенты написали работу от руки, её отсканировали и передали ChatGPT. Модель выставляла балл не «на глаз», а по рубрике — заранее заданным критериям, связанным с целью задания. После этого участникам прямо сказали, что и комментарии, и оценку подготовил ChatGPT, и попросили письменно объяснить свою реакцию.
Исследователи не сравнивали оценки ChatGPT с оценками преподавателей и не измеряли, стали ли тексты лучше. Вместо этого они разобрали сами студенческие размышления и нашли в них четыре повторяющиеся линии: пользу комментариев, понимание ограничений ИИ, условное доверие и размышления о роли преподавателя. Особенно важным оказалось то, что студенты не воспринимали доверие как единый вопрос «нравится ли нам ИИ». Они отдельно оценивали практическую пользу подсказок и право решать, какую итоговую оценку заслуживает работа.
Студенты связывали ChatGPT прежде всего с поверхностной правкой — например, с замечаниями, которые помогают улучшить форму текста. Но они также видели у системы ограничения, связанные с контекстом задания и обучением: алгоритм может выдать комментарий, но не заменяет понимание преподавателем учебной ситуации. Такой результат дополняет прежние работы о том, помогают ли ИИ-комментарии улучшать письмо: здесь изучали не эффект на текст, а то, как меняется отношение студентов к оцениванию, когда источник оценки становится им известен.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому его ещё не проверили независимые рецензенты. Кроме того, исследование охватило всего 13 студентов одного курса в одном университете, а выводы основаны на их письменных размышлениях, не на сравнении точности оценок ChatGPT с оценками преподавателей.
Пересказано ИИ по научной статье. Как это устроено