dumaiПрепринт — материал ещё не прошёл рецензирование
Оценки учителей и студентов не совпали для ИИ-подсказок в курсе английского
Кратко
В университетском онлайн-курсе английского для почти 2 000 студентов проверили более 20 000 черновиков с подсказками от ИИ. Опытные учителя оценивали эти подсказки по рубрике, а затем сравнили это с тем, как студенты на них реагировали и пользовались ими. Совпадение оказалось низким.
Зачем это знать
Для таких систем одной экспертной оценки недостаточно: важно еще смотреть, как на подсказки реагируют и как их используют ученики.
Разбор
Исследователи не просто посмотрели, «хорошая» ли подсказка по мнению учителя. Они встроили такие подсказки прямо в онлайн-курс по английскому и собрали живые данные: что видит студент, как он реагирует, возвращается ли к подсказке, исправляет ли текст и как дальше ведёт себя в системе. Это важный ход, потому что в учебных инструментах подсказка может выглядеть правильной на бумаге, но оказаться неудобной, слишком общей или просто бесполезной для того, кто пишет текст.
Сами подсказки создавали тремя способами: через шаблоны, через простую работу модели на основе различий между черновиком и исправленным вариантом и через более сложный вариант, где модель разбирала ошибки по отдельности. Перед этим все версии проходили общий этап исправления грамматики, а потом система объясняла, что именно не так и что делать дальше. То есть авторы сравнивали не одну «магическую» модель, а несколько способов сделать одинаковую по виду обратную связь.
Главный результат — оценки опытных преподавателей и отклик студентов плохо совпали. Иными словами, то, что казалось сильным по экспертной рубрике, не обязательно нравилось или помогало студентам, а часть подсказок, которые студенты воспринимали хорошо, не выглядела особенно сильной для учителей. Поэтому вывод статьи не в том, что эксперты ошиблись, а в том, что для учебного ИИ одной профессиональной оценки мало: надо отдельно смотреть на пользу для ученика в реальном курсе.
Ещё важный контекст: раньше в таких задачах часто полагались на внутреннюю проверку качества — насколько ответ точен, уместен и грамотно сформулирован. Здесь авторы показывают, что для образовательных подсказок этого недостаточно, потому что учебная ценность зависит не только от текста подсказки, но и от того, как с ней работает живой студент.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, то есть работу ещё не проверяли рецензенты перед публикацией. Но проверка шла в реальном университетском курсе и на большом числе студенческих черновиков, поэтому выводы выглядят практичными, хотя их всё же стоит подтверждать в других курсах и с другими группами студентов.
Пересказано ИИ по научной статье. Как это устроено