Преподаватели попытались защитить задания от ИИ, но он решил большинство
Препринт, ещё не рецензирован · ранние данные
Кратко
37 преподавателей из 11 вузов предложили 75 вопросов по 17 дисциплинам; 61 вопрос специально составили так, чтобы ИИ было трудно ответить. Лучшая из трёх моделей правильно ответила примерно на 83% вопросов без дополнительных учебных материалов. Заметно затруднили модели только задачи, требующие продуманной стратегии решения.
Зачем это знать?
Успех ИИ на специально защищённых заданиях ставит под сомнение, насколько домашние задания и онлайн-экзамены отражают самостоятельные знания студентов.
Разбор
Исследователи проверили ответы ИИ в двух условиях: с дополнительными учебными материалами и без них. Из 75 заданий 14 взяли из онлайн-курсов, а остальные преподаватели специально составили так, чтобы затруднить ИИ.
Дополнительные материалы немного улучшили результат лучшей модели: с ними она правильно ответила примерно на 85% вопросов, без них — примерно на 83%. Результаты также различались в зависимости от модели, формата ответа и способа, которым преподаватели пытались усложнить задание.
Ключевые цифры
Можно ли доверять
Исследователи сравнили ответы трёх моделей на 75 заданиях из вузов США и Великобритании, давая им вопросы с учебными материалами и без них. Это проверка ограниченного набора заданий: по ней нельзя точно судить о результатах ИИ на всех вузовских работах.
- Это препринт, а не прошедшая рецензирование статья.
- Вывод основан на 75 вопросах, составленных 37 преподавателями из 11 вузов, и проверке только трёх языковых моделей.
- Результаты зависят от конкретных заданий, моделей и форматов ответов; они не показывают напрямую, как часто студенты используют ИИ или как это влияет на их обучение.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено