dumai
ИИarXiv cs.AI

Преподаватели попытались защитить задания от ИИ, но он решил большинство

Препринт, ещё не рецензирован · ранние данные

Кратко

37 преподавателей из 11 вузов предложили 75 вопросов по 17 дисциплинам; 61 вопрос специально составили так, чтобы ИИ было трудно ответить. Лучшая из трёх моделей правильно ответила примерно на 83% вопросов без дополнительных учебных материалов. Заметно затруднили модели только задачи, требующие продуманной стратегии решения.

Зачем это знать?

Успех ИИ на специально защищённых заданиях ставит под сомнение, насколько домашние задания и онлайн-экзамены отражают самостоятельные знания студентов.

Разбор

Исследователи проверили ответы ИИ в двух условиях: с дополнительными учебными материалами и без них. Из 75 заданий 14 взяли из онлайн-курсов, а остальные преподаватели специально составили так, чтобы затруднить ИИ.

Дополнительные материалы немного улучшили результат лучшей модели: с ними она правильно ответила примерно на 85% вопросов, без них — примерно на 83%. Результаты также различались в зависимости от модели, формата ответа и способа, которым преподаватели пытались усложнить задание.

Ключевые цифры

85% и примерно 83%Лучшая модель правильно ответила на большее число вопросов с дополнительными учебными материалами, чем без них.

Можно ли доверять

Исследователи сравнили ответы трёх моделей на 75 заданиях из вузов США и Великобритании, давая им вопросы с учебными материалами и без них. Это проверка ограниченного набора заданий: по ней нельзя точно судить о результатах ИИ на всех вузовских работах.

  • Это препринт, а не прошедшая рецензирование статья.
  • Вывод основан на 75 вопросах, составленных 37 преподавателями из 11 вузов, и проверке только трёх языковых моделей.
  • Результаты зависят от конкретных заданий, моделей и форматов ответов; они не показывают напрямую, как часто студенты используют ИИ или как это влияет на их обучение.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали
ЖурналarXiv (cs.AI)
Дата публикации у нас17 ноября 2026 г.
Дата источника16 ноября 2026 г.
ОригиналОткрыть
АвторыBonam Mingole, Davis Yadav, Hui Min Lee, S. Shyam Sundar, Amulya Yadav