dumaiНа заданиях GRE ИИ-репетитор дал сопоставимый результат с экспертом
Препринт, ещё не рецензирован · ранние данные
Кратко
Ранние данные по 2383 участникам показывают: при подготовке к заданиям на математику и словесное мышление ИИ дал сопоставимый с опытным преподавателем прирост. В пяти из семи областей лучший ИИ-репетитор в среднем превзошёл человека, а один вариант достиг такого же результата при заявленной стоимости в 918 раз ниже.
Зачем это знать?
Результат относится только к подготовке по заданиям GRE и пока опубликован в виде препринта. Он не показывает, что ИИ одинаково эффективен для других предметов или любых учеников, а сравнение стоимости зависит от конкретных условий занятий и расчёта затрат.
Разбор
Авторы создали StudentBench — открытую платформу, где можно массово проверять не только ответы ИИ, но и то, учатся ли люди после общения с ним. Участники решали задания GRE по математике и словесному мышлению: одни занимались с ИИ, другие — с преподавателем, а третьи служили группой для сравнения без занятий. Всего платформа собрала больше 175 тысяч сообщений студентов и ИИ, поэтому исследователи смотрели не на один удачный диалог, а на большой массив учебных взаимодействий.
Отдельно эксперты оценили материалы, которые создавали языковые модели: планы уроков и тренировочные задания. Они провели 2 028 попарных сравнений — то есть в каждой паре выбирали, какой из двух вариантов лучше по заданным критериям. Такой подход позволил разделить разные стороны репетитора: умение строить урок, придумывать упражнения, вести разговор и удерживать интерес. Это важно, потому что хороший ответ сам по себе ещё не доказывает, что ученик действительно чему-то научился.
Есть и более конкретная деталь: на математической части GRE быстрые ответы ИИ были связаны с более активной перепиской. Чем больше сообщений отправлял ученик, тем больше правильных тренировочных решений он давал; а больше правильных решений, в свою очередь, было связано с большим приростом результата. Это связь между признаками, а не доказательство, что скорость ответа сама по себе вызывает улучшение. Платформа StudentBench доступна бесплатно, так что другие исследователи могут использовать её для новых проверок.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому другие учёные ещё не проверили работу в рамках рецензирования. Размер исследования заметный — 2 383 участника, но проверяли только подготовку к GRE, поэтому результат нельзя автоматически переносить на другие предметы, возрастные группы или реальные долгосрочные занятия.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую проверку рецензированием.
- Вывод относится к обучению по заданиям GRE и не показывает, что ИИ одинаково эффективен для любых предметов, возрастов или образовательных целей.
- Сравнение стоимости и эффективности зависит от конкретных моделей, сценариев занятий и способа расчёта затрат.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено