dumaiСистема с несколькими ИИ показала больший прирост знаний, чем один помощник
Препринт, ещё не рецензирован · ранние данные
Кратко
Agentic University проверили на 32 участниках: по 16 человек занимались с системой из нескольких специализированных ИИ, которые вместе планировали цели, задания и проверки, а группа сравнения — с GenMentor. Средний прирост результатов тестов составил 12,19 балла против 5,61 по шкале из 50; преимущество в самооценке и понимании собственного обучения значимым не было. Это предварительный результат небольшой работы, причём в описании не уточняется, как участников распределяли по группам.
Зачем это знать?
В этой небольшой работе система с несколькими ИИ была связана с большим приростом результатов тестов, чем GenMentor. Делать практические выводы пока рано: в каждой группе было по 16 участников, а сопоставимость групп до обучения не описана.
Разбор
Agentic University устроен не как один чат-репетитор, а как небольшая «организация» из специализированных ИИ. У каждого агента своя роль: система связывает личные цели учащегося с заданиями в разных форматах и несколькими уровнями проверки. Важная деталь — этот план можно пересматривать: ответы ученика, его отзывы и результаты заданий подсказывают системе, что предложить дальше.
Авторы отдельно оценивали, насколько хорошо система организует учебную программу, придумывает проверки и меняет план после получения новых данных. В этих трёх аспектах Agentic University получил лучшие оценки. Такой подход нужен потому, что набор отдельных полезных ИИ ещё не образует последовательное обучение: без общей логики они могут давать задания и советы, которые не складываются в понятный путь.
Наиболее заметная разница появилась в проверяемых знаниях. В группе Agentic University средний результат вырос с 21,88 до 34,06 балла из 50, а в группе GenMentor — с 24,73 до 30,33. Участники первой группы также рассказывали, что возвращались к непонятым материалам и переделывали задания после обратной связи. При этом самооценки зависели не только от знаний: на них могли влиять усталость и то, по каким критериям человек оценивал собственное понимание.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая рецензирование. Результат основан на небольшой выборке — по 16 человек в каждой группе; кроме того, в описании не указано, как распределяли участников, поэтому на вывод могли повлиять исходные различия между группами. Самая надёжная находка здесь — разница в объективном тесте, тогда как самооценки её не подтвердили убедительно.
- Это препринт, а не прошедшая рецензирование публикация.
- В каждой группе было по 16 участников, поэтому результаты предварительные и могут плохо обобщаться.
- В предоставленном описании не уточняется, как участники распределялись по группам и насколько группы были сопоставимы до обучения.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено