dumaiПрепринт — материал ещё не прошёл рецензирование
Кодовые агенты ускорили работу, но ухудшили понимание кода
Кратко
В исследовании участвовали 54 студента, которые делали сайт с помощью двух типов ИИ: один сам правит код, другой только подсказывает текстом. С агентом задача завершалась быстрее, но после этого участники хуже понимали свой код и слабее справлялись с его доработкой без помощи ИИ.
Зачем это знать
Это показывает возможный компромисс: такие помощники ускоряют работу, но могут мешать пониманию кода и дальнейшей доработке без ИИ.
Разбор
Авторы хотели понять не просто, ускоряют ли такие помощники работу, а не теряют ли люди при этом понимание собственного кода. Для этого они собрали 54 студентов и дали им сделать сайт двумя разными способами: с кодовым агентом, который сам вносит правки в код, и с чат-ботом, где человек либо пишет код сам, либо дорабатывает готовые общие фрагменты кода. То есть сравнивали не «ИИ против без ИИ», а два очень разных стиля работы с ИИ.
Потом участников проверили двумя способами. Сначала задавали вопросы на понимание кода, чтобы увидеть, насколько человек вообще разобрался в том, что получилось. Затем просили продолжить и расширить свой проект уже без помощи агентa — это хороший тест на то, сможет ли человек потом работать с кодом самостоятельно. И вот здесь проявилась главная разница: с агентом старт шёл быстрее, но понимание кода после этого оказывалось слабее, а расширять свой проект без ИИ людям было труднее.
Интересно, что хуже понимали код не все одинаково. Особенно это связывалось с «лёгкими» сценариями работы, когда человек почти не вникал в процесс: например, просто вставлял готовые куски кода или без раздумий принимал правки, которые предлагал агент. То есть проблема не только в самом ИИ, а в том, что он может слишком сильно упростить участие человека в работе.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, то есть работу ещё не оценивали независимые рецензенты. Проверка шла на 54 студентах, а не на профессиональных разработчиках, поэтому выводы хорошо подходят для понимания учебного и раннего сценария, но в индустрии картина может быть другой.
Пересказано ИИ по научной статье. Как это устроено