dumaiПрепринт — материал ещё не прошёл рецензирование
Частая помощь ИИ совпала с меньшим ростом навыка
Кратко
В контролируемом эксперименте участники решали логические задачи до, во время и после доступа к ИИ. Те, кто чаще обращался за помощью, после её отключения меньше улучшались в решении задач, хотя заметной разницы в точности между условиями не нашли. Самостоятельные рассуждения во время решения сильнее предсказывали последующий рост навыка.
Зачем это знать
Это предварительный результат из препринта: быстрая помощь может не равняться развитию умения. Пока нельзя сказать, будет ли такая связь проявляться с другими навыками или за пределами условий ограниченного времени.
Разбор
Участникам дали логические задачи с ограничением по времени и разделили эксперимент на три этапа: сначала без ИИ, затем с возможностью попросить подсказку и наконец снова без неё. Цена запроса была разной: в одной группе помощь обходилась дешевле, в другой — дороже. Это позволило проверить не только связь между помощью и результатом, но и то, меняется ли поведение человека, когда обратиться к ИИ проще.
Дешёвая помощь действительно меняла стратегию: участники просили её примерно вдвое чаще. При этом у тех, кто решал задачи полностью самостоятельно, средний темп вырос с 2,03 до 3,86 правильно решённых элементов в минуту. В группе с дешёвой помощью прирост оказался меньше: 1,32 против 1,95 в группе без ИИ. После отключения помощника люди из этой группы ещё и тратили больше времени на ответы — около 112 секунд против 87–92 секунд в двух других условиях.
Чтобы не принять успех с подсказкой за настоящий рост навыка, авторы использовали вероятностную модель. Она отдельно оценивает исходную способность, способность после эксперимента и индивидуальные изменения между ними — то есть пытается отделить «человек решил задачу с поддержкой» от «человек научился решать её сам». Такой подход важен, потому что результат во время работы ИИ может завышать прогноз того, как человек справится после отключения помощи. Связь с самостоятельным рассуждением при этом осталась: чем больше участник пытался разобраться сам на этапе с ИИ, тем заметнее был последующий рост скрытой оценки способности.
Ключевые цифры
Можно ли доверять
Это препринт arXiv, поэтому работу ещё не проверили рецензенты журнала. Эксперимент был контролируемым, но в нём участвовали 75 человек в ключевом сравнении и решались только логические задачи в условиях ограниченного времени; переносить результат на другие навыки и обычное использование ИИ пока рано.
Пересказано ИИ по научной статье. Как это устроено