dumaiСильный ИИ чаще отдаёт ход человеку с более коротким маршрутом
Препринт, ещё не рецензирован · ранние данные
Кратко
Четыре ИИ играли с людьми в общем лабиринте, где преимущество по длине маршрута менялось между участниками. Более сильные системы передавали ход человеку примерно в 80% первых решений, когда его маршрут был короче, и почти всегда действовали сами, когда преимущества не было; более слабая Command R такой зависимости не показала.
Зачем это знать?
Совместная работа ИИ может строиться не на постоянной помощи человеку, а на передаче хода тому, у кого короче маршрут. Пока это видно только в специально созданном лабиринте, поэтому переносить вывод на реальные рабочие задачи рано.
Разбор
Авторы сделали специальный лабиринт с общим финишем: одним персонажем управляла языковая модель, другим — человек. На каждом командном ходу модель могла либо двигать своего персонажа, либо передавать управление человеку. При этом меняли только стартовые позиции: иногда самый короткий путь был у человека, иногда — у модели, а иногда ни у кого не было явного преимущества. Так исследователи отделили осмысленное распределение ролей от простого нежелания привлекать человека.
Сначала четыре модели проверили без партнёра: один персонаж должен был пройти лабиринт, причём модель видела всю карту. Это дало меру её собственной способности решать задачу. Затем те же системы играли вместе с людьми в трёх вариантах стартовых условий. Сильные модели связывали решение о передаче хода не просто с наличием человека рядом, а с тем, кто быстрее доберётся до цели.
Такой подход важен потому, что редкие обращения к человеку обычно легко принять за плохое сотрудничество. Здесь результат показывает другой вариант: если модель сама хорошо справляется и у человека нет более короткого пути, она не тратит командные ходы на передачу управления. А когда более выгодный маршрут есть у человека, сильные системы заметно чаще уступают ему ход. Command R не показала такой связи между преимуществом маршрута и своим поведением, что согласуется с её более слабым результатом в одиночном прохождении.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому его ещё не проверили рецензенты. Эксперимент устроен аккуратно и включает людей и четыре модели, но вывод основан на специально созданном лабиринте; размер группы участников в абстракте не указан, а поведение в реальных задачах может оказаться другим.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую экспертную проверку.
- Вывод основан на специально созданном лабиринте и не показывает, как модели будут сотрудничать в реальных рабочих задачах.
- В исследовании сравнивались четыре модели, а связь между способностью решать задачу в одиночку и сотрудничеством не доказывает причинность.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено