Препринт — материал ещё не прошёл рецензирование
ИИ-идеи делают творческие группы менее разнообразными, а редактирование сохраняет это разнообразие
Кратко
В творческом эксперименте с носителями и неносителями английского сравнили работу без ИИ, с идеями от ИИ и с редактированием с его помощью. ИИ-идеи у всех участников снижали разнообразие предложений, а ИИ-редактирование это разнообразие сохраняло. Отдельно проверили, можно ли целую группу людей заменить моделями: даже при разных настройках они не дотянули до реального разнообразия людей.
Зачем это знать
Это показывает, что для коллективной креативности важен не просто факт использования ИИ, а этап, на котором его подключают. В этой работе человеческое разнообразие оказалось ресурсом, который модели пока не воспроизводят на уровне всей группы.
Разбор
Авторы не просто посмотрели, «помогает ли ИИ писать лучше», а разложили творческую работу на два режима: когда модель подкидывает идеи и когда она лишь шлифует уже придуманный текст. Для этого они устроили эксперимент с метафорами — задачей, где важно не одно удачное слово, а общий запас необычных ходов. Участников разделили на тех, кто писал на родном английском, и тех, для кого английский был неродным, чтобы понять, как ИИ влияет на людей с разным языковым опытом.
Самый любопытный результат здесь в том, что язык и этап вмешательства ИИ оказались важнее, чем просто наличие помощи. Люди, для которых английский родной, и особенно те, кто писал на нём без подсказок, давали самый разнообразный набор идей на уровне всей группы. Но как только всем начали подкидывать идеи от ИИ, это разнообразие заметно схлопывалось. А вот когда ИИ подключали только для редактирования уже созданного текста, разнообразие в группе сохранялось — то есть модель не выравнивала людей под один и тот же шаблон.
Потом авторы пошли ещё дальше и попробовали заменить всю группу людей искусственными «персонажами», собранными по реальным биографиям участников. Для этого они использовали несколько семейств моделей, просили их писать на английском как на родном и даже усиливали случайность выдачи, чтобы посмотреть, сможет ли ИИ стать разнообразнее. Не смог: любая такая симуляция отставала от живых людей, а попытка выжать из моделей ещё больше различий приводила уже не к богатству идей, а к испорченному, неживому тексту. В итоге исследование показывает не просто риск усреднения, а более тонкую вещь: человеческое разнообразие в креативной группе — это ресурс, который ИИ пока не умеет ни воспроизвести, ни сохранить автоматически.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, значит, работу ещё не прошло обычное рецензирование в журнале. Зато эксперимент заранее зарегистрировали и проверяли не только на отдельных людях, но и на групповых результатах, что делает выводы заметно надёжнее, хотя их всё равно стоит считать промежуточными.
Пересказано ИИ по научной статье. Как это устроено