dumaiGPT-4‑помощник не поднял доходы малых бизнесов в Кении
Кратко
В полевом эксперименте предпринимателям в Кении случайным образом дали доступ к помощнику на базе GPT-4 и сравнили их результаты с теми, кто не получал такой поддержки. В среднем выручка и прибыль не выросли, но исходный уровень бизнеса сильно менял исход: у слабых предпринимателей результаты были примерно на 10% хуже, а у сильных — могли быть выше более чем на 15%.
Что это значит для вас
Этот результат напоминает, что один и тот же инструмент может помогать одним людям и вредить другим в зависимости от того, как они его используют. Для бизнеса и создателей таких помощников это сигнал смотреть не только на средний эффект, но и на то, кому именно продукт действительно подходит.
Разбор
Исследователи не просто посмотрели, «помогает ли ИИ вообще», а дали кенийским предпринимателям доступ к бизнес-помощнику на базе GPT-4 и случайным образом сравнили их с похожими людьми без такого доступа. Такой дизайн нужен, чтобы отделить эффект самого помощника от обычных колебаний в выручке и прибыли: если группы заранее распределены случайно, различия после эксперимента с большей вероятностью связаны именно с инструментом.
Самое интересное оказалось не в среднем эффекте, а в разбросе результатов. В среднем бизнесы не показали заметного роста выручки и прибыли, но у предпринимателей, которые до эксперимента работали слабее, эффект был заметно хуже, чем у сильных. Авторы отдельно посмотрели на подгруппы и увидели, что низкоэффективные участники в среднем оказались почти на 10% в проигрыше, тогда как сильные предприниматели могли прибавить более 15%.
Важно и то, откуда взялся этот разрыв. Похоже, дело было не в том, что GPT-4 задавал одним людям плохие ответы, а другим хорошие. Разница возникала на следующем шаге — предприниматели по-разному решали, какие советы вообще внедрять в дело. То есть сам ИИ давал рекомендации, но итог зависел от того, как человек их отбирал и применял на практике.
Ключевые цифры
Можно ли доверять
Это рецензируемая статья в Management Science, так что работу уже проверили другие учёные. Эксперимент полевой и на реальных предпринимателях, а это сильнее, чем тест в лаборатории. При этом в абстракте не указан размер выборки, поэтому точную ширину эффекта и насколько легко перенести результат на другие страны лучше оценивать осторожно.
Пересказано ИИ по научной статье. Как это устроено