Эксперименты по развитию экономики: треть найденных эффектов может быть ложной
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проанализировали 745 проверок из 190 статей об опытах, где участников случайно распределяли по группам. По их расчётам, вероятность обнаружить действительно существующий эффект составляла в среднем 40%. Более строгий порог доказательности в расчётах снижал долю ложных выводов, но и общее число находок.
Зачем это знать?
Заметный результат опыта по экономике развития не всегда означает, что эффект существует. Оценка зависит от допущений расчётной модели и не обязательно применима к другим областям.
Разбор
Авторы сравнили результаты проверок с тем, что ожидали бы увидеть при достаточно больших группах участников. Для этого они изучили 745 проверок из 190 статей и построили расчёт, который учитывает, что не все результаты исследований публикуют.
Расчёты показали, как можно уменьшить долю ложных находок. Удвоение числа участников в исходных опытах снизило бы её в среднем на пять процентных пунктов. В примерах расчёта успешные повторные проверки снижали общую долю ложных находок до 1,8–7,8% в зависимости от требований к доказательствам.
Ключевые цифры
Можно ли доверять
Авторы изучили 745 проверок из 190 статей и с помощью расчётной модели оценили долю ложных находок и пользу повторных проверок. Это не непосредственная проверка каждого опубликованного результата: оценки зависят от допущений модели, в том числе о том, какие результаты попадают в публикации.
- Это препринт, а не прошедшая рецензирование журнальная публикация.
- Выводы основаны на опубликованных RCT по экономике развития и могут не переноситься на другие области.
- Оценки ложных открытий получены из эмпирической байесовской модели и зависят от её предпосылок.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено