Оценка реакции людей сильнее зависит от задания, чем от модели

Авторы собрали систему Augur как цифровую «репетицию» запуска. Сначала она превращает документы об изменении в структурированную карту связей: что именно меняется, кого это затрагивает и какие последствия могут быть связаны между собой. Затем система создаёт набор условных персонажей, привязанных к фактам из документов, даёт им проиграть ситуацию и оформляет результат в проверяемую записку с одним из пяти решений — например, выпускать изменение или остановить его.

Проблема оказалась не только в способностях моделей, а в том, как им ставят задачу. В отдельном сравнении авторы меняли формулировку оценки, но оставляли ту же модель, данные и способ подсчёта. Когда в задании явно объяснили, какие именно решения нужно различать, результаты всех сильных моделей выросли на 24–34 процентных пункта. При этом совпадение с моделью-«учителем» увеличивалось без роста точности: система могла лучше копировать эталон, но не лучше угадывать реальный исход.

Авторы также проверили, какая часть всей конструкции действительно полезна. Синтетические персонажи чаще помогали в самых трудных случаях, а в простых, где ответ и так почти очевиден, добавляли мало. Полный конвейер не исправил, а усилил склонность ожидать слишком мрачные последствия — важное предупреждение для тех, кто захочет использовать такие прогнозы при принятии решений. Все числа и графики можно заново получить из опубликованного авторами кода.