Модель ИИ предсказывала поведение людей до 28% точнее других
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы обучали и проверяли модель Chiron на данных из 36 областей поведения и 78 социальных экспериментов. При компьютерном воспроизведении экспериментов ошибка в оценке силы их эффекта была на 82,2–94,3% ниже, чем у других моделей.
Зачем это знать?
Модель ИИ может помочь изучать поведение людей и воспроизводить социальные эксперименты на компьютере. Насколько её выводы верны для новых людей и ситуаций, ещё не ясно.
Разбор
Модель обучали и проверяли на записях о людях и их поведении. В данных было 288 307 записей о людях, 1 411 750 отдельных решений и 99 953 оценки психологических особенностей.
Модель лучше совпадала с ответами самих людей об их психологических особенностях и давала меньше искажений, чем другие модели. При воспроизведении социальных экспериментов она точнее определяла не только силу эффекта, но и его направление.
Ключевые цифры
Можно ли доверять
Модель обучали и проверяли на данных о поведении людей, включая 288 307 записей и данные 78 социальных экспериментов. Не сказано, были ли люди и ситуации при проверке новыми для модели, поэтому по этим результатам трудно судить, как она справится с незнакомыми случаями.
- Это препринт, результаты ещё не прошли полноценную независимую проверку.
- Выводы основаны на сравнении модели с имеющимися наборами данных и симуляциях социальных экспериментов, а не на доказательстве точности в любых реальных ситуациях.
- Аннотация не уточняет, насколько хорошо модель переносится на людей и контексты, не представленные в обучающих данных.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено