dumaiВымышленные расследования оказались не по силам большинству ИИ
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы создали модель города с примерно 125 000 жителей и записями об их повседневной жизни. Из 16 проверенных ИИ большинство делали выводы, которые не подтверждались записями. Лишь несколько моделей решили большую часть задач, но иногда поддавались обману.
Зачем это знать?
Вымышленный город позволяет сравнивать выводы ИИ с известными событиями. Это помогает проверить, насколько ему можно доверять при работе с записями для расследований и массового наблюдения.
Разбор
Авторы проверили, как ИИ сопоставляет записи из разных источников. Они создали историю повседневной жизни вымышленных жителей и на её основе получили данные о связи, платежах, административных действиях и автомобильных номерах. ИИ могли искать сведения в записях, но не видели саму историю событий.
Задачи проверяли разные стороны расследования. ИИ связывали записи об одних и тех же людях, восстанавливали их привычный распорядок, расследовали происшествия и оценивали обманные рассказы. Некоторые наиболее продвинутые модели отказывались от вывода, когда сведений было недостаточно, однако ни одна не заменила следователя.
Ключевые цифры
Можно ли доверять
Авторы проверили 16 моделей ИИ на записях о жизни примерно 125 000 вымышленных жителей, сравнивая выводы с известными событиями. Это позволяет увидеть ошибки в созданном городе, но не показывает напрямую, как модели справятся с реальными расследованиями.
- Это препринт, а не прошедшая рецензирование статья.
- Результаты получены в симуляции города, а не на реальных расследованиях.
- В аннотации не указаны подробности сравнения моделей и точные показатели качества.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено