dumaiВ 150 попытках ИИ ни разу не прошёл новый финансовый тест
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы создали стенд FINCOSMOS, где компьютер изображает заказчика и раскрывает свою финансовую стратегию только в ответ на вопросы. Программа проверяет 15 условий, в том числе происхождение данных и то, не использовал ли ИИ будущие сведения при проверке стратегии на прошлых событиях.
Зачем это знать?
Тест финансовых ИИ помогает искать ошибки, которые могут остаться незаметными за убедительным отчётом. Даже когда искусственный заказчик принимал работу, программа находила нарушения.
Разбор
Авторы сравнили четыре ИИ-помощника для работы с кодом и одну модель без инструментов в 150 сеансах. Помощникам нужно было самостоятельно найти данные в интернете, проверить стратегию на прошлых событиях и представить результаты, которые можно проверить.
Помощники не выяснили все недостающие подробности стратегии: они затронули от 54 до 64% деталей, о которых им не сообщили заранее. Когда один из помощников получил обратную связь о своих ошибках и возможность сохранять её в памяти, он научился решать все десять задач.
Ключевые цифры
Можно ли доверять
Авторы проверили работу ИИ в 150 сеансах с искусственным заказчиком и программной проверкой результатов. Это испытание показывает, как помощники справились с созданными для проверки задачами, но не говорит напрямую, как часто такие ошибки возникнут у реальных клиентов.
- Это препринт, не прошедший независимую рецензию.
- Результаты получены на 150 сессиях с четырьмя агентами и симулированными пользователями, поэтому их нельзя напрямую обобщать на все финансовые ИИ-системы.
- Стенд оценивает конкретный рабочий процесс и набор из 15 проверок; он не доказывает, что агенты всегда ошибаются в реальных финансовых задачах.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено