Защита от сбоев снизила долю ошибок ИИ с 74% до 2% в тестах
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили защиту на 15 открытых исследовательских сервисах. При проверенных типах сбоев доля ошибочных ответов семи открытых моделей снизилась с 74,0% до 1,7%, а трёх передовых моделей — с 70,2% до 0,5%. На новых типах сбоев доля ошибок снизилась с 61,1% до 24,5%.
Зачем это знать?
Защита проверяет данные внешних сервисов по заранее заданным правилам. На новых типах сбоев она в основном предотвращала ошибки отказом отвечать, а не исправлением данных; её работа с другими сервисами пока неясна.
Разбор
Авторы проверили, что происходит, когда ИИ получает данные от внешних исследовательских сервисов. Такой сервис может пропустить часть запроса и вернуть правдоподобный, но неверный результат. Подобные сбои нашли в 11 из 15 сервисов: иногда они завышали подсчитанное число до 691 раза.
Одного предупреждения о сбое оказалось недостаточно: после него ошибочными оставались 70,1% ответов. На задачах без сбоев защита не ухудшила результаты семи открытых моделей.
Ключевые цифры
Можно ли доверять
Авторы проверили защиту на 15 открытых исследовательских сервисах с семью открытыми и тремя передовыми моделями, в том числе на новых для защиты типах сбоев. На этих новых сбоях ошибки сохранялись, а защита чаще отказывалась отвечать, чем исправляла данные; как она сработает с другими сервисами, пока неясно.
- Это препринт, а не прошедшая рецензирование статья.
- Результаты получены на 15 публичных исследовательских API и зависят от заранее заданных инвариантов; переносимость на другие API неясна.
- Система снижает число ошибок главным образом за счёт отказа отвечать, а не восстановления правильного ответа.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено