Некоторые модели ИИ завышали калорийность малых порций и занижали больших
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили семь моделей на 168 продуктах и девяти вариантах веса. У четырёх моделей оценки для четверти исходной порции были завышены на 47–130%, а для порции вчетверо больше — занижены на 20–34%. Когда калорийность на единицу веса умножали на вес с помощью программы, ошибки на крайних значениях уменьшались.
Зачем это знать?
Оценка калорий с помощью ИИ может выглядеть точной для обычной порции и ошибаться для маленькой или большой. Авторы проверяли ответы моделей, а не готовые приложения для ведения питания.
Разбор
Авторы сравнили ответы моделей для одних и тех же продуктов при разном весе. Они случайно выбрали 168 продуктов из базы данных и для каждого указали девять вариантов веса. Все семь моделей увеличивали оценку калорий медленнее, чем рос вес порции.
Подсказка о калорийности на единицу веса помогла трём из четырёх моделей, которые сильнее всего ошибались при изменении порции. А когда вопрос задавали в простой форме, ошибка при изменении веса усиливалась у пяти из семи моделей.
Ключевые цифры
Можно ли доверять
Авторы проверили семь моделей на 168 случайно выбранных продуктах, сравнивая оценки для девяти вариантов веса каждого продукта. Это проверка ответов моделей, а не готовых приложений для учёта питания, поэтому по ней нельзя судить о точности конкретного приложения.
- Это препринт, а не прошедшая рецензирование статья.
- Проверены семь open-weight моделей и 168 продуктов из базы USDA в заданном протоколе; неясно, насколько результат переносится на другие модели и реальные приложения.
- Оценивались ответы моделей, а не точность готовых пользовательских приложений для ведения питания.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено