dumaiПрепринт — материал ещё не прошёл рецензирование
Одни модели лучше предсказывают высокий сахар, другие — низкий
Кратко
Авторы сравнили обычные компьютерные модели и ИИ, которому задавали задачу текстовой инструкцией, на данных людей с диабетом 1-го типа. Обычные модели точнее предсказывали высокий сахар, а лучшие варианты ИИ — низкий за 30, 60 и 90 минут; результат сильно зависел от того, как были записаны данные. Дополнительные сведения об инсулине, еде и активности не давали стабильного улучшения.
Зачем это знать
Работа показывает, что для таких прогнозов важен не только выбор модели, но и способ описания данных. Результат пока получен на одном наборе данных, а не в наблюдении за пациентами в реальном времени, поэтому его применимость к другим людям ещё не подтверждена.
Разбор
Авторы специально разделили вопрос на две части: что умеет сама модель и что происходит из-за формы входных данных. Они сравнили три подхода — обычные модели, обученные отдельно на данных каждого пациента, неизменённые большие языковые модели с текстовой инструкцией и Gluco-LLM, которую специально приспособили к рядам показаний глюкозы. Важная деталь: в основном эксперименте языковые модели не дообучали. Поэтому различия между результатами связывают прежде всего с тем, как им описывали историю измерений.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая независимую проверку рецензентами. Выводы основаны на одном наборе данных OhioT1DM и сравнении моделей, а не на проспективном наблюдении за пациентами, поэтому пока неясно, как методы поведут себя у других людей и в реальном времени.
Пересказано ИИ по научной статье. Как это устроено