Модели туберкулёза по кашлю часто теряют точность на новых записях

Авторы сравнили два подхода — обычные алгоритмы машинного обучения и более сложные нейросети — и проверили их не только на записях, похожих на обучающие, но и на независимых наборах. Затем они посмотрели, что именно группирует модель во внутреннем представлении звука: признаки болезни или особенности сбора данных — например, микрофон, место и правила записи кашля.

Картина оказалась показательной. Звуковые записи чаще объединялись по устройству и набору данных, а не по наличию туберкулёза. В одном из наборов вероятность туберкулёза, которую выдавала модель, следовала распространённости болезни в конкретной стране. Значит, система могла использовать косвенную подсказку вроде «из какой страны или при каких условиях пришла запись», хотя такая подсказка не говорит, болен ли человек.

Авторы отдельно проверили влияние устройств: несовпадение микрофона ухудшало перенос модели на новые записи, а обучение на нескольких устройствах помогало распознавать звук с ещё не виденного устройства. Но простого добавления разных микрофонов недостаточно: если устройство одновременно связано с местом, способом набора участников или частотой болезни, модель может выучить новый обходной признак. Поэтому исследователи показывают, что проблема лежит не только в выборе алгоритма, а в том, как собирают и уравновешивают данные. Для сравнения, базовая модель на клинических переменных переносилась стабильнее, чем модели, слушающие кашель.