Текстовые объяснения модели боли у овец не отражали её реальные признаки

Авторы проверили не только то, насколько хорошо модель угадывает боль, но и действительно ли её объяснение связано с решением. Для этого они убирали из модели целые описания признаков из ветеринарной шкалы и смотрели, менялся ли ответ. Затем сравнивали слова, на которые модель якобы опиралась, с уровнем боли в каждой области лица. Так выяснилось: красивые карты внимания и понятные фразы могут выглядеть убедительно, даже когда почти не влияют на прогноз.

После этого исследователи изменили устройство системы. Вместо того чтобы позволить ей напрямую связывать внешний вид морды с итоговой оценкой, они заставили её сначала определить конкретные состояния областей лица — например, связанные с ушами и глазами, — а уже потом использовать только эти оценки для вывода о боли. Для обучения применили разметку отдельных областей, которую обычный подход с одной общей меткой снимка обычно выбрасывает. За проверяемость пришлось заплатить частью точности, зато модель начала лучше находить редкие состояния, указывающие на боль, и сама восстановила порядок тяжести признаков ушей и глаз, хотя отдельно этому не обучалась.

Работа также показывает, почему одной общей точности здесь недостаточно. В данных преобладают обычные, не указывающие на боль состояния, поэтому модель может получить высокий результат, почти всегда выбирая большинство. Сравнение семи методов показало и другое: добавление связей между анатомическими областями лица само по себе не улучшило распознавание боли по сравнению с хорошо обученным анализом отдельных областей. Значит, главная трудность в таких небольших клинических наборах — не просто получить приемлемый прогноз, а доказать, что модель пришла к нему по содержательной причине.