Шесть ИИ-моделей плохо диагностируют сбои и выбирают, когда просить помощи

Авторы сделали симулятор, где причину каждого отказа заранее задавали сами — например, имитировали проблему с захватом или приложенной силой. Это позволило точно проверить, что действительно можно понять по восьми кадрам с камеры, а что требует других показаний, и отдельно убедиться, что ответ не подсказывает модели правильный вариант через утечку данных. В качестве ориентира использовали простые классификаторы, которые получают те же эпизоды, что и модели.

Главный результат оказался не только в низкой точности. Камеры в принципе не содержали достаточно информации о части отказов: по данным о силе такие случаи определялись почти идеально, а по изображению — нет. Когда исследователи передавали моделям сводку показаний силы в виде десяти строк текста, у четырёх из шести моделей появились результаты выше уровня случайного базового варианта. Значит, в некоторых случаях проблема была не в полной неспособности рассуждать, а в том, что нужный сигнал просто отсутствовал во входных данных.

Затем авторы превратили восстановление после сбоя в выбор из трёх действий: продолжить работу по собственной версии причины, запросить данные другого датчика или позвать человека. Этот выбор проверяли при разной цене обращения за помощью. Модели не меняли частоту просьб о помощи так, как требовала бы такая цена, и переносили ответ вместе с позицией варианта в списке: один и тот же отказ от ответа мог почти исчезнуть, если переставить его с последнего места на первое. Авторы также проверили несколько способов измерить уверенность — от оценки по шкале до повторяемости ответа, — но ни один не показал, будет ли диагноз правильным.