ИИ почти не тревожил зря, но пропустил 5 из 9 падений

Авторы проверили не специальный алгоритм, обученный именно на падениях, а готовую мультимодальную модель Gemini как последний этап уже работающего прототипа. Система получала короткий фрагмент теплового видео одним запросом — иногда вместе со звуком — и должна была решить, произошло ли падение. Для сравнения на тех же данных запустили предыдущую версию модели. Это важно: проверяли не идеальную лабораторную задачу, а сценарий, близкий к реальному развёртыванию, без дообучения на конкретной комнате.

Главная неожиданность оказалась не в камере, а в тексте инструкции для модели. Фраза о том, что человек, вышедший из поля зрения, не считается упавшим, была написана под другую установку камеры и заметно увеличила число пропусков. После её удаления новая модель распознавала 83% падений на отложенных испытуемых вместо 69%, а старая — 92% вместо 80%; дома она нашла все 9 видимых постановочных падений, но стала принимать намеренное укладывание на пол за падение. Иными словами, промпт здесь задавал не стиль ответа, а само правило принятия решения.

Другие проверки показали, где подход может сломаться. При уменьшении изображения до 8×6 пикселей способность замечать падения резко снижалась, а повторный одинаковый запрос иногда давал другой ответ. При этом, если модель всё-таки объявляла падение, она почти всегда указывала момент, близкий к фактическому приземлению. Для сравнения авторы обучили два обычных детектора на лабораторных данных: в лаборатории они работали лучше, но в домашней записи выдавали много ложных тревог. Это подчёркивает разницу между хорошим результатом на знакомых данных и пригодностью системы для настоящего дома.