Android-помощник для людей с нарушением зрения работает без облака и ищет личные предметы

Авторы собрали не просто набор отдельных моделей, а целый конвейер для смартфона: камера делает снимок, дальше на устройстве одновременно или по очереди работают модели для оценки расстояния, поиска предметов, распознавания лиц и купюр, а потом результат сразу подается голосом, звуком и вибрацией. Смысл в том, чтобы убрать зависимость от облака там, где оно мешает: для повседневных задач у человека с нарушением зрения интернет не всегда стабилен, а задержка может стоить удобства или безопасности.

Самая интересная часть — поиск личных вещей по нескольким фотографиям. Человек заранее снимает, например, ключи или очки с разных сторон, а потом приложение пытается найти именно этот предмет в комнате и подсказывает, куда двигаться. Это уже не просто «найди чашку» или «скажи, что перед камерой», а работа с конкретной вещью пользователя, которая ему важна здесь и сейчас.

Ещё один практичный момент — всё это уместили в обычный Android-смартфон без отдельного железа для машинного обучения. Чтобы ускорить работу, авторы применили сжатие модели: после него оценка глубины заметно ускорилась, а точность распознавания купюр и калибровка расстояния в лабораторных тестах оказались очень сильными. При этом облачная языковая модель оставлена только для необязательных функций, вроде более «человеческого» описания сцены, так что основные возможности работают даже офлайн.

По контексту это важно ещё и потому, что большинство похожих помощников либо завязаны на интернет, либо умеют только ограниченный набор заранее заданных категорий, либо требуют специальное устройство. Здесь авторы попытались закрыть сразу несколько бытовых задач в одном приложении и показать, что это реально тянуть на массовом телефоне.