Обычный смартфон может выполнять гораздо более сложные навигационные задачи, чем просто отображать маршрут на карте. Инженеры Гарвардского университета разработали приложение Mobilio, которое анализирует окружающее пространство в режиме реального времени, находит безопасный путь и с помощью звука подсказывает пользователю, куда двигаться.
Система создана в первую очередь для незрячих и людей с серьезными нарушениями зрения. Перед началом работы над проектом исследователи опросили 112 таких людей и определили три важнейшие функции будущего электронного помощника: пошаговая навигация, постоянное удержание человека на безопасном маршруте и обнаружение препятствий. Обычные GPS-навигаторы полноценно выполняют только первую задачу.
Смартфон анализирует дорогу почти как автономный автомобиль
Mobilio использует компоненты, уже имеющиеся в современных телефонах: камеру, GPS, инерционные датчики движения и ориентации, а в совместимых моделях — ещё и LiDAR.
Камера постоянно передает изображение в алгоритм компьютерного зрения. Специально обученная модель распознает тротуары, дороги, пешеходные переходы и другие поверхности, по которым может передвигаться человек.
Для этого инженерам пришлось разработать собственную систему распознавания. Большинство существующих наборов данных для компьютерного зрения были собраны с автомобилей, поэтому они недостаточно точно отражают окружающий мир с точки зрения пешехода.
В ходе экспериментов использовался iPhone 12 Pro, закрепленный на груди пользователя. Человек также пользовался обычной белой тростью и открытыми наушниками.
Mobilio не стремится заменить трость. Вместо этого смартфон определяет положение человека, анализирует направление движения и препятствия, после чего прокладывает безопасную траекторию.
Вместо постоянных голосовых команд — пространственный звук
Еще одна особенность Mobilio заключается в способе отображения подсказок.
Вместо фраз типа «поверните налево» система использует звуковые сигналы, которые воспринимаются как исходящие из нужного направления. Если нужно сместиться вправо, звук раздается справа.
При этом алгоритм постепенно адаптируется к конкретному человеку. Система оценивает, насколько точно пользователь реагирует на сигналы, и автоматически изменяет их частоту и характер.
В тестах Mobilio обошла Google Maps
Первые испытания провели с участием 14 человек — девяти незрячих и пяти слабовидящих.
На уличном маршруте участники, использовавшие Mobilio и белую трость, проходили путь в среднем на 13 % быстрее, чем при использовании Google Maps в сочетании с тростью.
На маршруте с препятствиями количество контактов человека или его трости с окружающими объектами уменьшилось примерно на 41 %. По надежности доставки пользователя в нужную точку система показала результаты, сопоставимые с помощью человека-поводыря.
Впрочем, пока речь идет лишь о ранних испытаниях. Выборка из 14 участников слишком мала, чтобы делать окончательные выводы об эффективности технологии в реальных городских условиях.
Следующим этапом станут более масштабные испытания в районе Бостона — с различными маршрутами и условиями. Гарвард также уже работает над тем, чтобы превратить Mobilio в коммерческий продукт, который в будущем можно будет просто установить из магазина приложений.
Если система успешно пройдет дальнейшие испытания, одна из самых интересных технологий помощи незрячим может не потребовать отдельных очков, специальных камер или дорогостоящего оборудования. Необходимый набор датчиков у миллионов людей уже находится в кармане.
