Звичайний смартфон може виконувати значно складніші навігаційні завдання, ніж просто показувати маршрут на карті. Інженери Гарвардського університету розробили застосунок Mobilio, який аналізує навколишній простір у реальному часі, знаходить безпечний шлях і за допомогою звуку підказує користувачеві, куди рухатися.
Система створена насамперед для незрячих і людей зі значними порушеннями зору. Перед початком роботи над проєктом дослідники опитали 112 таких людей і визначили три найважливіші функції майбутнього електронного помічника: покрокова навігація, постійне утримання людини на безпечному маршруті та виявлення перешкод. Звичайні GPS-навігатори повноцінно виконують лише перше завдання.
Смартфон аналізує дорогу майже як автономний автомобіль
Mobilio використовує вже наявні у сучасних телефонах компоненти: камеру, GPS, інерційні датчики руху та орієнтації, а в сумісних моделях — ще й LiDAR.
Камера постійно передає зображення алгоритму комп’ютерного зору. Спеціально навчена модель розпізнає тротуари, дороги, пішохідні переходи та інші поверхні, якими може пересуватися людина.
Для цього інженерам довелося створити власну систему розпізнавання. Більшість існуючих наборів даних для комп’ютерного зору записувалися з автомобілів, тому вони недостатньо добре відображають світ із точки зору пішохода.
Під час експериментів використовувався iPhone 12 Pro, закріплений на грудях користувача. Людина також користувалася звичайною білою тростиною та відкритими навушниками.
Mobilio не намагається замінити тростину. Натомість смартфон визначає положення людини, аналізує напрямок руху та перешкоди, після чого будує безпечну траєкторію.
Замість постійних голосових команд — просторовий звук
Ще одна особливість Mobilio полягає у способі передачі підказок.
Замість фраз на кшталт «поверніть ліворуч» система використовує звукові сигнали, які сприймаються як такі, що надходять із потрібного напрямку. Якщо треба зміститися праворуч, звук з’являється справа.
При цьому алгоритм поступово адаптується до конкретної людини. Система оцінює, наскільки точно користувач реагує на сигнали, та автоматично змінює їхню частоту й характер.
У тестах Mobilio обійшла Google Maps
Перші випробування провели за участю 14 людей — дев’яти незрячих і п’яти зі слабким зором.
На вуличному маршруті учасники з Mobilio та білою тростиною проходили шлях у середньому на 13% швидше, ніж при використанні Google Maps разом із тростиною.
На маршруті з перешкодами кількість контактів людини або її тростини з навколишніми об’єктами зменшилася приблизно на 41%. За надійністю доведення користувача до потрібної точки система показала результати, порівнянні з допомогою людини-поводиря.
Втім, поки йдеться лише про ранні випробування. Вибірка з 14 учасників занадто мала, щоб робити остаточні висновки про ефективність технології в реальному місті.
Наступним етапом стануть ширші тести в районі Бостона — з різними маршрутами та умовами. Гарвард також уже працює над можливістю перетворити Mobilio на комерційний продукт, який у майбутньому можна буде просто встановити з магазину застосунків.
Якщо система успішно пройде подальші перевірки, одна з найцікавіших технологій допомоги незрячим може не вимагати окремих окулярів, спеціальних камер чи дорогого обладнання. Необхідний набір сенсорів у мільйонів людей уже знаходиться в кишені.
