AR приложение для слабовидящих разработали в Калифорнии

Учёные из Калифорнийского технологического института используют технологию дополненной реальности, чтобы придать голоса предметам. Это позволит слабовидящим людям «слышать» то, что находится вокруг них.

По данным ВОЗ в мире на данный момент проживает более 1,3 миллиарда человек, у которых наблюдаются различные формы глазных заболеваний. У 217 миллионов из них проблемы со зрением очень серьезные и 36 миллионов человек попадают по категорию юридической слепоты.

Такая статистика породила идею об использовании AR для помощи слепым людям в навигации по знакомым и незнакомым местам. Для реализации идеи использованы специальные алгоритмы компьютерного зрения, посредством которых можно обнаруживать и отслеживать объекты.

Команда создателей включала в себя 3 человек: Маркуса Майстера, Янга Лю и доктора наук USC Ноэля Стайлса (PhD ’16). В качестве устройства использовались очки дополненной реальности, MicrosoftHoloLens. С их помощью была создана цифровая сетка поверх «сцены» реального мира.

Используя уникальное программное обеспечение под названием Cognitive Augmented Reality Assistant (CARA), они смогли конвертировать информацию в аудиосообщения, придавая каждому объекту уникальный «голос», который вы услышите, надевая гарнитуру.

Через CARA HoloLens будет обнаруживать объекты в вашем окружении, а затем использовать пространственный звук, чтобы сообщить вам, что это за объект. Если объект находится слева, голос будет исходить с левой стороны гарнитуры AR, а информация о любом объекте справа будет поступать к вам с правой стороны гарнитуры.

От того, насколько близко к вам расположен тот или иной предмет, будет менять высота голоса в AR гарнитуре. Чем ближе объект, тем, соответственно, голос выше.

Чтобы оградить пользователя от получения слишком большого потока данных (например, чтобы несколько объектов не начали описываться в одно и то же время), создателями разработано несколько режимов воспроизведения информации.

Один из режимов – так называемый «Режим проектора», когда пользователю передается только по тем объектам, на которые он направляет своё лицо, игнорируя информацию об оставшихся объектах.

Второй режим – «Режим сканирования». Объекты в помещении сканируются с помощью программного обеспечения AR приложения, а затем каждый элемент представляет себя пользователю по порядку (слева направо).

Третий режим – «Целевой режим», в котором пользователь выбирает любой объект из помещения и пользуется им при навигации в окружающей обстановке. Для того чтобы перемещать оценивается положение выбранного объекта относительно других объектов.

Во время испытаний ARприложения в экспериментальной группе было 7 субъектов. Им нужно было попасть в конкретный офис на втором этаже (пройти путь от главного входа до этого кабинета), используя AR очки HoloLens.

При надевании гарнитуры дополненной реальности испытуемые получили голосовое приветственное голосовое сообщение и так называемые инструкции «Follow me», которым им необходимо было следовать.

При минимально затраченном на обучение времени каждый из испытуемых добрался до вестибюля, преодолел 1 лестничный проем (преодолел ½ часть пути к нужному офису) без каких-либо проблем и с первой попытки.

Такие результаты связаны с механизмом работы AR приложения. Виртуальная инструкция составлена таким образом, чтобы испытуемые смогли «увидеть» всё, что их окружает, не несколько шагов вперед.

Томми Марцелл, который страдает близорукостью, а не юридической слепотой говорит: «Эта разработка откроет новые возможности людям, которым повезло меньше, чем мне. Это даст им дополнительную независимость и безопасность. Они смогут без проблем попасть в дверной подъем или сойти на обочину, если это будет необходимо».

Марцелл упоминает тот факт, что дополненная реальность не позволит ему без очков ездить за рулем, смотреть фильмы или узнавать друга через улицу, но он верит, что AR может заменить белую трость, которую до сих пор используют многие слепые люди для сканирования окружающего пространства.

Раннее тестирование работы калифорнийского технологического института показывает многообещающие результаты, но впереди еще много работы. На следующем этапе тестирования следует изучить, насколько хорошо HoloLens и CARA работают в общественных местах, через которые проходит огромнейших поток людей: торговые центры, транспорт, магазины и парки развлечений.