Отслеживание рук Vision Pro

Отслеживание рук и окклюзия гарнитуры Vision Pro 

Видео, опубликованное разработчиком гарнитуры Vision Pro, похоже, показывает уровни отслеживания рук и производительности окклюзии, на которые способна новая гарнитура Apple. В гарнитуре Apple Vision Pro, выпуск которой ожидается в ближайшие несколько месяцев, будет использоваться отслеживание рук в качестве основного способа ввода. В то время как взаимодействия на системном уровне сочетают отслеживание рук с отслеживанием глаз для модальности «посмотри и коснись», разработчики также могут создавать приложения, которые позволяют пользователям напрямую взаимодействовать с приложениями с помощью своих рук.

Отслеживание рук в Vision Pro можно разделить на две отдельные функции: «отслеживание рук» и «окклюзию рук». Hand-tracking (отслеживание рук)— это предполагаемая 3D-модель руки, ее суставов и положения кончиков пальцев. Эта модель используется для определения того, когда к объектам прикасаются, хватают и с ними взаимодействуют. Окклюзия рук связана с тем, как система накладывает вашу настоящую руку на виртуальный контент. Вместо того, чтобы рисовать в сцене 3D-модель виртуальной руки, Vision Pro вырезает изображение ваших реальных рук, чтобы показать их в сцене. Это добавит виртуальному контенту новый уровень реализма, поскольку вы сможете увидеть свои собственные уникальные руки. Разработчик гарнитуры Vision Pro, использующий Unity, опубликовал видео, в котором дается четкое представление об отслеживании рук и окклюзии. 

Видно, что окклюзия рук очень хорошая, но не идеальная; Когда вы полностью окружены виртуальным контентом и быстро двигаетесь, вы можете увидеть некоторые обрезки по краям руки. Между тем, фактическое положение отслеживания рук еще больше отстает от окклюзии руки, где-то на 100–200. Невозможно точно определить истинную задержку отслеживания рук Vision Pro, потому что есть только представление о руках, отслеживающих окклюзию, для сравнения (которые сами по себе имеют некоторую задержку по отношению к реальным рукам). В этом контексте видео взято из разговора разработчиков Unity, в котором говорится, что их ранние эксперименты с Vision Pro показали очень высокую задержку отслеживания рук, очевидно, по сравнению с последними возможностями отслеживания рук Quest. Другие разработчики Unity согласились, что имеют аналогичную задержку на своих устройствах Vision Pro.

Однако рассматриваемое видео представляет собой интеграцию отслеживания рук внутри приложения Unity, а это означает, что производительность и задержка отслеживания рук могут иметь дополнительные факторы, связанные с Unity, которые отсутствуют при использовании сторонних инструментов разработки Vision Pro от Apple. А учитывая, что гарнитура еще не выпущена, а эти инструменты все еще находятся в разработке, мы можем увидеть дополнительные улучшения к тому времени, когда гарнитура действительно поступит в продажу.