​Google предоставил R&D сообществу возможность для отслеживания рук в реальном времени через мобильные устройства

Google предоставил R&D сообществу возможность для отслеживания рук в реальном времени через мобильные устройства.

Для исследователей и разработчиков недавно состоялся релиз собственной технологии отслеживания рук на основе мобильных устройств с использованием машинного обучения от компании Google, который инженеры Валентин Базаревский и Фан Чжан из Google Research называют «новым подходом к распознаванию рук».

Технология была впервые представлена на CVPR 2019 в июне, и теперь доступна для разработчиков. Это стало возможным благодаря ресурсу Media Pipe, где Google разместили все необходимые данные для разработчиков, работающих с перцептивными данными, такими как видео и аудио.

Сообщается, что такой подход обеспечит высокоточное отслеживание рук и пальцев с помощью машинного обучения, что позволит выводить более 20-ти трехмерных «ключевых точек» на руке только из одного кадра.

«В то время как современные подходы основаны главным образом на мощных десктопных средах, наш метод работает в реальном времени через мобильный телефон и также имеет возможность обрабатывать движения нескольких рук», - сообщают Базаревский и Чжан в своем блоге.

Компания надеется, что при помощи этой технологии разработчики найдут «творческие примеры ее использования, а также появятся новые направления для исследований и создания приложений».

Базаревский и Чжан пишут, что в основе их метода отслеживания рук лежат три основные системы: модель детектора ладони (BlazePalm), модель «ориентира руки», которая опознает трехмерные ключевые точки на руке с высокой точностью, и распознаватель жестов, который классифицирует конфигурации ключевых точекв дискретный набор жестов.

Вот несколько важных моментов из блога инженеров:

• Авторы утверждают, что технология Blaze Palmр азличает ладони с точностью в 95,7%.
• Технология воспринимает позу руки как одно целое и может работать даже с частично видимыми рукам на изображении или дефектами.
• Существующий конвейер данных поддерживает жесты из разных культур, например, Американские, европейские и китайские, а также различные жесты, включая «Большой палец вверх», «Сжатый кулак», «ОК», «Рок» и «Человек-паук».
• Google предоставил свой конвейер данных для распознавания жестов в среде Media Pipe в свободном доступе, где можно найти сценарии сквозного использования и исходный код.

Базаревский и Чжан также пишут, что в будущем Google Research планирует продолжить работу с технологией отслеживания рук для ее оттачивания и улучшения, а также компания надеется увеличить количество жестов, которые смогут восприниматься программой. Кроме того, планируется добавить поддержку динамических жестов, которые могут стать находкой при использовании машинного обучения, основанного на переводе языка жестов, и плавного управления при помощи жестов рук.

Более надежное и стабильное отслеживание рук устройствами необходимо для усовершенствования AR гарнитур. До тех пор, пока гарнитуры используют внешние камеры для восприятия окружающей среды, мир по-прежнему остается проблемой для машинного обучения.