AR пианист, играющий на настоящем инструменте видео разлетелось по всему Интернету

27 янв. 2020 г.
Просмотров: 842
AR пианист, играющий на настоящем инструменте видео разлетелось по всему Интернету

AR пианист, играющий на настоящем инструменте: видео разлетелось по всему Интернету

В своём новом твите врач, предприниматель и 3D-художник Файес Салка использует ARтехнологию, чтобы оживить виртуального пианиста за реальным инструментом.

Видео, которое уже собрало почти 200 тысяч просмотров в Твиттере и продолжает набирать обороты, показывает, как Салка идет по магазину музыкальных инструментов и направляет камеру своего телефона на разные фортепиано. Мгновенно там появляется AR пианист и начинает играть песни известных и признанных пианистов, а соответствующие ноты прокручиваются внизу в режиме реального времени.

Приложение использует машинное обучение, чтобы обнаружить пианино, а затем вычисляет точное 3D-положение и ориентацию фортепиано в трёхмерном пространстве с точностью до 1 см. Это достигается путём просмотра одного кадра и без использования 3D-камер.

Салка объяснил важность этого подхода, сказав: «Очень важно, чтобы мы могли наложить и выровнять цифрового пианиста точно в нужном месте за вашим инструментом», а затем добавил: «Что здорово в нашей модели Core ML, так это то, что она работает с любой моделью или маркой пианино при любых условиях освещения. При этом нет необходимости использовать специальные мишени, маркеры или предварительно сканировать модель пианино».

Хотя приложение ещё не доступно в магазине iOS, Файес Салка и его партнёр из Massive Technologies Inc Анас Уоттар видят потенциал своего AR опыта как отличного инструмента для предоставления нового способа прослушивания фортепианной музыки на вашем смартфоне или AR гарнитуре, а также как полезный ресурс для музыкального образования.

«Вы можете замедлить песню до 100 раз, не теряя информацию о движении рук», - сказал Салка. «Это невозможно с обычным записанным видео. Очевидно, что всё это осуществимо только в AR гарнитуре».

Полная версия приложения будет использовать микрофон вашего смартфона, чтобы слушать вас во время тренировок, и с помощью машинного обучения мгновенно получать отзывы о вашей игре; оно даже использует AR пианиста, чтобы дать вам советы касательно движений рук во время выступления.

Для Салка и Уоттара всё началось как просто увлекательный проект, в итоге превратившийся в настоящий бизнес и полноценную работу. Стоит отметить, что Massive Technologies добились определённого успеха и с более старым AR-приложением под названием Piano 3D, которое было загружено более 7 миллионов раз и даже было несколько раз представлено Apple на главной странице App Store и на демонстрационных устройствах Apple в розничных магазинах.

На данный момент оба разработчика очень рады, что их последний AR опыт вызывает много шума у других энтузиастов и создателей AR и с нетерпением ждут следующих этапов.

«У нас на подходе и другие интересные вещи, которыми мы очень хотели бы поделиться в будущем. На данный момент планируется выпустить приложение в течение следующих двух недель».

Вы можете посетить веб-сайт Massive Technologies для получения обновлений о запуске приложения и ознакомиться с их первым приложением Piano 3D.

x
Подпишись на наш телеграм канал