Технология volumetric в действии: кейсы Event Lab СберМаркетинга и Sber AR/VR Lab

Sber AR/VR Lab — исследовательская лаборатория, где разрабатываются технологические направления: AR-навигация, цифровые аватары, Virtual Production Studio, Volumetric Studio и другие уникальные XR-разработки. Volumetric Studio, созданная Sber AR/VR Lab, — единственная в России студия с такими технологиями и возможностями. В этой статье мы поделимся volumetric-кейсами, которые в ней создаем.

Как работает volumetric?

Volumetric (volumetric video, объемное видео, 3D-видео) — технология, которая позволяет создавать трехмерные объемные записи людей, объектов и событий и наблюдать их с разных ракурсов и в разных масштабах.

При помощи синхронной записи с 56 видеокамер машинного зрения в 4K и 60 FPS мы записываем движения человека и создаем динамическую 3D-модель. После чего эту модель можно вставить в любой 3D-редактор, применить различные эффекты и настроить любое движение камеры и окружение.

Использовать такую модель можно в любых 3D-сценах, в VR- и AR-приложениях. У технологии volumetric большой потенциал: ее можно применять в маркетинге, в обучении, в музыкальных клипах и шоу, в создании массовки в кино, для съемки спортивных событий.

В среднем для съемки минуты готового финального видео требуется 3–5 дней. Никакой особенной подготовки, чтобы сниматься в студии, не требуется. У нас собственные уникальные в России volumetric-технологии — мы работаем не по франшизе, не зависим ни от каких лицензий, можем снимать и экспериментировать как угодно. Среди уже известных на рынке volumetric-кейсов нашей студии…

СберТанцы

Интерактивный проект СберТанцы — формат объемного видео можно было просмотреть через браузер смартфона в дополненной реальности. Любой пользователь мог активировать режим дополненной реальности на странице проекта и станцевать вместе с цифровыми аватарами Веры Брежневой, Клавы Коки, Вани Дмитриенко, Анет Сай и Филиппа Киркорова. #СберТанцы стали самым популярным эффектом в российском TikTok, общее число просмотров роликов превысило 4 миллиарда.

Новое радио Awards 

Еще один наш проект — вручение ежегодной премии «Новое радио AWARDS». Мы разработали интерактивную модель сцены, где проходила трансляция церемонии и volumetric-шоу, а также создали XR-сцены, на которых артисты показывали свои номера. На виртуальных сценах выступали аватары артистов, которых оцифровали в XR-студии Sber AR/VR Lab. Зрители шоу Anna Asti могли видеть исполнительницу со всех сторон — в обзоре 360°. Для этого ее выступление было снято в volumetric-студии.

AR экскурсия Сталинград 

В AR-экскурсию Музея-панорамы Волгограда мы интегрировали volumetric-персонажа — Вальку, сына полка.

Из недавних кейсов, которыми хочется поделиться, — проморолик для сериала «Балет» и наш тестовый, но яркий проект — volumetric-футболист.

Балет

Промо для сериала «Балет», проекта платформы Wink: с помощью 56 камер машинного зрения мы создали трехмерное изображение балерины в движении, которое передало мельчайшие аспекты ее пластики и даже мимику.

Героиней и исполнительницей танца стала Анита Пудикова, балерина Большого театра. Анита также участвовала в создании образов роботизированных балерин-близняшек для видеоигры Atomic Heart.

Суть проекта: платформой для виртуального балетного выступления стала купюра номиналом в 100 рублей с изображением Большого театра. Через сайт smotribalet.ru пользователи могли активировать дополненную реальность — навести камеру на изображение театра на сторублевке и увидеть танцующую балерину со всех сторон.

Футболист — это кейс in use, который демонстрирует возможности нашей студии. Его можно разместить куда угодно: в среды AR/VR, в видеоигру, в рекламный ролик, в кино, использовать с любых ракурсов, делать облеты — все, что позволяет фантазия.

Потенциал volumetric в спорте, в промо и маркетинге спортивных событий огромный. Волюметрические технологии позволяют зрителям просматривать спортивные моменты в трехмерной среде, видеть досконально и со всех сторон любые движения спортсменов: футбольные финты, акробатику, кульбиты, гимнастические упражнения.

Volumetric передает эстетику движения, создает новый визуальный опыт — мы не могли раньше видеть сложные движения артистов и спортсменов ни со сцены, ни со стадиона, ни в трансляции. Ни одна другая технология не позволяет сделать съемку такого уровня для сложной хореографии. С другой стороны, использовать volumetric для неподвижно стоящего человека смысла нет, можно сделать статичную модель. А для съемки активностей он подходит идеально. Кстати, следить за бэкстейджем съемок можно в telegram-канале @techdisrupt.

Если вы хотите поработать с видео футболиста, которое мы сделали в Unreal 5, можете скачать его и поэкспериментировать. А если хотите снять volumetric-видео в СберМаркетинг Event Lab и Sber AR/VR Lab — пишите на tech@sbermarketing.ru. Мы проконсультируем вас, организуем все этапы съемки и воплотим в жизнь самые смелые идеи.