AR платформа представляет инструменты искусственного интеллекта

8th Wall анонсировала новые модули GenAI, которые позволяют разработчикам интегрировать Inworld и OpenAI в свои возможности WebAR. Новые модули упрощают интеграцию GenAI в проекты WebAR, позволяя разработчикам создавать более динамичный, интерактивный и увлекательный опыт. По данным 8th Wall, пользователи теперь смогут активно формировать впечатления, а не просто пассивно потреблять контент.

30 августа 2023 г. – 8th Wall, дочерняя компания Niantic и поставщик веб-платформы разработки дополненной реальности (WebAR), объявила о внедрении модулей генеративного искусственного интеллекта (GenAI) и примеров проектов на свою платформу для Inworld и OpenAI.

Внедрение GenAI в сочетании с иммерсивной реальностью WebAR от 8th Wall теперь предложит разработчикам, брендам и агентствам новый способ использовать, казалось бы, безграничные творческие ресурсы и даст аудитории больший контроль над иммерсивным опытом.

Компания 8th Wall отметила, что ее платформа уже позволяет разработчикам интегрироваться с инструментами GenAI для ускорения разработки и создания возможностей WebAR. В эту технологию входит DALLE и Stable Diffusion для добавления текста в изображение, Blockade Labs для добавления 360-градусных изображений неба, Inworld AI для включения интерактивных персонажей, похожих на людей, Hugging Face и ControlNet для добавления текстуры к лицу или Move.ai и Wonder Dynamics, чтобы добавить реалистичность движения.

Благодаря этому последнему объявлению разработчикам разных квалификаций станет еще проще создавать возможности WebAR с помощью GenAI благодаря новым интегрированным модулям GenAI и примерам проектов для Inworld и OpenAI. По данным компании 8th Wall, эти новые модули помогают устранить накладные расходы на разработку, которые обычно мешают добавлению технологии GenAI в WebAR, предоставляя разработчикам простой способ внедрить эту технологию в WebAR. Разработчикам нужно только добавить модуль в свой проект, чтобы задействовать возможности GenAI в рамках опыта.

Фильтры на основе искусственного интеллекта в социальных приложениях, таких как TikTok, в последние месяцы постоянно становились вирусными, и одна из основных причин, вероятно, связана с порой непредсказуемым характером того, что в конечном итоге генерирует искусственный интеллект. Объединив WebAR с GenAI, разработчики больше не создают одноразовый контент. Вместо этого две технологии объединяются для создания динамичного, развивающегося опыта, который реагирует на взаимодействие с конечным пользователем, что помогает поддерживать большую вовлеченность пользователей и желание повторно посещать фильтры и опыт для получения новых результатов.

Кроме того, с помощью платформы 8th Wall разработчики могут создавать один раз и развертывать повсюду, чтобы обеспечить единообразную работу на смартфонах, компьютерах, планшетах, а также устройствах виртуальной и смешанной реальности.

Механизм персонажей Inworld

Inworld — это мощная технология GenAI, которая позволяет разработчикам наполнять свои возможности WebAR интерактивными и реалистичными персонажами, управляемыми искусственным интеллектом. Эти персонажи, аватары и представители бренда могут учиться, адаптироваться и взаимодействовать с пользователями более личным образом.

Компания 8th Wall заявила, что в сотрудничестве с Inworld создала модуль интеграции искусственного интеллекта Inworld, а также образец проекта. Модуль позволяет разработчикам комбинировать аватары Inworld с инструментами 8th Wall, чтобы предлагать новые интерактивные возможности. Например, разработчики могут объединить Inworld с Image Targets или World Effects, чтобы создать среду, в которой зрители видят аватары знакомых персонажей на упаковке продукта и начинают с ними естественный разговор. По словам компании 8th Wall, с помощью «Character Brain» от Inworld аватары могут имитировать весь спектр человеческих выражений, а это означает, что разговоры каждый раз различаются и являются контекстуальными.

Теперь разработчики могут включать таких персонажей в свои проекты 8th wall без сложностей с подготовкой серверов или аутентификацией токенов. После добавления в проект модуль берет на себя всю внутреннюю работу, а это означает, что разработчикам достаточно ввести ключ API, чтобы начать работу. Используя пример проекта, разработчики могут создать свой первый опыт Inworld и 8th Wall, в котором используются Image Targets, чтобы инициировать встречу бренда с вымышленным талисманом бренда Rainbow Ray.

Компания 8th Wall заявила в своем блоге, что по мере того, как будущее смешанной реальности обретает форму, персонажи с искусственным интеллектом, подобные тем, которые созданы Inworld, станут важнейшим компонентом создания виртуальных миров, предоставляя пользователям бесконечные возможности для взаимодействия в цифровых пространствах.

Новый модуль интеграции 8th wall для OpenAI

В рамках этого последнего выпуска 8th Wall также представила новые инструменты разработчика, которые используют возможности OpenAI DALLE и ChatGPT для создания изображений и текстового чата на базе искусственного интеллекта.

Сама по себе DALL E от OpenAI представляет собой мощную модель GenAI, которая создает высокодетализированные и креативные изображения на основе текстовых подсказок пользователя. Когда DALLE объединяется с WebAR, разработчики могут использовать эти подсказки преобразования текста в изображения для создания возможностей, позволяющих пользователям контролировать творческий подход. По данным 8th Wall, пользователи могут затем вводить уникальные подсказки, которые генерируют изображения для увеличения неба, соответствия лицам, переосмысления объектов реального мира или даже в виде новых текстур в WebAR.

Аналогичным образом, ChatGPT позволяет разработчикам создавать персонализированные и интерактивные возможности WebAR, понимая и реагируя на вводимые пользователем данные в режиме реального времени. 8th Wall заявила, что теперь разработчики могут использовать этот тип взаимодействия для разработки текстовых диалогов с персонажем WebAR, совместной работы с ChatGPT для размещения объектов на сцене или даже создания приложений, сочетающих DALLE и ChatGPT для внесения изменений в реальном времени.

Кроме того, разработчики могут настроить окно подсказки ChatGPT, чтобы предоставить пользователям еще один способ управления элементами взаимодействия.

Модуль интеграции для OpenAI помогает сэкономить время разработчиков и настраивает код проекта для вызова DALLE и ChatGPT. Как только разработчики добавят модуль в проект «8th wall», им просто нужно добавить ключ API OpenAI, и затем можно будет приступить к созданию.

Компания 8th Wall создала образец проекта, который разработчики могут использовать для тестирования внедрения искусственного интеллекта в WebAR и узнать, как использовать DALLE для создания 3D-текстуры с помощью текста и применения ее к виртуальному объекту в реальном времени. Кроме того, разработчики могут настроить окно подсказки ChatGPT, чтобы предоставить пользователям еще один способ управления элементами управления.

Ян Кертис, разработчик XR в 8th Wall, сказал, что его больше всего волнует в интеграции генеративного искусственного интеллекта в дополненную реальность, так это то, что он дает каждому пользователю возможность стать архитектором своего цифрового мира. Они больше не пассивно потребляют контент, а активно создают его, формируя свой опыт силой своего воображения.

Теперь разработчики могут использовать потенциал GenAI для преобразования опыта WebAR с помощью недавно анонсированных инструментов 8th Wall и объединить GenAI со многими функциями платформы, включая, помимо прочего, Image Targets, Face Effects, World Effects, Sky Effects, Lightship VPS, и общие инструменты AR.