江苏龙网

  1. 首页 > 资讯 > 科技 > >

全息英伟达流媒体AR服务SDK开发公测,微美全息AR+AI引入实时直播

NVIDIA AR SDK为直播、视频会议和游戏开辟了创造性的新选择 。 这个SDK允许开发者使用标准的网络摄像头对人脸进行实时3D追踪,并创建各种有趣的的增强现实效果,如为人脸叠加3D数字内容或为背景添加沉浸式效果 。
全息英伟达流媒体AR服务SDK开发公测,微美全息AR+AI引入实时直播
图片

NVIDIA AR SDK正以公测版本向社区开放,并支持多项用例:
追踪摄像头视图的人脸,并识别图像中的一个或多个主体 。
将数字asset叠加于个人,如服饰和效果 。
通过脸部和头部运动控制动画角色或游戏角色 。
NVIDIA AR SDK利用了NVIDIA RTX显卡的Tensor内核,可通过AI网络实现快速和高质量的追踪性能 。 所述网络可以提供精确的人脸追踪;人脸形状、嘴唇、眼睛、眉毛和鼻子的三自由度五官追踪;以及六自由度的先进人脸网格(人脸和头部姿态的3D重建) 。
例如,用于OBS直播软件的热门插件StreamFX发布了一个全新的版本,其利用NVIDIA AR SDK创建了一个可以自动裁剪和放大用户、并且在用户移动时保持帧居中的智能camera 。
StreamFX的开发者Michael Fabian 'Xaymar' Dirks表示:“StreamFX中的全新Face Tracking滤镜需要复杂的数学和机器学习,而这原本需要以一系列的机器运行和花费数个月,甚至几年的时间 。 但利用NVIDIA的AR SDK,现在可以在短时间内完成操作,并且可以支持因NVENC H.264编码器而日渐流行的所有NVIDIA RTX硬件 。 这大大缩短了必要的开发时间,从原本数年的时间缩短到仅需两周,而且没有额外的成本 。 ”
NVIDIA发布的NVIDIA CloudXR 1.0软件开发套件将通过5G、Wi-Fi和其他高性能网络,为增强现实、混合现实和虚拟现实内容(统称扩展现实XR)带来重大提升 。
随着5G网络在全球的推广,NVIDIA CloudXR正在为包括建筑和零售等许多行业带来创新 。 通过从GPU驱动的边缘服务器传输XR体验,公司能够将图形密集型应用程序和内容的访问扩展到移动端,让远程用户也能享受沉浸式、响应式扩展现实体验 。
据艾媒咨询统计,在疫情爆发前的2016至2019年,我国在线直播用户规模就已呈现连年上升趋势,2020年我国在线直播用户规模预测将达到5.24亿人 。 起于秀场、游戏的直播形式,如今已成为商家营销的重要方式之一 。 各行各业都在闻风而动:化妆品、服装、生活用品、零食…………
信息化互联网时代,行业市场发生了巨大的变革,产品由传统制造演变为智能化、互联化、共享化、个性化,体验化的趋势 。 伴随淘宝、抖音、快手等视频直播电商平台日渐成熟,实时互动、真实感强、互动率高的直播带货场景正赢得越来越多消费者的青睐,“万物皆可播”正在变为现实,这将极大程度改变很多行业的传统营销模式 。
随着5G全息通讯网络带宽条件变化,5G全息应用市场将迎来爆发,全息互动娱乐、全息会议、全息发布会等高端应用逐步向全息社交、全息通讯、全息导航、全息家庭应用等方向普及 。 微美全息(WIMI.US)计划基于全息AI人脸识别技术和全息AI人脸换脸技术为核心技术,用多个技术创新的系统支持全息云平台服务和5G通讯全息应用 。
随着5G商用时代的即将来到,令游戏以及直播行业有了新的机遇 。 5G带来的底层变化更加喜人,比提升码率和画质更令人感到兴奋 。 如果在直播中使用了超低时延,将会提升直播的互动过程,令直播内容更有价值 。
当下,移动互联网正以前所未有的态势改变着我们的娱乐方式,而此次微美全息(WIMI.US)的AR+直播系统,通过在直播中加入AR技术作为新的交互介质,很好的解决了场景化、互动化的问题 。
立体展示、全息成像等酷炫技术越来越受到行业的青睐,传统的展示手法已给观众造成了麻痹的审美疲劳,更多企业希望通过更加先进的高科技手段展示自己的产品,引起客户的注意,提升自身市场占有率 。
微美全息(WIMI.US)的AR+直播直播优势很显而易见,可真实模拟任意场景,体现产品在不同真实环境中的使用请况;可以展现更为复杂的产品,让受众更为直观了解产品的内部结构和产品细节;突破人员限制,同时又可以锁定人群进行直播精准投放,宣传力度效应更广;线上互动性更强,嘉宾与粉丝可在直播期间进行互动,并对他们的问题进行实时筛选作答;进行实时效果合成,直播结束即可获得整套完成视频,无需再进行后期剪辑,第一时间用于宣发 。


推荐阅读


上一篇：电源搭“户外经济+清洁能源”快车，电小二户外电源跑出新时速

下一篇：农产品脱贫攻坚助力行，点购集团携手影视演员胡彩虹助农助销