大众新闻|相芯人体AI技术全面升级，视频AR玩法进入全身时代
还在玩只限于人脸的AR玩法吗?一键美体塑形、视频体感游戏、用手机就能玩虚拟形象全身驱动……随着5G即将全面普及以及智能图形技术的不断创新,原本受限于高端硬件的全身AR技术,现在用智能手机就能玩,视频AR玩法也将全面进入了全身时代 。
相芯科技此次对人体AI技术进行全面升级,在视频AR特效的功能基础上进行玩法升级,同时新增开放7大功能的算法接口,分别是2D人体关键点、3D人体骨骼、人像分割、头部分割、头发分割、动作识别、手势识别 。 每项技术革新背后都能带来新的应用层的火花,相芯更新的技术效果到底如何,一起来看下吧 。
文章图片
一、2D人体关键点
通过2D人体关键点算法接口,实现人体全身2D关键点的跟踪效果,点位准确性高,即使做大幅度动作、遮挡以及转身的情况下,也能准确稳定跟踪 。 同时针对用户在短视频、直播拍摄时的自拍场景,2D人体关键点还提供半身模式的点位跟踪,这样用户在单手持手机自拍的情况下,也能准确定位人体数据 。
文章图片
在高精度的人体关键点模型的基础上,对视频中的人物实现全身美体功能,是这项技术比较热门的应用场景 。 相芯的技术,可以从瘦身、长腿、细腰、美肩、美臀、小头、瘦腿等七个美化维度,对人物的身体进行精细化调整,从而达到一件瘦身塑形的作用 。
文章图片
二、3D人体骨骼
相芯科技开放的3D人体骨骼的算法接口,主要应用于基于3D关键点和3D骨骼,实现3D虚拟形象的全身驱动 。 这项技术不依赖于深度摄像头,只需要手机的普通摄像头就能获得视频中的人体3D骨骼数据,即使人物做大幅度的动作、有动作遮挡、转身等情况都能稳定跟踪 。 除了身体躯干动作,在手指细节上,也能识别和跟踪常见的14种手势 。 让3D虚拟形象能够更细腻地复原人物的动作 。 同样针对他人拍摄和自拍两种拍摄场景,相芯提供全身和半身两种模式,支持3D人体骨骼数据的输出 。
文章图片
三、人像分割
通过人像分割的算法接口,可对输入的视频进行内容理解,将人物进行高精分割解析,将人像区域分离出来,并实时追踪 。 例如视频直播过程中,识别用户的人体轮廓,为人物实时替换各种背景特效 。 也可以与各具创意的人体AR贴纸相结合,让贴纸实时跟随人体移动,贴纸素材与人体的前后位置关系可灵活定义,可以充分发挥运营者的互动创意,为用户带来更加丰富的娱乐体验 。
文章图片
四、头部分割
通过头部分割接口,企业和开发者可以对人物头部区域做更多的特效创意 。 例如搞笑大头玩法特效,可以实现视频中的人物头部放大的萌态效果 。 这项技术还能和其他技术进行组合实现更加新颖的玩法效果 。 比如将头部分割和表情系数结合,即可用特点的表情,触发大头效果,并用表情的夸张程度来实时控制头部的放大程度 。 用头部分割+哈哈镜+AR贴纸这样的技术组合,就可以实效恶搞版的效果,充分发挥脑洞创意 。
文章图片
五、头发分割
通过头发分割接口,可以在视频和照片中人物的头发区域高精度地分离出来,可以给头发切换各种各样的颜色,可以是纯色,也可以是渐变色,实现一键换发色的特效 。 同时头发的色值支持自定义,并可以进行上色程度的调整,实现想要的发色,想换就换 。
推荐阅读
- 上游新闻|来南滨路长嘉汇“捡大耙和”，汽车后备箱智慧集市汇集多款智慧家电产品
- 上游新闻|独立组网新空口软件上市 助力5G快速发展，爱立信5G
- 上观新闻|半导体产业如何发展？嘉定举办的这个论坛指明了方向
- 上观新闻|有人表示这让人绝望，马斯克透露未来赚钱秘籍
- 科技资讯眺望|欧洲最畅销电动汽车竟是Ta？，不是特斯拉也不是大众
- 中国产经新闻|引领行业发展行稳致远，直播带货迎监管新规
- 上观新闻|中国区商店半天下架近3万款，这个行业迎来大洗牌，突发！苹果真的动手了
- 上观新闻|有模有样‖玩具、动画片、游戏、教育……他用积木把它们串在了一起！
- 上观新闻|北斗出战，抗洪一线
- 大众网|潍坊全市跨境电商交易额达260亿，质的飞跃！计划到2022年