江苏龙网

  1. 首页 > 人文 > >

『新智元』CMU研究员拿手机录视频，人脸3D建模高度逼真！


『新智元』CMU研究员拿手机录视频，人脸3D建模高度逼真！
本文插图
新智元报道
来源：techxplore
编辑：梦佳
拿手机拍一段视频就能实现人脸3D建模 ， 高度逼真！
还记得阿凡达里的3D人脸数字建模吗？阿凡达的人物3D建模是利用通行已久的 LightStage 技术将目标对象360 度拍出各角度完整影像之后经过标记与微调后让程式自动建模与贴图 。 南加大团队打造了拥有球体外型的“LightStage”硬件设施 ， 剧组演员进入球体拍摄不同光线来源与亮度的照片 ， 再运用计算机程序 ， 打造逼真的人脸模型 ， 进而做出电影中的虚拟角色 。
『新智元』CMU研究员拿手机录视频，人脸3D建模高度逼真！
本文插图
【『新智元』CMU研究员拿手机录视频，人脸3D建模高度逼真！】
而这种3D人脸建模技术一般需要非常昂贵的设备和专业技术才行 。 而现在 ， 卡内基梅隆大学的研究人员通过在普通的智能手机上录一段视频 ， 就能轻松完成！而且效果逼真又不吓人 。
轻轻松松实现人脸3D建模
用智能手机连续拍摄包含面部正面和侧面图像的视频会产生大量的数据 。 卡内基梅隆大学机器人学院研究中心开发了一个两步过程 ， 在深度学习算法的帮助下 ， 进行了人脸模型的数字重建 。 该团队表示 ， 他们的实验方法精度可以达到亚毫米级别 ， 比其他基于摄像机的建模过程效果更佳 。
『新智元』CMU研究员拿手机录视频，人脸3D建模高度逼真！
本文插图
人脸数字技术的应用非常广泛 ， 可以用来制作游戏 ， VR或者AR ， 也可以用于动画、生物识别甚至医疗领域 。 一个精确的面部3D渲染也有助于打造定制的外科口罩或呼吸器 。
动画片中的应用
『新智元』CMU研究员拿手机录视频，人脸3D建模高度逼真！
本文插图
?VR虚拟现实应用
『新智元』CMU研究员拿手机录视频，人脸3D建模高度逼真！
本文插图
机器人学院的副研究教授 Simon Lucey 说: “人脸的3D重建一直是计算机视觉和图形学领域的一个悬而未决的问题 ， 因为人脸面部特征非常细致入微 。 如果重建过程中出现轻微异常 ， 也会让最终结果看起来和实际的面部特征差很多 。 ”
激光扫描仪、结构光和配备多个相机设备的工作室可以产生高精度的面部扫描结果 ， 但是这些专业的传感器对于大多数应用场景来说昂贵得让人望而却步 。 然而 ， 卡内基梅隆大学新开发的方法只需要一部智能手机 。
这个方法由Lucey 与硕士生 Shubham Agrawal 和 Anuj Pahuja 共同研发 ， 于3月初举行的 IEEE 计算机视觉应用冬季会议上展示 。 首先要拍摄15到20秒的一个视频 。 研究人员使用iPhone x 的慢动作功能进行了拍摄 。
“高帧率的慢动作是我们设计方法的关键之一 ， 因为它生成了一个密集的点云 ， ”Lucey 说 。
深度学习算法助力建模
然后 ， 研究人员采用了一种常用的技术 ， 叫做视觉即时定位与地图构建(SLAM) 。 可视 SLAM 将表面上的点进行三角测量以计算其精确的形状 ， 同时利用这些信息来确定摄像机的位置 。 这种技术可以创建人脸的初始几何图形 ， 但缺少的数据会在模型中留下空白 。
第二步 ， 研究人员运用深度学习算法来填补这些空白 。 然而 ， 深度学习只能在有限的范围内使用:它可以识别人的整体外观和一些标记点 ， 比如耳朵、眼睛和鼻子 。 然后使用经典的计算机视觉技术来填补SLAM的空白 。
“深度学习是我们每天都在使用的一个强有力的工具 ， ” Lucey 说 。 “但是深度学习会倾向于记忆解决方案”， 但是面部细节千差万别 ， 记忆功能并不利于区分这些差别 。


推荐阅读


上一篇：『IT168』国内留一手 华为P40系列线上发布会或有新花式

下一篇： 『无症状感染』黑龙江最新疫情通报：新增20例境外输入病例及有关情况