江苏龙网

  1. 首页 > 人文 > >

一郎科技|2手部追踪模型拟合，微软提出全新曲面模型——冯氏曲面，为解决HoloLens

来源：映维网作者黄颜
混合现实中的实时感知和交互能力要求资源受限的硬件（如头戴式设备）以低延迟解决一系列的3D追踪问题 。 实际上 ， 对于HoloLens2等CPU和GPU可以用于应用程序的设备而言 ， 多个追踪子系统需要在共享一个数字信号处理器的同时实现连续、实时的运行 。
为了解决HoloLens2手部追踪的模型拟合问题（计算预算大约比iPhone7小100倍） ， 微软团队提出了一种全新的曲面模型：“PhongSurface（冯氏曲面）” 。
微软团队日前在ECCV2020大会通过视频对所述模型进行了介绍 ， 下面包括具体的字幕整理：
我们提出了一种使用LiftedOptimization来实现有效3D模型拟合的PhoneSurface模型 。
我们的模型拟合示例通过拟合离散3D数据来追踪人手的28个自由度 。 在头戴式增强现实系统（如HoloLens2）中 ， 这可以实现一种比当今所有计算系统都更为自然的交互机制 。
HoloLens2搭载了强大的CPU和GPU ， 但它们是为了用于应用程序 ， 所以手部追踪必须由数字信号处理器以4GFLOps的速度完成 ， 亦即只有iPhone7的1% 。
对于之前的研究 ， 效率的关键是使用SmoothSurface模型 ， SubdivisionSurface或b样条曲线（bspline） 。 Smooth-Surface允许使用名为liftedoptimization的优化方法 ， 而所述方法能够大大减少了模型拟合中的迭代次数 ， 并且支持使用更少的数据点 。
涉及论文：EfficientandPreciseInteractiveHandTrackingThroughJoint,ContinuousOptimizationofPoseandCorrespondences
尽管单个服务评估的计算成本要比PolygonSurface高出7倍 ， 但总体的计算成本缩减是一次胜利 。 然而 ， 要以4GFLOPS实现实时性 ， 我们需要拿回7X的计算成本 。 所以 ， 我们引入了一个全新的曲面模型：PhongSurface 。
它的计算成本几乎与PolygonMesh一样低 ， 但保留了LiftedOptimization的优点 ， 即快速收敛和更少的数据点 。
PhongSurface的灵感来自于计算机图形学中的冯氏着色（phongshading）技术 。 这个模型使用PolyhedralSurface模型 ， 但插值曲面法线 。
下面我们在2D示例中进行详细说明 。
我们使用非平滑的Polygon模型 ， 并像SmoothSurface模型一样插值法线 。
现在我们来看看当我们尝试将模型拟合到一定的数据时会发生什么 。
我们会像往常一样从数据到模型形成对应关系 。 并且 ， 我们不只是匹配最近的点 ， 而是最小化加权损失 ， 结合到曲面的距离 ， 及曲面法线与数据的一致性 。
请注意蓝色箭头 。 它们表示曲面法线对LiftedOptimization中的对应更新的贡献 ， 而因为曲面法线在每个阶段中的任何位置都是相同 ， Polygon模型并不存在这种贡献 。
这种更新提高了速度和精度 。
下面我们展示了两个玩具示例的拟合方法对比：菜豆体和椭球体 。 我们比较三种类型的曲面：SubdivisionSurface；PhongSurface和TriangleMesh ， 以及两种优化方法：上面一行的LiftedOptimization和下面一行的ICP（IterativeClosedPoint） 。
在所有情况下 ， LiftedPhong的收敛速度与LiftedSubdiv一样快 ， 但计算成本与TriangleMesh一样（ps：听不清 ， 这里不确定） 。
对于菜豆体 ， TriangleMesh不仅速度更慢 ， 而且缺少表面法线的插值（ps：听不清 ， 这里不确定）意味着它具有更多的LocalMinima（局部极小值） 。


推荐阅读


上一篇：萱草|synchronized关键字，老师发糖了，要排排队领取哦！Java

下一篇：Double豆科技|A51、A71获Alt Z Life更新，新增各种隐私和实用程序功能：Galaxy