ar是什么(AR技术功能)( 三 )


在研究基于视觉的跟踪技术时,会用到很多计算机视觉算法 。计算机视觉本身就是一个庞大的学科,有兴趣的读者可以根据自己的兴趣选择相应的书籍阅读 。这里推荐两本书,一本是《计算机视觉——算法与应用》,另一本是《计算机视觉中的多视图几何》 。
3.校准和注册
跟踪、标定和配准是增强现实系统研究中的三个核心问题 。我们已经谈到了跟踪技术,这里我们将描述校准和注册 。

摄像机标定(1)标定内参数摄像头是基于视觉的AR系统的重要组件 。所以在使用中必须先标定摄像头的内参数 。对于普通的摄像头,可以采用matlab自带的摄像头标定工具箱来标定 。不仅可以标定出摄像头的内参数,还能标定出镜头畸变 。该工具箱采用的是棋盘格标定法 。(2)校正镜头畸变镜头畸变可以分为径向畸变和切向畸变两种 。它们也都可以通过标定来确定畸变参数 。镜头畸变是普遍存在的,所以在使用之前要记得先进行标定 。显示器标定(1)单点主动对准法对于光学透射式头盔显示器,要进行AR开发的话,必须加上一个摄像头 。摄像头与头盔显示器之间的位置关系需要标定 。最常用的一种方法是单点主动对准法(SPAAM) 。这个方法要求用户佩戴头盔显示器,并且将屏幕上的一些十字光标与真实世界中的物体进行多次对齐,多次对齐需要通过头部转动完成 。数据获取后,通过DLT方法构建方程组求解投影矩阵 。(2)使用瞄准转置该方法需要将瞄准装置与显示器上的十字叉丝对准,而不是使用在SPAAM中用到的静止标定点 。这种瞄准装置经常是作为AR设备的一部分,并且包括一个触发器来确认对准完成 。瞄准装置有一个优势,用户不必再移动头部来完成对准,取而代之的是,可以通过移动手臂来完成 。注册跟踪系统在进行测量的时候,会存在测量误差,导致位置估计不准 。这种误差会导致注册的虚拟物体与真实物体之间会存在不匹配的情况 。所以,在每一个步骤要严格控制误差,不要让误差在后面的环节中传播 。对于光学透射式增强现实来说,还有另一个非常重要的问题,那就是延迟 。由于真实的环境背景是直接透射进人眼的,可以认为是零延迟的 。但是虚拟信息是通过摄像头捕捉环境,建立跟踪注册信息,然后渲染输出到头盔显示器上 。这个回路的处理时间导致虚拟信息的渲染比头部转动会有延迟 。一个比较有效的方法是在视觉跟踪的基础上,加入高反应速度的IMU,对这种延迟进行补偿 。头部的快速运动可以根据IMU的反馈来渲染图像 。
总结和分析
相机标定本身已经是一个非常成熟的领域,除非引入一些新的相机类型 。HMD的标定已经成熟,但仍存在一些问题 。例如,校准程序复杂,不同用户之间的通用性低 。因此,根据人眼和HMD的特殊性,可以研究提高标定效果的方法 。另外,还可以考虑降低延迟,比如视觉-IMU融合 。该方法已成功应用于全息透镜中 。除了使用视觉-IMU融合,应该还有其他方法可以减少延迟,值得研究 。
4.视觉一致性
几何一致性增强现实系统呈现的效果应该是虚实高度融合的,让人分不清哪里是虚的,哪里是实的 。高度融合体现在虚拟物体被放置在正确的位置上,没有与真实物体产生错误的重叠 。几何一致性还要求在时间变化中保证几何一致 。例如,在光学透射式头盔显示器中,快速的头部运动会导致虚拟图像的渲染落后于真实的环境,导致图像延迟现象 。这就违反了几何一致性要求 。另外,虚实遮挡也要保持一致 。有的时候虚拟的物体在空间上应该被渲染到真实物体的后面 。但是默认情况下,虚拟的物体总会挡在真实物体的前面 。因此,必须使用额外的传感器,探测出真实物体的空间位置,然后决定哪些虚拟图像是应该被遮挡起来的 。还有一些研究人员对增强现实头戴式显示器的深度感知一致性做了研究 。他们分析了使用双目头盔显示器看到的虚拟物体与真实物体在深度感知上的一致性 。光照一致性虚拟世界的光线往往是认为设定的,但是真实世界的光线是非常复杂的 。因此渲染的虚拟物体怎样保持与真实环境一致的光照效果,也是需要注意的 。光照效果如果不一致,尤其是阴影的渲染不一致的话,会导致非常糟糕的效果 。解决这个问题的途径是,通过某个方式获得真实环境中的光源分布,然后在虚拟世界中模拟这个光照效果 。
总结和分析
实际上,视觉一致性分析主要评估增强现实系统的性能 。一旦涉及到用户研究,有很多工作值得研究 。比如研究AR系统的几何一致性对头盔用户效率的影响,图像呈现与环境的关系 。尤其是在光的研究中,自然光是非常复杂的,完全模拟自然光是非常困难的 。所以在这一点上还是有很多值得研究的地方 。


推荐阅读