江苏龙网

  1. 首页 > 人文 > >

多视图几何三维重建实战系列之R-MVSNet( 三 )


3.1、时间与GPU消耗比较
估计时间 。 对于TankandTemple中的Family数据集 ， COLMAP的预估重建时间为4.1小时 ， OpenMVS重建时间为27.3分钟 ， MVSNet重建时间为4.7分钟 ， R-MVSNet重建时间为8.8分钟 ， R-MVSNet重建效率优于传统方法 ， 稍劣于MVSNet(表1) ， 因为R-MVSNet每次的代价图过滤都要考虑到上一步代价图的影响 ， 这个迭代过程节省GPU消耗的同时则加大了运行时间 。
表1 MVSNet和R-MVSNet结果比较
多视图几何三维重建实战系列之R-MVSNet文章插图
GPU内存消耗 。 在提升代价图分辨率和增大深度范围的同时(最大长宽及最大深度范围从MVSNet的1152*864*192到R-MVSNet的1600*1200*256(如表1) ，GPU消耗却从MVSNet的10.5GB降到了6.78GB ， 这使得R-MVSNet适用于场景的快速重建 。
深度范围 。 如表1 ， 相比较MVSNet ， R-MVSNet可以回归更大的深度范围(由于缺少控制点信息 ， 深度学习中的深度范围缺少尺度信息 ， 故没有量纲) ， 如图9 ， 第一行表示MVSNet的深度图估计结果 ， R-MVSNet表示第二行深度图估计结果 。 在雕像后面的灌木林 ， R-MVSNet能回归出置信度较高的深度 。 得到较为平滑的深度图 。
多视图几何三维重建实战系列之R-MVSNet文章插图
图9 MVSNet与R-MVSNet对比结果
3.2、MVSNet和R-MVSNet重建结果比较
点云完整度比较 。 如图10 ， 第一列表示基于MVSNet深度图配准的稠密重建结果 ， 第二列表示基于R-MVSNet深度图的稠密重建结果 。 通过对比发现：
1) MVSNet可以对相片中心的对象进行重建 ， 重建的深度范围比较小 。 在小氛围内的重建完整度较高 ， 表面光滑 ， 无空洞现象 ， 但却少周围环境的重建信息(图10左侧) 。
2) R-MVSNet不仅可以对相片中心对象进行重建 ， 且精度优于传统方法和MVSNet方法 ， 而且 ， R-MVSNet可估计更大深度范围 ， 如图10右侧图像所示 ， 周围场景信息保留的更为完整、丰富 。
综合判断 ， R-MVSNet的深度重建效率高 ， 重建效果最好 ， 适用于场景的快速重建应用中 。
多视图几何三维重建实战系列之R-MVSNet文章插图
多视图几何三维重建实战系列之R-MVSNet文章插图
图10 MVSNet和R-MVSNet稠密重建结果比较
4、总结
针对三维卷积神经网络的深度学习方法计算资源消耗大问题 ， 利用循环神经网络将匹配代价体分割成代价图 ， 并逐个进行过滤 。 实验表明 ， 循环神经网络改进后 ， 深度学习方法下 ， 能快速且较为完整的进行场景重建 。
目前所提出的深度学习方法全在TensorFlow框架下 ， 下篇文章将带来一篇CVPR2020的关于有监督的MVSNet文章 ， 在Pytorch框架下 ， 也是对GPU资源消耗过大问题进行改进 ， 敬请期待 。
5、参考文献
[1] Yao Yao, Luo Zixin, Li Shiwei, Fang Tian, Quan Long. MVSNet: Depth Inference for Unstructured Multi-View Stereo. European Conference on Computer Vision (ECCV)
[2] Ronneberger, O., Fischer, P., Brox, T.: U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI) (2015)
[3] Yao Y , Luo Z , Li S , et al. Recurrent MVSNet for High-resolution Multi-view Stereo Depth Inference[J]. 2019.
[4] Collins R T . A Space-Sweep Approach to True Multi-Image Matching[C] Computer Vision and Pattern Recognition, 1996. Proceedings CVPR '96, 1996 IEEE Computer Society Conference on. IEEE, 1996.


推荐阅读


上一篇：完全不够用！为什么苹果还在出64GB内存的产品？

下一篇：管理系统设计最易忽略的问题点