映维网CVPR 2020 AR/VR板块CV4ARVR科研论文汇总( 三 )
10. Holopix50k: A Large-Scale In-the-wild Stereo Image Dataset
By：Leia Inc
本文插图
随着双摄像头手机在市场中广泛应用 ， 利用计算机视觉中的立体信息对AR/VR行业变得越来越重要 。 目前最先进的方法主要是利用基于学习的算法 ， 其中训练样本的数量和质量严重影响结果 。 现有的立体图像数据集无论在大小还是种类方面都受到限制 。 所以 ， 基于所述数据集训练的算法不能很好地推广到移动摄影遇到的场景 。 本文提出了一种新颖的立体图像数据集Holopix50k ， 其包含由Holopix移动社交平台用户贡献的49368对图像 。 在这项研究中 ， 我们描述了我们的数据收集过程 ， 并将我们的数据集与其他流行的立体数据集进行了统计比较 。 实验表明 ， 使用我们的数据集可以显著提高立体超分辨率等任务的结果 。 最后 ， 我们展示了数据集在训练神经网络预测立体图像和单目图像视差图方面的实际应用 。 高质量的视差图对于提高手机AR/VR应用的投影效果和三维重建效果至关重要 。
11. Instant 3D Object Tracking with Applications in Augmented Reality
By：Matthias Grundmann ， Google Research
本文插图
三维对象姿态追踪是增强现实应用中的一个重要组成部分 。 我们提出了一个即时运动追踪系统 ， 它可以在移动设备实时追踪对象在空间中的姿态（以三维方框盒表示） 。 我们的系统不需要任何事先的感官校准或初始化才能正常工作 。 我们使用一个深神经网络来检测对象并估计其初始三维姿态 ， 然后利用一个鲁棒的平面追踪器来追踪估计的姿态 。 我们的追踪器能够在移动设备实时执行相对尺度的九自由度追踪 。 通过有效地结合CPU和GPU ， 我们在移动设备实现了26-FPS+的性能 。
12. MediaPipe Hands: On-device Real-time Hand Tracking
By：Google Research
本文插图
我们提出了一个实时的设备端手部追踪管道 ， 它可以利用单个RGB摄像头为AR/VR应用预测手部骨骼 。 所述管道由两个模型组成：1.手掌探测器 ， 2.手部特征模型 。 它是通过MediaPipe实现 ， 而MediaPipe是一个构建跨平台ML解决方案的框架 。 所述模型和管道结构在移动GPU上具有很高的实时推理速度和预测质量 。 MediaPipe Hands的开源代码请参见https://mediapipe.dev 。
13. Multi-user, Scalable 3D Object Detection in AR Cloud
By：Magic Leap
本文插图
随着AR云变得越来越重要 ， 一个关键的挑战是大规模的多用户3D目标检测 。 目前的方法通常侧重于单个房间和单名用户场景 。 本文提出了一种基于分布式数据关联与融合的多用户可扩展三维目标检测方法 。 我们使用现成的检测器来检测2D中的对象实例 ， 然后在3D中对每个对象进行组合 ， 同时允许对映射进行异步更新 。 分布式数据关联和融合允许我们同时将检测扩展到大量用户 ， 同时保持较低的内存占用而且不损失准确性 。 我们展示了相关的经验结果 ， 其中分布式方法在ScanNet数据集上达到了可比拟集中式方法的精度 ， 而且将内存消耗减少了15倍 。
14. Panoramic convolutions for 360o single-image saliency prediction
By：Universidad de Zaragoza ， I3A
本文插图
推荐阅读
- Phone巢进入2020年，懂手机的人眼中的好手机有哪些？
- 合同|融创中国：2020上半年销售1952.7亿元
- 同比减少|对标零售行业上市公司2019年营收， 1Q2020营收同减 20%
- 新华网|2020维也纳电影节开幕
- 巴彦淖尔市卫生健康委员会|巴彦淖尔市卫生健康委关于发布2020年乌拉特中旗鼠疫疫情Ⅲ级预警的通告
- 【沪深300】2020-07-06强势突破后的策略
- |2020汽车零部件“双百强”诞生，中国企业规模化能力增强
- 创造营2020▲《创3》硬糖少女303出道，首秀发生直播事故，节目组掉链子
- 公告|融创中国：2020上半年销售1952.7亿元
- 最新趣闻|Redmi 9 体验：2020 年的入门机做成什么样了？