江苏龙网

  1. 首页 > 资讯 > 科技 > >

|不限机型，手机端实时玩转3D、混合现实，快手Y-tech有黑科技( 二 )


|不限机型，手机端实时玩转3D、混合现实，快手Y-tech有黑科技
本文插图

SAB 的表达式如上 ， 其中 f 是融合函数（例如按元素求和 ， 按元素点积或串联） ， ?表示 1×1 或 3×3 卷积 ， ⊙表示按元素点积 。 由于深度图的元素值呈长拖尾的正值分布 ， 因此将 ReLU 用作激活函数σ（x） 。 如图 3 所示 ， 使用 SAB 获得的注意力特征图有助于网络选择跨不同尺度的特定空间信息 。 其中 ， S4 能够描述语义层级关系 ， 帮助网络捕获 3D 空间整体的远近结构 。 空间注意力特征图越接近 S1 ， 能够使网络关注更加局部空间的信息 ， 如物体边界 。
网络训练
这篇论文的损失函数由四种损失函数构成 ， 包含已开源的 Berhu 损失 ， 尺度不变性梯度损失 ， 法向损失和这篇文章提出的 GFRL 相对损失 ， 我们参考相关文献将这些 loss 进行合理的组合 ， 从而使网络更好的收敛 。
GFRL 损失（global focal relative loss）
为了更好地约束全局像素间的相对关系 ， 这篇文章在相对损失函数（Relative Loss ， RL）的基础上引入了焦点损失概念（focal loss） ， 可以通过减少易判断空间远近点对的权重 ， 使得模型在训练时更专注于难以区分远近的点对 。 为了确保点对的均匀选择 ， 将图像细分为相同大小的 16×16 块 ， 并从每个块中随机采样一个点 ， 训练网络时 ， 会将每个点与同一图像中的所有其他点进行比较 ， 从而使网络表现出更好的全局结构约束性能 。 第 k 对点的相对损失函数如下式所示：
|不限机型，手机端实时玩转3D、混合现实，快手Y-tech有黑科技
本文插图

其中 rk 是真值的点对相对关系 ， 如果第一个点的深度值比第二个点小时 ， rk 设置为 - 1 ， 反之为 1 。 深度差值比率小于阈值 0.02 时 ， rk 设置为 0 。 与传统的相对损失不同 ， GFRL 引入一个调控因子来衡量点对的相对损失权重 。 当一对像素在预测中具有不正确的序数关系时 ， 调控因子权重接近于 1 ， 相当于传统的相对损失函数 。 当深度序数关系正确且深度差足够大时 ， 则对该点对的调控因子将变为 0 。 因此 GFRL 能是网络在训练时专注于错误的像素对 。 参数γ调整点对的权重调节幅度 。 当γ= 0 时 ， GFRL 相当于传统相对损失函数 。 随着γ的增加 ， 调制因子的影响变大 ， 这篇论文在实验中将γ设置为 2 。 实验证明 ， 在各种评估指标下 ， GFRL 都优于 RL 。
边缘感知策略（Edge-aware consistency）
现有的大多数单目深度估计方法都无法准确地估计边缘区域 ， 生成的深度边界有一定扭曲和模糊 。 为了使网络更好的区分前后景且保持平面的平滑 ， 这篇论文在训练的过程中引入了边缘感知策略 ， 从而在深度预测结果中保留前后景深度的断层 。 首先使用 Canny 边缘检测算子提取深度图的边缘 ， 然后对这些边缘进行扩张以得到边界区域 。 在这些边界区域调大训练权重以显着增加边界区域中预测误差的损失 。 边缘感知一致性方案作为一种难例挖掘方法 ， 在边界区域提升效果显著 ， 如图 4 所示：
|不限机型，手机端实时玩转3D、混合现实，快手Y-tech有黑科技
本文插图

图 4：边缘感知模块的实验结果
训练数据集
HC depth
这篇论文在现有深度估计的方法上总结了六种挑战性场景 ， 并尽可能在开源数据集上搜集这些场景 。 然而现有开源的深度数据集场景非常单一 ， 难以提供足够的 hard case 数据 。 这篇论文针对这一现状 ， 设计了数据采集方案 ， 并整理了 HC Depth 数据集 。 论文作者使用 Microsoft Kinect 收集了 24660 张挑战场景图像 ， 由于 Kinect 的有效距离范围有限 ， 这些图像主要是包含移动人像的室内场景 。 为了扩充数据集的深度分布范围 ， 论文作者同时使用了 Intel RealSense 收集了 95400 张室内和室外场景的图像 ， 对于室外场景 ， 使用天空分割模型分割出天空区域并赋予最大深度值 。 此外还对所有深度图进行了空洞补全及平滑处理 ， 提升数据质量 。 HC depth 数据集示例如图 5 所示：


推荐阅读


上一篇：运营商财经网|中国移动上半年业绩既没让人失望也没让人兴奋 当年曾全球市值第三

下一篇：|吐血推荐，长在学生党“心尖”上的手机，这4个你绝对躲不过