技术编程|基于层级图网络的图卷积：用点云完成3D目标检测( 二 )
本文插图
其中 g 表示 i 和 j 的相对位置 ， 通过一个卷积将三维变为一维 ， f 是 mlp ， 然后二者的乘积就是中心点的 knn ， 其中最大的作为 i 的特征 。 形状注意操作不同于简单的基于 mlp 的操作主要就是因为这个 g 函数 。 虽然形式上没有 attention 中的 softmax 这样的归一化 ， 但是 g 的输出就和 attention 一样 ， 每个点的 weights ， 然后对应的乘以特征 。
本文插图
GU－net
本文设计了一个下采样模块 ， 并将其重复堆叠 4 次以形成下采样路径 ， 而将一个上采样模块重复堆叠两次以构成上采样方式 。 类似 FPN、GU－net 生成三张点特征图的特征金字塔 。 下采样使用的是 FPS ， 然后通过 KNN 构建局部区域 ， 再使用 SA－GConv 更新特征 ， 上采样模块的过程与下采样模块的过程相反 ， 主要由 SA－GConv 执行 。
本文插图
候选生成器
GU－net 生成了包含多级语义的三张点特征图 。 一些先前的方法（如 VoteNet）仅使用一个特征图进行目标预测 。 即使通过在上采样过程中融合较低层的特征来计算较高层的特征 ， 由于不同层的特征提供了各种语义 ， 因此将多层特征一起用于候选生成会更加有益 。 本文提出了一种候选生成器 ， 以改进的投票模块作为主要结构来预测对象中心 ， 该模型将多级特征转换为相同的特征空间 。 接下来为了聚合特征 ， 通过 FPS 保留 Np 的投票 ， 该做法与 VoteNet 类似 ， 从而融合多级特征以预测边界框及其类别 。
候选推理模块
通过以上几步 ， 多层局部的语义信息已经被很好的捕捉到了 ， 但全局信息还没有很好的学到 ， 或者说可能有些目标在点云中只体现出很小的一部分表面的点 ， 在这样少的信息下很难正确的将其识别出来 。 其推理过程为：
其中 Hp 表示候选特征 tensor ， P 表示候选的相对位置
论文实验
本文在 SUN RGB－D 和 ScanNet－V2 两个数据集上进行了实验 。
本文插图
本文插图
此外 ， 本文还进行了消融实验以证明各模快的有效性 。
本文插图
结论
本文提出了一种新颖的 HGNet 框架 ， 该框架通过层级图建模学习语义 。
具体来说 ， 作者提出了一种新颖且轻巧的形状注意图卷积来捕获局部形状语义 ， 该语义聚合了点的相对几何位置的特征 。 基于 SA－GConv 和 SA－DeGConv 构建了 GU－net ， 生成了包含多级语义的特征金字塔 。 要素金字塔投票的点将位于相应的对象中心 ， 并且进一步聚合多级语义以生成候选 。 然后使用 ProRe 模块在候选之间合并和传播特征 ， 从而利用全局场景语义来提高检测性能 。 最后 ， 对边界框和类别进行了预测 。
推荐阅读
- 行业互联网|华为 | 车载以太网物理层及TSN发展现状 与技术趋势
- 技术编程|什么是Plesk虚拟主机控制面板？
- 电池技术|法国发明出世界最快的电极：可将锂电池的密度提高3倍
- 技术编程|人工智能在大视频运维中如何实现CDN硬盘故障预测？
- 电池技术|关于惠州赣锋建设高端聚合物锂电池研发及生产基地建设，赣锋锂业要干大事
- |加速冲刺世界级技术领先地位，大族机器人获1.65亿元A轮融资
- 解码器|苹果 ProRes 视频编解码器获 2020 技术工程艾美奖
- 数据|徐叶润：另类数据技术是驱动资管科技的核心
- 中年|《经济学人》封面文章解析蚂蚁集团：数字技术的崛起代表了金融的未来
- 行业互联网|北科院轻工所技术入选中关村论坛技术交易大会“产业创新领先技术百强项目榜单”