Sparse4D v3来了！推进端到端3D检测和跟踪( 二 ) _Sparse4D

文章插图
图 4：时序实例去噪的图示。(a) 在训练阶段，实例包含两个组成部分：可学习的和噪声的。噪声实例由时间和非时间元素组成。对于噪声实例，本文采用预匹配方法来分配正样本和负样本——将 anchors 与 ground truth 进行匹配，而可学习实例与预测和 ground truth 进行匹配。在测试阶段，仅保留图中的绿色块。(b) 采用 Attention mask 来防止 groups 之间的特征传播，其中灰色表示 queries 和 keys 之间没有注意力，绿色表示相反。

文章插图
图 5：anchor encoder 和注意力的架构。本文独立地对 anchor 的多个组件进行高维特征编码，然后将它们连接起来。与原始 Sparse4D 相比，这种方法可以降低计算和参数开销。E 和 F 分别表示 anchor embedding 和实例特征。

文章插图
实验结果：

文章插图

文章插图
总结:本文首先提出了增强 Sparse4D 检测性能的方法。这一增强主要包括三个方面：时序实例去噪、质量估计和解耦注意力。随后，本文说明了将 Sparse4D 扩展为端到端跟踪模型的过程。本文在 nuScenes 上的实验表明，这些增强功能显着提高了性能，使 Sparse4Dv3 处于该领域的前沿。
引用：Lin, X., Pei, Z., Lin, T., Huang, L., & Su, Z. (2023). Sparse4D v3: Advancing End-to-End 3D Detection and Tracking. ArXiv. /abs/2311.11722

【Sparse4D v3来了！推进端到端3D检测和跟踪】