万字分析汽车毫米波雷达点云技术( 二 ) _毫米波雷达

据我们所知，以前没有对移动物体的汽车雷达数据进行过语义分割。分类只在小数据集或大量的模拟数据上进行。
3 方法A. 网络结构齐等人提供了PointNet和PointNet++方法来直接处理点云，因此不需要先前的映射步骤。他们对通过从室内场景的3D扫描的网格中采样点获得的3D点云执行语义分割。我们使用他们的架构作为我们方法的基础。然而，我们在实验中使用的雷达数据在以下方面与3D室内数据不同。首先，每个雷达反射点只包含两个而不是三个空间坐标，但加上自我运动补偿的多普勒速度和RCS值的两个附加值，整个点云的每个点pi都是四维的。其次，我们的数据在密度和采样率方面显示出更大的差异。斯坦福大学的3D语义分析数据集的3D扫描提供了高密度的点云，其中可以看到办公室内部的细节，而我们的雷达数据仅为每个对象提供少量反射，因此对于较小或较远的物体，甚至连物体的轮廓都无法正确捕获，见图1 。

在PointNet ++ 中定义了多尺度分组模块（MSG）和特征传播模块（FP）。MSG模块考虑了围绕中心点的多种规模的邻域，并在描述这些邻域的中心点的位置处创建组合特征向量。该模块包含三个步骤：选择、分组和特征生成。首先，通过最远点采样选择输入点云的Nsample点以便均匀地采样输入点云。在分组步骤中，为每个被选中的Nsample点创建邻域。在我们的网络中，邻域由位于中心点周围的半径r内的Nneigh点组成。只考虑雷达反射的两个空间分量用于邻域搜索。如果一个反射点在给定的搜索半径内有Nneigh个以上的邻域，则仅将找到的第一个 Nneigh 点用于进一步计算如果发现的反射点较少，则重复第一个邻域以保证固定大小的数据结构。在每个MSG模块中，创建多个具有不同r和Nneigh值的邻域。在最后一步中，通过在具有形状（Nsample, Nneigh, cin ）的邻域张量上应用具有滤波器大小1×1的卷积层，为每个Nsample 点生成特征，其中cin是通道的数量。这将产生一个大小为（Nsample, Nneigh, cout)的张量，在这个张量上应用一个最终的最大集合层，以便只考虑具有针对相应滤波器的最高激活的邻居的贡献。

经过MSG模块后，输出点云中的点数比输入点云中的小，因此，更深层中的点包含越来越多的抽象特征，这些特征提供了关于前几层的领域点的信息。这个过程类似于用于图像处理的卷积网络，图像尺寸在每一层都被缩小。在图2中，显示了空间位置以及雷达反射的自我运动补偿的多普勒速度，并描述了在每个MSG模块之后输入点云的子采样。在图中未显示为MSG 模块中的每个点生成的高维特征向量。场景的摄像机图像如图3所示。

对于语义分割，子采样点云的信息被传播到全输入点云。

文章插图

图2 摘录一个示例雷达点云。绘制空间坐标以及自我运动补偿的多普勒速度。从左到右：输入层处的点云和第一，第二和第三MSG 模块之后的子采样点云。数据累计超过500毫秒。该场景的摄像机图像可以在图3中找到。

文章插图

图3 与图2相同场景的摄像机图像

这一任务由特征传播模块执行：k层MSG模块之后是k层FP模块，这些模块将较少填充的点云的特征反复传播到下一个较高层。对于密集点云中的每个点pi ，计算出稀疏点云中三个最近邻居的特征向量的加权平均值，并在将该特征向量通过一组卷积层后，分配给该点pi 。从 MSG 模块的相应级别跳过连接改善了特征的传播。

我们的网络结构如图4所示，其中还定义了MSG 模块的参数值。
B. 数据集在本文中，我们仅使用由两个不同的实验车辆，即车辆A和车辆B ，所收集的真实世界的数据。车辆A配备了四个77GHz的传感器，分别安装在车辆的两个前角和侧面。仅使用传感器的近程模式，以便探测100米范围内的目标。每个传感器的视场角为±45° 。