江苏龙网

  1. 首页 > 人文 > >

汽车之心Autobit特斯拉撞卡车问题有解吗？谈谈自动驾驶感知前融合架构的优势和难点( 二 )


融合得到的结果是具备颜色信息的点云数据 ， 或者是具备深度信息的图像数据 。
最后再基于融合的结果进行后续的识别操作 。
这种方法的优点是可解释性强 ， 对数据的依赖较小 ， 标注工作量小 ， 缺点就是需要极强的标定能力 ， 一旦传感器的种类与位置稍有变化 ， 就需要重新进行标定 。
汽车之心Autobit特斯拉撞卡车问题有解吗？谈谈自动驾驶感知前融合架构的优势和难点
本文插图
基于视觉染色点云
2.基于神经网络/深度学习的方法 。
该方法不会进行点云与像素之间的相互映射 ， 而是直接以端到端的形式输出检测的目标、车道线以及其他的预期目标 。
首先对图像和点云进行时间空间同步 ， 然后根据预期的输出目标将图像和点云进行分别标注 ， 将标注好的图像和点云数据输入到神经网络 。
通过神经网络去学习图像和点云之间的对应关系和点云和图像的相关性 ， 使得输出结果更加准确 。
这种方法对于标定的能力要求大大降低了 ， 可以容忍一定的传感器变化 ， 但是对标注工作量需求大增 ， 因为引入了深度学习模型 ， 可解释性比较差 ， 且对算力的要求更高 ， 目前还是处于探索阶段 。
汽车之心Autobit特斯拉撞卡车问题有解吗？谈谈自动驾驶感知前融合架构的优势和难点
本文插图
RoadStar 所采用的感知前融合架构
（来源：RoadStar 分享资料）
汽车之心Autobit特斯拉撞卡车问题有解吗？谈谈自动驾驶感知前融合架构的优势和难点
本文插图
DeepSense 网络结构
（来源：DeepSense: A Unified Deep Learning Framework for
Time-Series Mobile Sensing Data Processing）
但是 ， 虽然前融合感知技术能够提高感知系统的准确性与鲁棒性 ， 但在当前还主要面临下面几个难点 ， 造成这个技术并没有被广泛的采用 ， 简要总结为四个难点：
1.数据来源问题：前融合需要对传感器的原始数据进行融合 ， 所以需要各个传感器都能够给出原始的 Raw Data 。
但是受限于产品接口与商业协议等等问题 ， 有些传感器无法获得原始数据（例如我们在量产中使用的博世毫米波雷达 ， EyeQ4 的智能摄像头等） ， 对于这些传感器无法适用前融合感知框架 。
2.时间同步问题：通过统一的主机给各个传感器提供基准时间 ， 各传感器根据已经校准后的各自时间为各自独立采集的数据加上时间戳信息 ， 可以做到所有传感器时间戳同步 。
但由于各个传感器各自采集周期相互独立 ， 无法保证同一时刻采集相同的信息 。 时间误差需要在 1 微秒以内 ， 当前是比较难以达到的 。
3.空间同步：将不同传感器坐标系的测量值转换到同一个坐标系中 ， 其中激光传感器在高速移动的情况下需要考虑当前速度下的帧内位移校准 。 100 米外的物体距离精度要在 3 厘米以内 。
这对于标定测量提出极高要求 。 同时 ， 由于在使用过程中传感器的参数与相对位置可能也会发生一些改变 ， 出厂时的标定参数不一定能够使用 ， 所以如何实现在线重标定也是一个难以解决的问题 。
4.算力需求：前融合神经网络通过全面接收整车所有传感器数据 ， 通过超大规模神经网络运算识别出障碍物位置、大小及分类信息 。 这对于硬件的 AI 算力提出极大要求 。
当然 ， 不管是前融合还是后融合 ， 白猫黑猫 ， 抓住老鼠才是好猫 。
在现在这个阶段 ， 自动驾驶需要的是更加安全与鲁棒的感知系统 ， 最终还是需要根据当前的软硬件条件来选择最适合自己的感知系统实现方案 。
我们上一期讲到 ， 特斯拉的虚拟激光雷达可能是一个非常好的探索 ， 由于摄像头的被动感知模式 ， 通过特殊设计的车灯和特定波长的滤镜（参考激光雷达）或许能够在一定程度上改善摄像头失效的问题 。


推荐阅读


上一篇：【杭州市电子商务协会】湖畔大学第六届开学典礼，校长马云难掩骄傲

下一篇：月光科技华为新专利曝光，采用真全面屏设计或为MATE 40，这才叫高颜值