无人驾驶传感的数据处理

无人驾驶传感，通常意义上认为是“三雷达一相机”：激光雷达、毫米波雷达、超声波雷达和相机。实际上，行业里认为可能以后还会使用红外，只要是对传感感知有利的传感器，无人驾驶的研究上是不介于使用的。

下面逐个介绍传感类型和传感信息处理方法。之所以叫方法，而不叫算法，是因为只是从宏观上说明数据是如何处理的。

相机

相机分为单目、双目、多目、环视。

摄像头是应用范围最大也是最不可替代的传感方案，无论是哪个厂的方案，特斯拉也好，奔驰宝马也好，都离不开摄像头。这是因为，摄像头具有一个独一无二的能力。以现有工业技术来看，在所有传感器当中，只有摄像头具备识别能力，而且这个识别能力还会根据算法实现迭代优化。对于自动驾驶的具体场景来说，识别能力非常关键。

目前智能车上有使用单目摄像头（用于目标和障碍物识别）+雷达（测距，有的还用于目标识别），或者使用双目摄像头（双目摄像头比单目摄像头能更好地解决测距问题）。

在自动驾驶场景中，偏高速的场景往往会用毫米波雷达来解决测距问题，而在低速场景使用双目来测距则仍会受到阴雨、光线等外界条件的影响。所以有识别能力且不以判断距离为核心的单目摄像头是必不可少的视觉传感。

图像处理方法

图像处理的办法有两类：

1、传统的模式识别

简单来说就是对识别到的物体进行特征提取，然后将提取到的特征与现有模板进行比对，然后完成分类、识别的任务。使用这一类技术的最有代表性的公司就是以色列的 Mobileye。但模式识别存在一个问题，就是所有的判断都是基于已经了解的知识。

换句话说，是通过枚举的方式来认识这个世界。如果遇到了此前没有见过的物体，那么系统就无法完成识别判断。这在 ADAS、有人类辅助的低级自动驾驶场景中可行，但在更高级别的自动驾驶场景，例如车里的人做别的事让车自己行驶，那么这种方法就可能出现问题。

Mobileye 在这个技术路径上积累了多年经验，已收集和迭代了全球各种驾驶场景的数据。国内也有走与 Mobielye 相同路线的公司，但想在算法和数据上超越 Mobileye 基本上是非常困难的，需要很长的时间和大量资源的投入。

2、深度学习

从自动驾驶场景的基本属性来看，交通场景属于非结构化的场景。什么是非结构化？

简单来说，结构化的数据是可以通过一、两个物理量表征出来的，但非结构化数据和场景却很难用一、两个量表征出来。例如，一个复杂的十字路口就没有办法单纯滴用几个人、几盏灯、几个小孩这样的量来表征。

而随着这一轮人工智能的兴起，深度学习在自动驾驶场场景中就起到了非常关键的作用，可以通过一系列数据训练模型来解决问题，而且随着数据量的增加，模型的识别和判断能力会逐渐提升。如此看来，投资走模式识别技术路线的公司在短期内机会相对较小。

从技术角度出发，深度学习能力的判断无非就是考量模型和数据。

首先看的是数据，想看看有没有一些特殊的方式能够让一家公司能够拥有先于业内其他企业数据获取能力，拥有更低成本、更高效率的数据获取方式，这是我们当时考量的一个基础。

其实，我们在理解数据上也走很长的一段路。最开始，我们以为在出租车上挂一个行车记录仪出去跑一跑、拍一拍就 OK 了，但这跟实际需要的数据相差甚远。

为什么呢？因为实际需要的数据需要多元化的数据。可能在高速公路了拍了几万公里但是由于车辆少、场景单一，大多数数据都没什么用。

后来我们了解到，实际需要的数据叫做全驾乘状态的车辆数据。除了摄像头自身标定出来的有人和物的数据，还要伴随着场景中的汽车状态数据，例如 CAN 总线数据、GPS 数据等。

相比之下，简单依靠出租车搭载行车记录仪得到的数据并不完备，这种全驾乘状态的车辆数据才是核心，而且必须与专业机构、车厂合作才能获取。

另外一点就是模型。在考量算法模型时，我们其实有很大的顾虑。现在有很多成熟的开源框架，例如 TensorFlow、Caffe 等等。这些开源算法框架的存在似乎是把门槛降低了。但是理解之后，我们发现，同样是 TensorFlow，不同企业、不同厂家拿过来使用以后，产生的效果是不一样的。原因在于，模型优化这件事情有三个层面。

第一个层面是简单的参数调整。例如对某一个网络层的某一个参数进行调参，并不知道调出来的效果是什么样的，只能一次一次的试，有点像算命。

第二个层面是可以改开源算法框架的源代码，进而优化里面的细节公式。这个层面可能需要对 TensorFlow 体系有比较深入的理解，同时对工程化有比较深入的认知，往往具备产业背景。

第三个层面不但可以调整技术源代码，还可以根据自己的数学理解和开发能力，用不同的数据方法优化底层的数据公式。这个层面除了对产业和工程存在要求，最好还要具备比较深的数学功底。这些经历可以帮助研发人员在模型尝试的过程中少走很多弯路。

激光雷达

激光雷达种类

第一个是机械旋转式激光雷达。这类激光雷达有机械旋转机构，相对笨重，如果要将旋转机构做到可靠性高，满足车规级要求，成本会很高。我们认为，这类激光雷达的机会是窗口性的，未来其他技术成熟了，这类激光雷达可能会退出市场。这也是所谓的非固态激光雷达，人们通常把下面这三种成为固态激光雷达。

第二类是 MEMS 激光雷达。这类激光雷达是把所有的机械结构做到半导体工艺上，集成到单个芯片。目前，国外有以色列公司 Innoluce 正在尝试这一技术路径，国内也有走类似路线公司，但国内在其核心原件 MEMS 振镜一直量产能力不强。而且这个方案在成本上不太可靠。

第三类是光学相控阵激光雷达。这类激光雷达对工艺要求极其苛刻，因此量产也是一个问题。

第四类是面阵激光雷达。之前面阵激光雷达较多应用于航天军工领域，精度较高，但是造价昂贵。