无人驾驶定位与感知技术及应用案例

今天分享的内容，分为传感器、定位技术、感知技术、商业化案例四个部分。

一

传感器

这是整个无人驾驶系统的构成图，底层是车辆，包括车、线控、驱动、制动、转向等；上面是硬件控制部分，计算平台、网络、传感器、线束等；再往上就是系统软件层，包括操作系统、通信中间件等；再往上左边这部分是定位、感知、预测、决策、规划、控制等车端的模块；右边是一些其他的支撑模块和基础设施，包括仿真、安全、高精度地图、V2X、HMI、Cloud等。安全是独立的一部分，它会横跨车端云端的各个环节。

举例这一款无人车，我标记了一下，有四颗机械式Lidar，两个Camera。还有毫米波雷达（包括四个角雷达加一个前向长距的毫米波雷达）。

这辆车没有安装超声波雷达，但在其它的车可能会用。还有车内部安装的传感器，如轮速计、IMU。所有的传感器数据可用于自车定位和环境感知，在规划控制中也会用到轮速计信息。

在自动驾驶里比较纠结的就是成本和性能的矛盾，我们需要平衡它们。

左上角是Waymo的RoboTaxi，它的传感器配置是比较昂贵的，激光雷达是他们自研的，据他们讲成本控制得比较低。但真实的商业场景里面会有多方面的约束，包括成本、算力、功耗等。我们不可能用台式机做计算，真到正式量产，我们只能使用嵌入式控制器， CPU和GPU的算力显然会比台式机有数量级或者几倍的差距。功耗也是需要考虑的一个因素，车内供电是有限的，控制器耗电，传感器本身耗电也比较高，比如Lidar装的多也比较耗电。

还有天气、光照等其他影响因素，使用场景也会有很多的变化。当然我们做得工作越多，可适用场景也就会越来越多。

下面是我们公司的几种车辆，可以看到，我们车上所装的传感器大部分成本相对不高，因为客户大部分对成本比较敏感。最右边的车是，自主代客泊车，没有安装Lidar。

二

定位技术

定位技术包括轮速计、IMU、GPS RTK（在空旷的地方效果比较好）、Visual SLAM、Lidar SLAM、稀疏语义定位等。此外，还有一个Home Zone Parking的应用，也是采用Visual SLAM定位技术。

传统的GPS精度差，通过RTK基站消除误差，可以得到一个相对稳定的高精度定位，可以到两三厘米的高精度。

基于视觉特征的视觉SLAM，特征描述要满足视角不变性、尺度变化的不变性、旋转变化的不变性等，常用特征我列了几个，如SIFT、SURF、FAST，其中FAST是比较快的，前两者比较慢。

之前的SLAM框架更多使用一些传统方法提取特征。深度学习从2014、2015年逐步热起来，通常更多用于目标检测，在定位方面也有较多应用。下面是2016年的一个论文，使用AlexNet的feature做place recognition。右边是我们在园区里做的实验，在不同的场景下，左边是建图的image，右边就是定位的image，可以看出在不同时刻、季节变化、极端光线、雾霾天的各种情况下，深度学习方法比传统方法有时候会拿到更好的结果。

我们后来又做了一些工作，也参考了一些其他研究，使用深度学习的方法去提升定位；首先输入的图像，通过Encoder，分出来两个分支去做Decoder，一个是特征点的，另一个是描述子的。

我们的实验结果看起来还是挺不错的，它比传统的ORB方案效果要明显提升不少，匹配的点数增加了不少。我们测了很多的场景，平均下来定位的可用性有显著提升。

第二个，它的跨光照能力比较强，低光照度的情况下优势比较明显，跨季节能力也挺不错。

很多的场景下会用到鱼眼相机，传统的方法就是去畸变，把它作为一个普通的图像去处理，但是这种方法我们实验以后发现效果并不是那么理想。后来我们做了一个工作，用五个立方体，构成一个Cubemap，再做SLAM，实验结果也是挺不错的。这个工作我们也用到了实际工程中。

下图是车位检测，也是很基本的，就是最简单的鱼眼俯视图的拼接，车位检测的目的是为了定位。

我们在一个地库里面做的基于泊车位的定位，这是包括定位、规划、控制在一起的一个闭环过程。

上图是一个Home Zone Parking（也叫记忆泊车），它是一个VSLAM的应用，单目加里程计、加可选的IMU做SLAM的过程。这里的视频中最后提示建图成功了，定位的时候，当你开到上次建图成功的路线，车就会自我定位，之后就进入无人驾驶。这是一个2C的产品，目前在和车企合作量产，用户建一次图，后面再开到该区域，车可以自主定位和导航，可以帮助用户完成自主航渡和泊车，满足最后几百米无人驾驶的需求。

Lidar SLAM包括以下几个子模块：预处理、odometry、地图匹配、闭环检测、全局优化、mapping等，实际使用中通常离线做三维重建和建图，在线的时候做重内位/定位，这是一个基本的使用模式。

下图是基于激光雷达的场景识别（即Place Recognition）。无人驾驶车辆一旦重定位成功后，后续在持续匹配的过程中不容易丢失定位。而初始重定位要保证几乎总是成功和正确是比较挑战的。因为场景非常多，而且有很多场景没有GPS的，可能在室内或者天桥下面，信号被遮挡等，或者树下面可能信号也很差。

在这些情况下，用视觉或者用激光雷达做初始定位就是非常重要的问题。这在学术界是比较热的话题，工业界也会面对这样的问题。我们必须要解决它，否则没有办法做到正确的、高可用的高精度定位。

我稍微再介绍一些比较挑战的场景，不管对视觉还是Lidar来说，可能都会有挑战。对于隧道场景来说，Lidar会更挑战一点，因为在隧道里，可以用的特征很少。上面这个隧道可能有一公里，我们尝试做建图定位的时候，各方面建图的效果都不太好。后来我们做了一些优化，融合了IMU还有里程计以后，整个建图、三维重建，包括后面的建图定位都还不错。

三

感知技术

这是障碍物感知的一个简单框架图，这只是一部分，像红绿灯检测也算是感知，我就没有画在这里面了。

我重点讲障碍物和目标物的感知，输入主要是image、Lidar的点云、毫米波雷达、超声波雷达等的数据。输入层我们可能会做一些Lidar、Camera的早期融合，也叫前融合。下面我们会有两种算法模块，一个是传统算法，得到障碍物的信息，另一种就是基于深度学习的方法，得到目标物的信息。

整个模块的输出，一个是OGM占据栅格地图，另一个是运动目标列表。整个框架大致就是这样。实际上可能每个公司/研究机构的框架会有一些差异，一些不同的方法都值得探索。

上图是基于视觉的可行驶区域识别，这是最基本的语义分割，需要识别出地面和停车位，其他的就是不可通行部分。

该图是高速路上的语义分割加目标检测的一个基本工作。

下面说一下点云和图像的对比。图像比较规则，而点云维度较高，也比较稀疏。点云在空间中不是一个矩阵式的排列，而是一个稀疏的、无序的点的集合，所以点云的处理相比于图像还是有特殊的挑战。

上图是Lidar做的可行驶区域的分割，左边是原始点云的示意图，绿色的是地面，红色的表示障碍物点；右上是一个2D的栅格图，右下是在2D基础上加一个高度形成2.5D。

激光雷达的目标检测的算法，分成非深度学习的传统算法，和深度学习算法。深度学习算法又分为Multi-View、Range Image、Point-base和Voxel-based等。

VoxelNet也是比较经典的网络，先做划分、Grouping、随机采样，最后构造Feature等。后续有一些不错的研究工作，比较有代表性的有SECOND、PointPillar、PV RCNN，这里不展开讲。

这是驭势研发的一个最新的点云网络方面的工作，基于注意力边界的3D目标检测模型。基本思想是由于点云看到的目标物边界比较稠密，在Voxel的基础上在边界处增加注意力机制进行增强；在主分支做完后做refine，并结合了其他的改进，总体得到了一个很不错的效果。在今年9月份，这个工作在KITTI 3D Object Detection上排名第一。

四

商业化案例

下面简单介绍一下驭势的商业化案例。我们现在商业化落地的重点在无人物流。我们和五菱、一汽等主机厂物流有长期合作，此外也包括一些化工厂、食品厂等，他们厂区内部有很多运货的车每天不分昼夜在跑，这些工作都是可以被无人驾驶取代来发挥作用的。无人驾驶现在还不能在公开道路上实现“无安全员”商业运营。但驭势科技目前可以实现在机场、厂区内“无安全员”。

机场无人物流

我们进入香港机场已经两三年，目前每天都是若干辆车在常态化的无人驾驶运输货物。因为机场那边要求全天候运行，在一些有挑战的情况，比如大雨也需要正常运营。（播放视频）这是现场录制的无人驾驶拖车在雨中运行的情况。

厂区无人物流

厂区无人物流是我们另一个非常成功的案例，和上汽通用五菱的合作厂区物流是从2019年就开始做的，我们建成了国内首条无人驾驶的线路，目前达到了全球无人物流运行里程第一和无人物流车数量第一。在那边的厂区中，我们在20多条路线上，100台车7×24小时不间断运作，共运行了20多万公里的总里程。初期线路不是特别多，也有算法、软硬件方面的一些小问题，但是随着我们在运营过程中不断的优化和迭代，现在的问题数量已经下降了非常多，运营很稳定。

RoboTaxi

RoboTaxi这边，我们今年和东风合作的武汉项目。他们反复考察了多家企业，我们的技术得到了高度认可，成为他们的合作伙伴之一。

我们跟上汽大众也在合作RoboTaxi项目，也持续合作好几年了，上汽大众非常认可我们的技术。

我们在测试RoboTaxi（播放视频），这个场景跟刚才不太一样，是在城乡结合部，场景里交通状况较为复杂。

最后这个是我们跟上汽通用五菱合作的自主代客泊车产品，无激光雷达，是去年到今年做的。  

原文标题：驭势科技：无人驾驶定位与感知技术及应用案例

文章出处：【微信公众号：佐思汽车研究】欢迎添加关注！文章转载请注明出处。

责任编辑：haq