无人驾驶定位与感知技术及应用案例

描述

今天分享的内容,分为传感器、定位技术、感知技术、商业化案例四个部分。

传感器

这是整个无人驾驶系统的构成图,底层是车辆,包括车、线控、驱动、制动、转向等;上面是硬件控制部分,计算平台、网络、传感器、线束等;再往上就是系统软件层,包括操作系统、通信中间件等;再往上左边这部分是定位、感知、预测、决策、规划、控制等车端的模块;右边是一些其他的支撑模块和基础设施,包括仿真、安全、高精度地图、V2X、HMI、Cloud等。安全是独立的一部分,它会横跨车端云端的各个环节。

举例这一款无人车,我标记了一下,有四颗机械式Lidar,两个Camera。还有毫米波雷达(包括四个角雷达加一个前向长距的毫米波雷达)。

这辆车没有安装超声波雷达,但在其它的车可能会用。还有车内部安装的传感器,如轮速计、IMU。所有的传感器数据可用于自车定位和环境感知,在规划控制中也会用到轮速计信息。

在自动驾驶里比较纠结的就是成本和性能的矛盾,我们需要平衡它们。

左上角是Waymo的RoboTaxi,它的传感器配置是比较昂贵的,激光雷达是他们自研的,据他们讲成本控制得比较低。但真实的商业场景里面会有多方面的约束,包括成本、算力、功耗等。我们不可能用台式机做计算,真到正式量产,我们只能使用嵌入式控制器, CPU和GPU的算力显然会比台式机有数量级或者几倍的差距。功耗也是需要考虑的一个因素,车内供电是有限的,控制器耗电,传感器本身耗电也比较高,比如Lidar装的多也比较耗电。

还有天气、光照等其他影响因素,使用场景也会有很多的变化。当然我们做得工作越多,可适用场景也就会越来越多。

下面是我们公司的几种车辆,可以看到,我们车上所装的传感器大部分成本相对不高,因为客户大部分对成本比较敏感。最右边的车是,自主代客泊车,没有安装Lidar。

定位技术

定位技术包括轮速计、IMU、GPS RTK(在空旷的地方效果比较好)、Visual SLAM、Lidar SLAM、稀疏语义定位等。此外,还有一个Home Zone Parking的应用,也是采用Visual SLAM定位技术。

传统的GPS精度差,通过RTK基站消除误差,可以得到一个相对稳定的高精度定位,可以到两三厘米的高精度。

基于视觉特征的视觉SLAM,特征描述要满足视角不变性、尺度变化的不变性、旋转变化的不变性等,常用特征我列了几个,如SIFT、SURF、FAST,其中FAST是比较快的,前两者比较慢。

之前的SLAM框架更多使用一些传统方法提取特征。深度学习从2014、2015年逐步热起来,通常更多用于目标检测,在定位方面也有较多应用。下面是2016年的一个论文,使用AlexNet的feature做place recognition。右边是我们在园区里做的实验,在不同的场景下,左边是建图的image,右边就是定位的image,可以看出在不同时刻、季节变化、极端光线、雾霾天的各种情况下,深度学习方法比传统方法有时候会拿到更好的结果。

我们后来又做了一些工作,也参考了一些其他研究,使用深度学习的方法去提升定位;首先输入的图像,通过Encoder,分出来两个分支去做Decoder,一个是特征点的,另一个是描述子的。

我们的实验结果看起来还是挺不错的,它比传统的ORB方案效果要明显提升不少,匹配的点数增加了不少。我们测了很多的场景,平均下来定位的可用性有显著提升。

第二个,它的跨光照能力比较强,低光照度的情况下优势比较明显,跨季节能力也挺不错。

很多的场景下会用到鱼眼相机,传统的方法就是去畸变,把它作为一个普通的图像去处理,但是这种方法我们实验以后发现效果并不是那么理想。后来我们做了一个工作,用五个立方体,构成一个Cubemap,再做SLAM,实验结果也是挺不错的。这个工作我们也用到了实际工程中。

下图是车位检测,也是很基本的,就是最简单的鱼眼俯视图的拼接,车位检测的目的是为了定位。

我们在一个地库里面做的基于泊车位的定位,这是包括定位、规划、控制在一起的一个闭环过程。

上图是一个Home Zone Parking(也叫记忆泊车),它是一个VSLAM的应用,单目加里程计、加可选的IMU做SLAM的过程。这里的视频中最后提示建图成功了,定位的时候,当你开到上次建图成功的路线,车就会自我定位,之后就进入无人驾驶。这是一个2C的产品,目前在和车企合作量产,用户建一次图,后面再开到该区域,车可以自主定位和导航,可以帮助用户完成自主航渡和泊车,满足最后几百米无人驾驶的需求。

Lidar SLAM包括以下几个子模块:预处理、odometry、地图匹配、闭环检测、全局优化、mapping等,实际使用中通常离线做三维重建和建图,在线的时候做重内位/定位,这是一个基本的使用模式。

下图是基于激光雷达的场景识别(即Place Recognition)。无人驾驶车辆一旦重定位成功后,后续在持续匹配的过程中不容易丢失定位。而初始重定位要保证几乎总是成功和正确是比较挑战的。因为场景非常多,而且有很多场景没有GPS的,可能在室内或者天桥下面,信号被遮挡等,或者树下面可能信号也很差。

在这些情况下,用视觉或者用激光雷达做初始定位就是非常重要的问题。这在学术界是比较热的话题,工业界也会面对这样的问题。我们必须要解决它,否则没有办法做到正确的、高可用的高精度定位。

我稍微再介绍一些比较挑战的场景,不管对视觉还是Lidar来说,可能都会有挑战。对于隧道场景来说,Lidar会更挑战一点,因为在隧道里,可以用的特征很少。上面这个隧道可能有一公里,我们尝试做建图定位的时候,各方面建图的效果都不太好。后来我们做了一些优化,融合了IMU还有里程计以后,整个建图、三维重建,包括后面的建图定位都还不错。

感知技术

这是障碍物感知的一个简单框架图,这只是一部分,像红绿灯检测也算是感知,我就没有画在这里面了。

我重点讲障碍物和目标物的感知,输入主要是image、Lidar的点云、毫米波雷达、超声波雷达等的数据。输入层我们可能会做一些Lidar、Camera的早期融合,也叫前融合。下面我们会有两种算法模块,一个是传统算法,得到障碍物的信息,另一种就是基于深度学习的方法,得到目标物的信息。

整个模块的输出,一个是OGM占据栅格地图,另一个是运动目标列表。整个框架大致就是这样。实际上可能每个公司/研究机构的框架会有一些差异,一些不同的方法都值得探索。

上图是基于视觉的可行驶区域识别,这是最基本的语义分割,需要识别出地面和停车位,其他的就是不可通行部分。

该图是高速路上的语义分割加目标检测的一个基本工作。

下面说一下点云和图像的对比。图像比较规则,而点云维度较高,也比较稀疏。点云在空间中不是一个矩阵式的排列,而是一个稀疏的、无序的点的集合,所以点云的处理相比于图像还是有特殊的挑战。

上图是Lidar做的可行驶区域的分割,左边是原始点云的示意图,绿色的是地面,红色的表示障碍物点;右上是一个2D的栅格图,右下是在2D基础上加一个高度形成2.5D。

激光雷达的目标检测的算法,分成非深度学习的传统算法,和深度学习算法。深度学习算法又分为Multi-View、Range Image、Point-base和Voxel-based等。

VoxelNet也是比较经典的网络,先做划分、Grouping、随机采样,最后构造Feature等。后续有一些不错的研究工作,比较有代表性的有SECOND、PointPillar、PV RCNN,这里不展开讲。

这是驭势研发的一个最新的点云网络方面的工作,基于注意力边界的3D目标检测模型。基本思想是由于点云看到的目标物边界比较稠密,在Voxel的基础上在边界处增加注意力机制进行增强;在主分支做完后做refine,并结合了其他的改进,总体得到了一个很不错的效果。在今年9月份,这个工作在KITTI 3D Object Detection上排名第一。

商业化案例

下面简单介绍一下驭势的商业化案例。我们现在商业化落地的重点在无人物流。我们和五菱、一汽等主机厂物流有长期合作,此外也包括一些化工厂、食品厂等,他们厂区内部有很多运货的车每天不分昼夜在跑,这些工作都是可以被无人驾驶取代来发挥作用的。无人驾驶现在还不能在公开道路上实现“无安全员”商业运营。但驭势科技目前可以实现在机场、厂区内“无安全员”。

机场无人物流

我们进入香港机场已经两三年,目前每天都是若干辆车在常态化的无人驾驶运输货物。因为机场那边要求全天候运行,在一些有挑战的情况,比如大雨也需要正常运营。(播放视频)这是现场录制的无人驾驶拖车在雨中运行的情况。

厂区无人物流

厂区无人物流是我们另一个非常成功的案例,和上汽通用五菱的合作厂区物流是从2019年就开始做的,我们建成了国内首条无人驾驶的线路,目前达到了全球无人物流运行里程第一和无人物流车数量第一。在那边的厂区中,我们在20多条路线上,100台车7×24小时不间断运作,共运行了20多万公里的总里程。初期线路不是特别多,也有算法、软硬件方面的一些小问题,但是随着我们在运营过程中不断的优化和迭代,现在的问题数量已经下降了非常多,运营很稳定。

RoboTaxi

RoboTaxi这边,我们今年和东风合作的武汉项目。他们反复考察了多家企业,我们的技术得到了高度认可,成为他们的合作伙伴之一。

我们跟上汽大众也在合作RoboTaxi项目,也持续合作好几年了,上汽大众非常认可我们的技术。

我们在测试RoboTaxi(播放视频),这个场景跟刚才不太一样,是在城乡结合部,场景里交通状况较为复杂。

最后这个是我们跟上汽通用五菱合作的自主代客泊车产品,无激光雷达,是去年到今年做的。  

原文标题:驭势科技:无人驾驶定位与感知技术及应用案例

文章出处:【微信公众号:佐思汽车研究】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分