关于Apollo 2.5预测系统的内容分享

描述

在第4期Apollo自动驾驶公开课中,来自Apollo团队的高级研发工程师-詹锟老师为大家带来了关于Apollo 2.5预测系统的内容分享。

詹锟老师主要从三个方面讲解了Apollo 2.5的预测系统:

第一自动驾驶为什么需要预测,预测的作用是什么,如果没有预测会怎样;

第二从代码层面详述Apollo的预测系统代码是如何实现的,每个模块的功能,如果开发者要改动或者修改应该怎么介入;

第三Apollo预测系统在实际场景中所遇到的困难,以及解决方案。

这里,我们将整理后的公开课视频和资料分享给大家,没能到达现场的开发者可以通过视频和PPT资料来详细了解课程内容。

Apollo 2.5预测系统介绍

预测模块是连接感知和决策规划的桥梁,结合物理世界的人类行为习惯进行适当的逻辑推理,将周围障碍物下一时刻和后续多个时刻的运动行为进行估计,给出对应可能的运动轨迹线。

詹锟老师主要从代码层面剖析Apollo2.5的预测系统。

神经网络

Apollo代码架构预测部分分为3个部分,第一个是Container,作用是合理规划整合上游数据,处理历史信息;第二部分是评估、评价,是预测系统的核心,非常适用于神经网络的学习,建立合理模型,使其找到人类的历史行为轨迹,预测路线。通过第二部分的推理,系统会绘制出物体的行为轨迹,并将结果传递给决策规划层。

Container

神经网络

首先是Container, ADC trajectory可以通过路权做合理的推理,让障碍物不直接发生预测。第二是构建来自感知障碍物、定位和高精图等序列化特征。第三是本车的状态。除了上面的特征抽取以外,更重要一步是需要把地图信息进行合理的规划。

如何在复杂的物理世界中,把地图数据进行合理的刻画,这是非常重要的步骤。通过把每条Lane,拆分成小的Lane,Lane1、Lane2、Lane3,按照前后级关系,组成具体的序列,每个序列上车都可以沿着其中一个序列进行走,就是这个车的轨迹线。上图可以看到红车有可能走三条轨迹线,就是Lane1、Lane2、Lane3,根据当前的地图信息和当前的Lane的位置状态,刻画出这样具有特征表达的地图信息出来,只有物理识别信息进行合理表达,才能进行网络学习、数据驱动,这是根据地图特征信息抽取非常重要的部分。

神经网络

在Apollo代码里,表达出每个特征的特性,如上图左边是关于障碍物的特征,包含了车的位置信息、速度信息、加速信息、位置方向还有它的长、宽、高等等,右边是代表它的Lane信息,把细小的Lane,组成Lane feature。这就是Container需要做的事情。

Evaluator

神经网络

第二部是逻辑推理阶段,这也是预测直接使用神经网络的方式。就Apollo来说,对车辆进行了深度神经网络的学习。具体来讲,结构如图所示,将每个障碍物各自特征输入给LSTM的模型,每个LSTM对特征信息进行了全连接,最后输出走这一条LSTM。第一规划Lane横向行为的分类情况,选择是否走此Lane,选择Lane1还是Lane2。第二是它的动力学,速度是什么样的,就是它纵向的问题。第一是分类问题,同时结合在一个神经网络中,这是Apollo 2.5的神经网络。

前面有两种预测方式,开发者可以根据自己的特性选择自己的评价网络,只是这个结构可以根据Apollo配置。

Predictor

选择某条Lane或者知道Lane上面的速度以后,可以绘制出这个物体在Lane的行为轨迹,具体怎么绘制,有以下三种方式:一个是Free move,根据障碍物的动力学模型绘制出轨迹。第二是Lane sequence,就是根据车道中心线和Kalman滤波方法绘制的轨迹。第三是Move sequence,结合里学和车道信息融合后降采样的轨迹方式。第四是Regional,根据障碍物动力学和轨迹3Sigma方差构建的区域轨迹。

Apollo Data

数据开发者来说是非常重要的一部分,Apollo开放的数据对预测有很好的作用,基于Apollo Data,可以通过自己采集以及周围开发者共享数据进一步开发预测模型 。

神经网络

Apollo Data的数据使用规范:

使用SL坐标系,车在轨道上做相对轨道的刻划,然后确定要走的车道线每一个车道的状态。通过这样的数据结构,给特定的Lane,检测它到底走没走这条线,通过这样的数据训练模型,通过数据驱动方式,可能就非常贴切的表达出人类的驾驶行为习惯,而不是通过规则算法来做。

实际效果

通过动图了解一下其效果:

自行车过马路的时候,本来应该是红灯变绿灯了,然后它应该在原地等待车辆驶过,但是其选择了闯红灯,系统能很好的给出预测线,这在预测场景是非常好的应用。

在无人车加速过路口的时候,有一个被隔离带遮挡的障碍物出现了,同时其也选择在无人车之前抢过这个路口,因此此时必须要有预测提前给主车提供这样的信号,让主车能及时做反应,而不是发生更危险的情况,这就是预测在承上启下作用中,有非常好的范围。

其实在中国的这些道路场景中,预测其实还遇到了非常多困难,最大的挑战预测其实是在路口上。路口有很多种行为方式,比如一个车道既可以调头,也可以左转,也可以直行,还有各种社会车辆不按轨迹行走,这其实也是对预测有非常大的困难。如图左侧车辆并没有按照真正的轨迹走,这样的场景对主车是非常大的威胁,理论上从交规上肯定是他们的过错,但是主车一切以安全为先,所以主车必须避让。对这样的场景,预测还是有很多困难。

第二场景是博弈的问题,低速过程中往往发生博弈现象,到底是哪辆车先走,这个情况是非常常见。如图中,两辆车都在等待对方先行,一方先行后,另一方又要开始行驶,所以需要进行上下游的沟通,才能进行更好的处理。

第三个场景是切车,有一些车辆行为比较暴躁,会在非常不合理的情况下急速加塞进来,导致主车处于很不安全的状态,从规则上并没有问题,但是这种场景对于自动驾驶也是要尽量躲让,这时预测需要更好刻画出驾驶行为是不是很危险、激进。

这种典型的挑战场景,其实还有很多,整个预测的问题也分为这两部分,一个是内部挑战,一个是外部挑战,内部挑战主要是数据怎么能把所有的特征表达充分,模型是否在建立的非常合理,是不是还有更好的建模方式,这都是内部的挑战。

同时既然是承上启下的模块,对上游数据的容忍度、依赖性都需要做一些处理,上游如果感知发出了消息,系统应该怎么根据历史信息做很好的规避?做很好的容错,这也是一个挑战。同时像博弈问题,需要给下游决策做一些很好的交互,怎么提醒它先避让还是先加速过去,这也是给预测带来了非常多困难。

后续Apollo预测还是要不断迭代更新,具体来说,会在特征方面做更多的融合处理,利用历史信息,除了考虑当前的障碍物,还要考虑周围所有障碍物,对全局进行估计。另外模型的迭代,同时数据积累,把仿真和真实打通,作为系统整合,需要上下游的联系,通过多个维度,对预测模块进行整合,这是后续Apollo需要做的事情。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分