雷洪钧:汽车自动驾驶技术与实例的研究(上)

电子说

1.2w人已加入

描述

汽车自动驾驶系统(Motor Vehicle Auto Driving System),是一种通过车载电脑系统实现无人驾驶的智能汽车系统,又称无人驾驶汽车、电脑驾驶汽车、或轮式移动机器人,还有称自动驾驶汽车(Autonomous vehicles;Self-piloting automobile )的。汽车自动驾驶系统,其结构,一般分为:感知系统、决策系统、执行系统3个部分。

一、汽车自动驾驶技术基础知识

1.0感知系统

感知系统,是用摄像头(眼睛)看前面的路,还在用雷达(耳朵)听车周围(前、后、左右)的车、人及实体的,甚至会用信息识别单元(大脑)在分析、判断。感知系统由三部分组成,传感器、高精度地图、信息识别单元等。

(1)传感器,主要有光学摄像头和雷达,相当人的眼睛和耳朵,其主要功能是车辆收集周围的“即时信息”。为无人驾驶车辆提供完整、准确的环境数据,长用的传感设备包括:

(a)光学摄像头;(b)光学雷达(LiDAR);(c)微波雷达;(d)导航系统等。

(2)高精度地图,提供的环境信息中相对固定、更新周期较长的信息,比如车道标记、路缘、交通信号灯等;

(3)信息识别单元,对传感器接收到信息,利用深度学习等手段,对信息进行识别,目前对外界事物进行准确识别基本算法和技术有:误差反向传播算法和先进的数字摄像技术。

1.1摄像头是众多预警、识别类ADAS功能的基础

1)摄像头的主要应用

车载摄像头对于智能驾驶是必不可少设备,主要应用于:车道偏离预警(LDW)、车道保持辅助(LKA)、前向碰撞预警(FCW) 行人碰撞预警(PCW)、全景泊车(SVP)、驾驶员疲劳预警、交通标志识别(TSR)。

2)光学摄像头优缺点

光学摄像头是最常用的车载传感器,同时价格最便宜,是场景解读的绝佳工具,优点是能分辨颜色,缺点是:

(a)对光线过于敏感,比如过暗或过强的光线以及二者之间的快速切变,都足以影响它的成像的效果,尤其是车辆驶入和驶出隧道,更为明显;

(b)没有立体视觉效果时,缺乏“深度“,无法判断物体和相机(车辆))间的距离。

3)光学摄像头,按安装位置不同的分类车载摄像头布置位置(见图1)主要包括内视摄像头、后视摄像头、前置摄像头、侧视摄像头、环视摄像头等。韩国最大的车载摄像头制造商Mcnex公司预测,当摄像头成功取代侧视镜时,汽车上的摄像头数量将达到12个。

图1  车载摄像头布置位置 

(a)其中前视摄像头使用频率最高,一般为广角镜头,安装在车内前挡风玻璃上较高的位置或者后视镜上,以实现较远的有效距离;

(b)单一摄像头可实现多重功能,如行车记录、车道偏离预警、前向碰撞预警、行人识别等;

(c)单一前视摄像头,通过算法开发优化,可以实现多重功能,通过算法整合,实现更多ADAS功能;

(d)单车多摄像头将成为趋势。要实现全套ADAS功能,单车需配备至少5个摄像头。 特斯拉Autopilot 2.0的硬件系统中就包含8个摄像头。

4)摄像头的感光元件(CMOS)摄像头的感光元件,分CMOS和CCD两种,在百万像素内,两者的感光效果差距是不大。CCD价格相对昂贵,而CMOS具有节能、成本低廉等特点,CMOS,是车载车载摄像头目前首选的感光元件。

5)车载摄像头的特殊要求车载摄像头,工艺与技术门槛较高,除了对模组和封装要求较高,且对稳定性以及规格上也有特殊要求:

(a)对车辆后方与侧面进行摄影的模块,能够抑制低照度摄影时的噪声,即使是在晚上,也必须能很容易地捕捉到影像;

(b)车载摄像头模块,水平视角扩大为25°~135°,要实现广角以及影像周边部位的高解析度(注意:手机中摄像头模块的水平视角大多为55°左);

(c)车载摄像头模块的机身,要求抑制电磁干扰、机械强度好、有一点耐高温性;

(d)车载摄像头模组,是关乎行车安全的组件,还必须能在供电系统暂时断电时可靠地工作。

1.2图像信号处理器ISP及核心算法

1)图像信号处理器ISP

ISP是对前端图像传感器输出信号处理的单元,其架构为逻辑部分以及运营在其上的firmware(固件)。ISP有独立和集成两种方案,独立ISP芯片性能强大,在短期内仍是主流,但成本较高。CMOS传感器集成(内置)ISP的集成产品(见图3),成本低、面积小、功耗低、但能够完成的算法相对简单,处理能力较弱,后期在处理能力上有望实现新突破。

摄像头

图3   图像信号处理器ISP

其功能包括3A、坏点校正、去燥、强光抑制、背光补偿、色彩增强、镜头阴影校正等处理。

2)图像信号核心算法芯片

目前,主流算法芯片方案主要包括:

(a)嵌入式方案,如ARM、DSP、ASIC、MCU、SOC、FPGA、GPU等,其中ARM、DSP、ASIC、MCU、SOC是软件编程的,难以满足ADAS视觉系统中对响应速度的要求;

(b)直接编程处理方案,如现场可编程门阵列(FPGA)是可编程器件,速度较高。FPGA编程和优化都是直接在硬件层面进行的,能耗会低很多,在平衡算法和处理速度,尤其是用于前装并且算法稳定时,FPGA被视为一个推荐方案。

目前对核心算法芯片的要求:

(a)芯片,必须达到车规级的标准,即道路车辆功能安全标准中的ASIL—B甚至ASIL—D级别;

(b)高宽带,特别是多传感器融合的芯片,需要更高的芯片频率,以及异构设计;

(c)硬件的深度学习设计,满足人工智能计算模型要求;

(d)较低的成本和能耗,以实现在智能汽车领域的推广。

3)深度学习法

(a)深度学习,其概念源于人工神经网络的研究,是机器学习中一种基于对数据进行表征学习的方法。

(b)深度学习,含多隐层的多层感知器就是一种深度学习结构。观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等;

(c)深度学习,通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示;

(d)深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

(e)卷积神经网络是第一个真正多层结构学习算法,它利用空间相对关系减少参数数目以提高训练性能; 

(f)深度机器学习方法,也有监督学习与无监督学习之分.不同的学习框架下建立的学习模型很是不同。例如,卷积神经网络(Convolutional neural networks,简称CNNs)就是一种深度的监督学习下的机器学习模型,而深度置信网(Deep Belief Nets,简称DBNs)就是一种无监督学习下的机器学习模型。

1.3)现场可编程门阵列(FPGA)板卡(见图4)

摄像头

图4  现场可编程门阵列(FPGA)板卡 

FPGA拥有大量的寄存器资源使其能非常好的应对复杂的高速控制应用和数据处理,小到MP3,大到地球卫星,飞船都有其用武之地。PLD(可编程逻辑器件,Programmable Logic Device)的发展经历了:

(a)可编程只读存储器PROM (Programmable Read only Memory);(b)可编程逻辑阵列器件PLA ( Programmable Logic Array);(c)可编程阵列逻辑PAL (Programmable Array Logic);通用阵列逻辑GAL ( Generic Array Logic);(d)复杂可编程逻辑器件CPLD(Complex Programmable Logic Device);(e)现场可编程逻辑阵列FPGA(Field Programmable Gate Array)阶段。

现场可编程门阵列与传统逻辑电路和门阵列(如PAL,GAL及CPLD器件)相比,FPGA具有不同的结构。FPGA利用小型查找表(16&TImes;1RAM)来实现组合逻辑,每个查找表连接到一个D触发器的输入端,触发器再来驱动其他逻辑电路或驱动I/O,由此构成了既可实现组合逻辑功能又可实现时序逻辑功能的基本逻辑单元模块,这些模块间利用金属连线互相连接或连接到I/O模块。

1.4 全景(360°)影像系统图像拼接技术

360°全景影像系统图像拼接技术是在车身周围安装多个超广角摄像头,同时采集车辆四周的影像,经过图像处理单元矫正、拼接之后,能形成一幅车身四周的全景俯视图(见图2)。在屏幕上,可以直观地,看到车辆所处的位置以及车辆周报的障碍物,从容操纵泊车入位或通过复杂路面。

图5  360°全景影像系统图像

1.5毫米波雷达能够监测到大范围内车辆的运行情况

微波雷达的原理和激光雷达类似,但它发射的是无线电波,而不是激光。微波雷达价格低、体积小,但精度不及激光雷达。毫米波的波长介于厘米波和光波之间, 毫米波兼有微波制导和光电制导的优点:

(a) 它较大的波长可以穿透雾、烟、灰尘等,激光雷达难以穿透的障碍,较好免疫恶劣天气;

(b)同厘米波导引头相比,毫米波导引头具 有体积小、质量轻和空间分辨率高的特点;

(c)与红外、激光等光学导引头相比,毫米波导引头穿透雾、烟、灰尘的能力强,传输距离远,具有全天候全天时的特点;

(d)毫米波雷达,性能稳定,不受目标物体形状、颜色等干扰。能很好的弥补了如红外、激光、超声波、 摄像头等其他传感器在车载应用中所不具备的使用场景。

这些特性使得毫米波雷达能够监测到大范围内车辆的运行情况,同时对于前方车辆的速度、加速度、距离等信息的探测也更加精准,因此是自适应巡航(ACC)、自动紧急刹车(AEB) 的首选传感器。目前24GHz毫米波雷达系统是市场的主力产品,77GHz毫米波雷达系统,是未来的趋势。

图6  毫米波雷达产品外形及结构 

毫米波雷达(见图6)的探测距离一 般在150m-250m之间,有的高性能毫米波雷达探测距离甚至能达到300m,可以满足汽车在高速运动时探测较大范围的需求。毫米波雷达应用于汽车的防撞系统,其基本原理(见图7):车载毫米波雷达利用电磁波发射后遇到障碍物反射的回波对其不断检测,计算出与前方或后方障碍物的相对速度和距离。

摄像头

图7  汽车防撞雷达原理框图

当车辆行进中时,发射机产生的雷达窄波束向前发射调频连续波(FMCW)信号,当发射信号遇到目标时被反射回来,并为同一天线接收,经混频放大处理后:

(a)根据其差拍信号时间差,来表示雷达与目标的距离;

(b)根据差频信号相差与相对速度关系,计算出目标对雷达的相对速度及危险时间;

(c)从而通过防撞系统对车辆做出预判警告。

1.6激光雷达是将成为一种不可替代的传感器

激光雷达(见图8),即利用激光来进行探测和测量。其精度有优良。其原理是向周围发射脉冲激光,遇到物体后反射回来,通过来回的时间差,计算出距离,从而对周围环境建立起三维模型。  (1)激光雷达具有非常优越的性能  (a)激光雷达分辨率高,并且探测距离很长,在200米以上;  (b)激光的波长短,所以可以探测到非常微小的目标;  (c)激光雷达可以获得极高的角度、距离和速度分辨率,可以利用多普勒成像技术获得非常清晰的图像;  (d)激光直线传播、方向性好、光束非常窄,弥散性非常低,探测精度高;  (e)激光抗有源干扰能力强。自然界中能对激光雷达起干扰作用的信号源不多。

(2)车用激光雷达类别

图8   不同规格车用激光雷达产品

激光雷达是一种通过发射激光束探测目标的位置、速度等特征量的雷达系统。激光波段位于0.5μm-10μm,以光电探测器为接收器件。按雷达频段分,可分为超视距雷达、微波雷达、毫米波雷达以及激光雷达等。

(3)激光雷达的空间建模

三维激光雷达一般安装在车顶, 可以高速旋转,主要功能:  (a)以获得周围空间的点云数据,从而即时绘制出车辆周边的三维空间地图;  (b)可以测量出周边其他车辆在,三个方向上的距离、速度、加速度、角速度等信息;  (c)结合 GPS 地图计算出车辆的位置;  以上庞大丰富的数据信息传输给 ECU,经 分析处理后,可以供车辆快速做出判断。

(4)车用激光雷达方案

激光雷达尽量要被做成小体积直接嵌入车身,意味着要将机械旋转部件做到最小,有许多厂家改为固定激光光源,通过内部玻璃片旋转的方式改变激光光束方向,实现多角度检测的需要。

车用激光雷达方案有以地图为中心和以汽车为中心两者方案:

(a)以地图为中心:激光雷达可以绘制高精度地图,以Google和百度等互联网企业的无人驾驶汽车是以地图为中心;  (b)以汽车为中心:对整车企而言,要一款专为汽车量身定制的激光雷达产品。不同的汽车,对激光雷达产品有自己的要求。

1.7高精度地图系统

1)高精度地图是面向自动驾驶汽车导航地图(a)是针对人工驾驶汽车的,高精度地图(见图9 (b))是面向自动驾驶汽车,实时性、复杂路况和高可靠性等车规级附加的要求的,其精度已经实现厘米级的误。

目前高精度地图有辅助环境感知功能:在高精地图上标注详细道路信息,辅助汽车在感知过程中进行验证。比如车辆传感器感知到前方道路上的坑洼,可以在跟高精地图中数据对比,如果地图中也标记了同样的坑洼,就能起到验证判断的作用。

2)高精度地图组成

高精地图分为两个层级(见图10),最底层的是静态高精地图,上层是动态高精地图,含有:

(a)车道模型:即引导车辆从A地开往B地的道路规划,包括车道上详细信息的和连接关系。  (b)道路部件(Object):包括交通标志、指示牌、龙门架、路杆等路侧及路面的各类物体,当车辆传感器探测到这些道路物体,然后再对比地图,便可得知车辆的精确位置。  (c)道路属性:包括道路的曲率、航向、坡度以及横坡,帮助车辆执行转向、加减速。  (d)多传感器定位的特征图层。

摄像头

图10   高精度地图组成

动态高精地图:由于路网每天都有变化,如道路标识线磨损及重漆、交通标示改变等、如道路拥堵情况、施工情况、是否有交通事故、交通管制情况、天气情况等动态交通信息。这些变化需要及时反映在高精地图上,以确保无人车行驶安全。

4)导航地图与高精地图的主要区别

主要体现在使用者不同、用途不同、所属系统不同、要素和属性不同。

(a)导航地图的使用者是人导航地图用于人工导航、搜索,在车内属于车载信息娱乐系统,带显示屏,要素跟属性方面,导航地图仅包含简单道路线条、信息点(POI)、行政区划边界,基础道路导航功能,包括由A地到B地的路径规划,车辆和道路的定位匹配。 (b)高精地图的使用者是计算机高精地图属于车载安全系统,包含曲率、坡度、航向、横坡等数学属性(见图11)。用于高精度定位、辅助环境感知、规划与决策,包含详细道路模型,包括车道模型、道路部件、道路属性和其他的定位图层。具备辅助完成实现高精度的定位位置功能、道路级和车道级的规划能力、以及车道级的引导能力。

摄像头

图11   道路数学属性

5)高精地图等级划分

高精地图精度,分两个维度:一是地图本身的精度,二是高精地图对自动驾驶的汽车实时精准定位的精度,业内对产品的要求是都要控制在10cm以内。从数据的精确度和丰富度来讲,高精地图等级设定为三个等级,分别是:

(a)L2级(ADAS用的):业内称为ADAS Vector Map;  (b)L3级高精地图:也称为Vector Map、Intensity Map、Objects Map;  (c)L4级的高精地图:业内称为Occupancy Map。

对于高精地图来说,必须做到实时更新。要想实现 L3 级别和更高的自动驾驶,必须要使用到高精地图。

目前高精度地图采集方案均基于移动测量技术,是对于路面信息,进行精度更高的扫描和处理后生成的地图。通过32线/16线车载激光雷达+相机采集道路数据,AI算法+三维人机交互软件完成地图绘制,其精度均达到5-10厘米的误差。

摄像头

5)ADAS(主动安全场景)的地图

ADAS(主动安全场景)的地图是介于普通的导航电子地图和高精度地图之间的。ADAS 对地图的精度要求不是很高,在普通的导航电子地图精度上,需要追加一些 ADAS 属性,比如曲率、坡度、Heading Angle、更加精确的车道数量等属性,制作成本相对不高。

(a)依据目前车速、汽车刹车速度及司机反映时间,有一个自适应速度建议,ASR ( Adaptive Speed Recommendation ) 功能;  (b)会提前 50-300 米提醒用户减速;  (c)在有转弯 ( curve ) 的路段,ASR 会综合路宽、车道数目、整个路况等因素计算合理的汽车速度,提醒用户减速。

1.5高精度定位

高精度定位:把自动驾驶汽车上传感器感知到的环境信息与高精地图对比,得到车辆在地图中的精确位置。高精地度起到了高精度定位、辅助环境感知、规划与决策等功能。

自动驾驶通过人工智能算法决策做出车道及路径规划,给制动、转向、加速等控制器下达指令,控制车辆开往目的地。

(1)高精度定位系统构成高精度定位系统由移动站和局部基站构成(见图10)。移动站安装于车辆,局部基站安装于楼顶。

摄像头

图13  高精度定位系统 

(a)局部基站是整个定位系统的基准框架,长期连续跟踪观测卫星信号,通过无线数传电台实时播发基准站差分改正信息,并实时为各车载移动站提供高精度的载波相位差分(Real-time Kinematic,RTK)数据及起算坐标。  (b)移动站接收来自空间卫星信号及局部基站数据,进行 RTK 实时解算,求得厘米级的高精度实时坐标。

摄像头

图14  车载移动站示意图

由于本篇专家文章篇幅过长,请看下一篇推文《雷洪钧:汽车自动驾驶技术与实例的研究(下)》

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分