汽车疲劳驾驶识别预警系统如何识别驾驶员疲劳状态？

驾驶疲劳是指驾驶员由于睡眠不足或长时间持续驾驶造成的反应能力下降，这种下降表现在驾驶员困倦、打瞌睡、驾驶操作失误或完全丧失驾驶能力。 

驾驶疲劳反映在生理与心理两个方面，生理反映包括神经系统的功能、血液和眼睛的变化；心理反映包括反应时延长、注意力分散、动作不协调。美国印第安那大学对交通事故原因的调查研究发现85％的事故与驾驶员有关，车辆和环境因素只占15％。 

驾驶员在事故发生前一瞬间的行为和故障直接导致了事故的发生，这些行为包括知觉的延迟、对环境的决策错误、对危险情况的处理不当等。在所有的驾驶员错误中，最常见的是知觉延迟和决策错误，这些错误会产生注意力不集中、反映迟钝、操作不当等，产生这些错误的根本原因就是驾驶疲劳。由于司机疲劳驾驶导致警惕性水平的下降，从而造成交通事故的增长，这已成为了社会普遍关注的一个热点。

如果司机疲劳驾驶，那么他的观察、识别和车辆控制能力都会显著下降，严重威胁自身的安全和其他人的生命。随着交通运输业的发展，交通事故已成为当前各国所面临的严重问题。 

驾驶人疲劳状态主要监测方法

关于驾驶人疲劳及注意分散等安全状态的监测预警技术，由于它在交通事故预防方面的发展前景而受到各国高度的重视，研究人员根据驾驶人疲劳时在生理和操作上的特征进行了多方面的研究，一些研究成果已形成产品并开始进入市场。 

驾驶人疲劳状态的检测方法可大致分为基于驾驶人生理信号、基于驾驶人生理反应特征、基于驾驶人操作行为和基于车辆状态信息的检测方法。

1、基于驾驶人生理信号的检测方法

针对疲劳的研究最早始于生理学。相关研究表明，驾驶人在疲劳状态下的生理指标会偏离正常状态的指标。因此可以通过驾驶员的生理指标来判断驾驶人是否进入疲劳状态。目前较为成熟的检测方法包括对驾驶人的脑电信号EEG、心电信号ECG等的测量。 

研究人员很早就已经发现EEG能够直接反映大脑的活动状态。研究发现在进入疲劳状态时，EEG中的delta 波和theta 波的活动会大幅度增长，而alpha波活动会有小幅增长。另一项研究[6]通过在模拟器和实车中监测EEG信号，试验结果表明EEG对于监测驾驶人疲劳是一种有效的方法。研究人员同时发现，EEG信号特征有很大的个人差异，如性别和性格等，同时也和人的心理活动相关很大。 

ECG主要被用于驾驶负担的生理测量中。研究表明在驾驶人疲劳时ECG会明显的有规律的下降,并且HRV （心率变化）和驾驶中的疲劳程度的变化有潜在的关系。 

基于驾驶人生理信号的检测方法对疲劳判断的准确性较高，但生理信号需要采用接触式测量，且对个人依赖程度较大，在实际用于驾驶人疲劳监测时有很多的局限性，因此主要应用在实验阶段，作为实验的对照参数。 

2、基于驾驶人生理反应特征的检测方法

基于驾驶人的生理反应特征的检测方法是指利用驾驶人的眼动特性、头部运动特性等推断驾驶人的疲劳状态。 

驾驶人眼球的运动和眨眼信息被认为是反映疲劳的重要特征，眨眼幅度、眨眼频率和平均闭合时间都可直接用于检测疲劳。目前基于眼动机理研究驾驶疲劳的算法有很多种，广泛采用的算法包括PERCLOS，即将眼睑闭合时间占一段时间的百分比作为生理疲劳的测量指标。  

利用面部识别技术定位眼睛、鼻尖和嘴角位置，将眼睛、鼻尖和嘴角位置结合起来，再根据对眼球的追踪可以获得驾驶人注意力方向，并判断驾驶人的注意力是否分散。 

利用头部位置传感器检测驾驶人点头动作，通过电容传感器阵列输出驾驶人头部距离每个传感器的位置,可实时跟踪头部的位置,根据头部位置的变化规律判定驾驶人是否瞌睡, 该研究发现点头的动作和瞌睡有非常好的相关性。 

基于驾驶人生理反应特征的检测方法一般采用非接触式测量，对疲劳状态的识别精度和实用性上都较好。 

3、基于驾驶人操作行为的检测方法

基于驾驶人操作行为的驾驶人疲劳状态识别技术，是指通过驾驶人的操作行为如方向盘操作等操作推断驾驶人疲劳状态。 

利用对监测到的驾驶人的方向盘操作数据进行处理，研究结果在一定程度上揭示了驾驶人的方向盘操作与疲劳之间的关系。研究指出方向盘的操作是一种有效的驾驶疲劳的判断手段。  

总体来说，目前利用驾驶人操作行为进行疲劳识别的深入研究成果较少。驾驶人的操作除了与疲劳状态有关外，还受到个人习惯、行驶速度、道路环境、操作技能的影响，车辆的行驶状态也与车辆特性、道路等很多环境因素有关，因此如何提高驾驶人状态的推测精度是此类间接测量技术的关键问题。 

4、基于车辆行驶轨迹的检测方法

利用车辆行驶轨迹变化和车道线偏离等车辆行驶信息也可推测驾驶人的疲劳状态。这种方法和基于驾驶人操作行为的疲劳状态识别技术一样，都以车辆现有的装置为基础，不需添加过多的硬件设备，而且不会对驾驶人的正常驾驶造成干扰，因此具有很高的实用价值。  

基于视频技术的疲劳驾驶识别系统

1999年4月，美国联邦公路管理局首先提出了把PERCLOS作为预测机动车驾驶员驾驶疲劳的可行方法。经过多年的发展，目前，PERCLOS 方法已被公认为最有效的、车载的、实时的驾驶疲劳测评方法。PERCLOS是Percentage of Eyelid Closure Over the Pupil Time的缩写，意为单位时间里眼睛闭合时间所占的百分比。 

PERCLOS的原理即为统计在一定时间内眼睛闭合时所占的时间比例。我们的系统所采用的评判标准为PERCLOS80，指眼睑遮住瞳孔的面积超过80%就认为眼睛闭合。 

PERCLOS测量原理

通过测量出t1-t4就能计算出PERCLOS的值：

其中F代表眼睛闭合时间的百分比，即PERCLOS的值。 

基于视频技术的疲劳驾驶识别系统系统方案及工作流程

驾驶员疲劳监测系统通过视频采集设备获得驾驶员实时图像，自动分析驾驶员的头部姿态、眼睛运动规律以及面部特征等信息来确定驾驶员精神状态，并给出相应的预警提示。研究表明，相比脸部或头部运动规律而言，眼睛的活动规律，如眨眼频率、眨眼快慢、眼睛张开幅度以及眼睛的注视方向等能更好地反映出当前时刻实验对象的精神状态好坏。 

因此，如果能够获得每一帧图像中的双眼大小、位置信息以及运动变化，就可以将一段时间内驾驶员的眼部活动规律统计出来，结合疲劳状态分析指标，就能够对驾驶员疲劳状态进行评价。系统流程如图所示：

  

图像预处理

在驾驶环境下通过视频流采集的图像会受到诸多因素的影响而包含噪声信息，如分辨率、系统噪声、突变背景等，给接下来的图像运算带来干扰。因此，我们对源图像通过直方图均衡化的手段进行预先处理，去除噪声，增强图像对比度，凸显图像细节，提高图像质量。 

         

均衡化前                     均衡化后

        

均衡化前的直方图            均衡化后的直方图

人脸检测

人脸检测环节是人眼定位前的重要步骤。系统采用Adaboost算法，利用提供的样本训练和检测方法。首先采集样本，从已采集的样本集中训练出分类器，该分类器可以很好地区别出人脸和非人脸；在检测环节，加载待检图像帧至分类器中，通过对图像像素点的扫描，找到图像中包含的人脸，标定该区域。后续操作会在已标定的人脸区域中进行，缩小计算区域，排除非人脸因素的干扰，极大地提高了系统的运行速率。 

眼定位

该环节包括人眼粗略定位和人眼精确定位两个阶段。首先，根据中国传统的三庭五眼的先验知识，粗略定位肯定存在人眼的大致区域，该区域可能同时包含眉毛，发角等干扰，但却进一步地缩小了计算区域；接着，将人眼粗略区域通过一定阈值转换为二值化图像，再进行垂直方向上的灰度投影，求得直方图，因为人眼和周围皮肤的灰度存在较大差异，所以可从直方图中的波峰波谷判断出人眼上下边缘的Y坐标，继而可对眼睛进行精确定位。 

眼睛状态判断

通过最大类间方差法（Otsu）在不同的光线下对人眼精确区域进行不同阈值的二值化，分别获取最佳的人眼睁闭状态时的眼部形状。通过对连续N帧的对比可以判断，黑色像素值面积最小时可认为驾驶员当前处于闭眼状态，其他情况下处于睁眼或者半睁眼状态。 

疲劳分析 

系统选取目前公认有效的PERCOLS疲劳程度评价指标，即通过闭眼帧在连续N帧内所占的时间比例来分析疲劳状态，睁眼帧记录为“1”值，闭眼帧记录为“0”值，这样，连续N帧后便可获取关于“1”“0”交错出现的序列，疲劳状态的分析即可用“0”值在该序列中所占的比例来描述，当百分比高于一定的实验比例后即可认为司机可能出现疲劳。 

通过以上五个步骤的操作处理，系统可由采集设备获取的视频流中分析出当前驾驶员是否处于疲劳状态及疲劳程度，给出不同程度的提醒警报，从而达到系统目标。 

疲劳程度的综合判定

驾驶员疲劳的判定会因错误检查带来不良影响，通过 PERCLOS、眼睛闭合时间、眼睛眨眼频率、嘴巴张开程度、头部运动的计算，进行疲劳程度的综合判定，可以准确、有效地进行驾驶员疲劳的检测。 

PERCLOS

PERCLOS是指眼睛闭合时间占某一特定时间的百分率。PERCLOS 方法有 P70，P80 和 EM 三种判定标准。研究表明P80与疲劳程度间具有最好的相关性。 

嘴巴张开程度

嘴巴的状态通常有三种，闭合，说话及打哈欠，在疲劳状态下，人会频繁地打哈会发现该区域下半部分的水平灰度投影曲线有一个波谷，即为嘴唇间位置。对人脸下半部分区域二值化，从嘴唇间向上、下计算连通区域（连通区域可以防止鼻孔及胡须对计算带来影响）的像素值，即可得到嘴巴的张开程度。 

眼睛高度及嘴巴高度补偿

在上眼睑到下眼睑的垂直距离及上嘴唇到下嘴唇的垂直距离时，由于驾驶员头部相对于检测设备有位置移动，因此为了实现驾驶员眼睛高度和嘴巴高度的准确计算，需要修正眼睛、嘴巴与检测设备距离相对变化引起的变化。 

眼睛闭合时间

眼睛闭合时间，一般用眼睛闭合到睁开所经历的时间来表示。人处于正常清醒状态时，眼睛闭合时间是很短的，会迅速睁开眼。而当疲劳时，眼睛闭合时间会明显变长，因此眼睛闭合时间能直接反映驾驶员的精神状态。通过计算从眼睛闭合到睁开的最大帧数，帧数越多，闭合时间就越长，则疲劳程度就越严重。 

眼睛眨眼频率 欠。在人脸下半部分进行水平灰度投影，观察不同单人图像的水平灰度投影曲线，

人在疲劳状态下，眨眼频率会比清醒状态下频率高。本文也将其作为一项参数作为疲劳判断的依据。眼睛闭合到睁开为眨眼一次。累加一段时间内眨眼次数，作为疲劳判断的一项参数。 

头部运动的疲劳参数

驾驶员在疲劳状态下会出现频繁点头，头部向前倾。通过水平灰度积分投影得到眼睛瞳孔、嘴角的水平位置。假设d1为瞳孔水平位置到采集图片的上边缘距离，d2为嘴角的水平位置到采集图片的下边缘距离。在驾驶员疲劳出现点头情况，则 d1增大且 d2减小。驾驶员疲劳时，头部向前倾，则 d1增大且 d2增大。点头和头部向前倾可以作为疲劳判断的一项重要的依据。 

疲劳驾驶监测技术现状

美国Attention Technologies 公司推出的Driver Fatigue Monitor（DD850） 是一款基于驾驶人生理反应特征的驾驶人疲劳监测预警产品。该产品通过红外摄像头采集驾驶人眼部信息，采用PERCLOS作为疲劳报警指标，可直接安装在仪表盘上，报警的敏感度和报警音量均可调节，目前已推广应用，但只有晚上才有效。 

美国Digital Installations 开发的S.A.M.疲劳报警装置利用置于方向盘下方的磁性条检测方向盘转角。如果一段时间内驾驶员没有对方向盘进行任何修正操作，则系统推断驾驶员进入疲劳状态，并触发报警。

  

美国AssistWare Technology 公司的SafeTRAC 利用前置视频头对车道线进行识别，当车辆开始偏离车道时进行报警，该产品也可通过车道保持状态结合驾驶人的方向盘操作特性判断驾驶人的疲劳状态。

  

英国的ASTiD装置综合考虑驾驶员的睡眠信息、已完成的驾驶时长和类型，以及驾驶员的方向盘操作等各种因素判断驾驶人疲劳状态。装置运行前需要驾驶员输入自己过去24小时的睡眠信息。当视觉报警到一定程度时，触发声音报警，建议驾驶员停车并休息。休息一段时间后，内置闹钟会叫醒驾驶员，并重置驾驶时间。

  

除了上述这些产品之外，还有通过手腕运动检测疲劳的疲劳报警手镯和可挂在眼睛腿上的利用加速度运动信息检测头部运动的疲劳检测眼镜等其它一些疲劳检测预警产品。 

对驾驶人疲劳状态监测方法与装置的研究, 对于预防由疲劳驾驶引起的交通事故有重要意义, 其应用前景广阔, 可以预见在未来很长一段时间内都将是汽车安全技术领域的一个热点方向。但是，驾驶人的疲劳状态受多种因素影响，到目前为止还没有发现非常有效的指标或模型能够对疲劳等级进行精确的评价。因此需要进一步深入研究各种指标与驾驶人疲劳等级之间的关系。另外，现有的驾驶人疲劳状态监测方法大都基于某一单项指标，虽然在限定条件下能够达到一定的精度，但在实际复杂多变的行车环境下，其准确性和可靠性上还存在问题，难以达到预期要求。针对这一问题，多源信息融合方法将成为一个发展方向。

责任编辑：PSY

原文标题：汽车疲劳驾驶识别预警系统探秘

文章出处：【微信公众号：传感器技术】欢迎添加关注！文章转载请注明出处。