基于深度学习的驾驶员打哈欠识别技术：通过细微的口部动作进行判断

驾驶员打哈欠识别方法提出基于自适应关键帧选择（AKS）和非常深层卷积网络（VDCN）的解决方案。AKS分两阶段消除冗余帧：第一阶段用欧氏距离自适应筛选，第二阶段引入特殊均方根误差（SRMSE）避免不合理剔除。改进VDCN采用Max-Ave池化策略，提升特征提取效率，实验验证其在时间开销、识别准确率和鲁棒性上优于基准方法。

　　

摘要：

驾驶员打哈欠的行为是检测疲劳驾驶行为和设计智能车辆高级驾驶辅助系统（ADAS）的关键指标。本文提出了一种基于自适应关键帧选择（AKS）策略和非常深度卷积网络（VDCN）的驾驶员打哈欠识别方法。为了减少时间开销并提高识别精度，AKS策略采用级联方式设计，分为两个阶段来消除冗余帧。在第一阶段，根据欧几里得距离（ED）以自适应方式初步消除冗余帧。在第二阶段，提出了一种特殊的均方根误差（SRMSE）方法，以避免在第一阶段不合理地删除一些代表性帧。在选定的关键帧基础上，设计了一种采用Max-Ave池化策略的改进型VDCN来识别打哈欠行为。基于改进的VDCN，提取能够反映打哈欠行为的深度特征并用于识别该行为。为了验证基于AKS策略和VDCN的打哈欠识别性能，选取了几种基准方法作为对比对象。一系列实验表明，所提出的方法在时间开销、识别精度和鲁棒性方面具有更好的表现。

引言

疲劳驾驶是一种危险的驾驶行为，主要表现为注意力不集中、打瞌睡、打哈欠等[1]、[2]。疲劳驾驶行为的识别对于智能车辆而言是一个重要功能[4]、[5]、[6]、[7]。根据美国汽车协会交通安全基金会的调查，在美国，疲劳驾驶导致了21%的交通事故死亡，超过70%的受访者经历过疲劳驾驶[7]、[8]。根据美国国家公路交通安全管理局（NHTSA）的数据，2019年美国有38,120人在高速公路交通事故中丧生[9]。此外，每年约有20%到30%的致命交通事故是由疲劳驾驶引起的[10]。由于疲劳驾驶的危害性严重，准确识别疲劳驾驶行为具有重要意义。驾驶员的疲劳行为主要可以通过面部表情来识别，例如眼球运动和嘴部动作。与眼部信息相比，嘴部信息更为重要，因为驾驶员的眼睛可能会被太阳镜或近视眼镜遮挡。打哈欠是嘴部的关键动作，可以很好地反映驾驶员的疲劳状态。本文的动机是探索一种科学的驾驶员打哈欠识别方法，以提高识别速度、准确性和鲁棒性。