基于量子驱动的神经网络与掩码自注意力机制的多模态驾驶疲劳检测系统

《Engineering Applications of Artificial Intelligence》：Quantum-driven neural network with masked self-attention for multi-modal driving fatigue detection

驾驶疲劳检测对智能自动驾驶系统安全至关重要。本文提出量子驱动框架Q-Fatigue，结合掩码自注意力和量子电路层处理多模态生理信号（EEG/EOG），通过抑制噪声特征和增强跨模态交互提升鲁棒性。实验表明Q-Fatigue在SEED-VIG和SADT数据集上准确率达97%，优于现有方法。

　　

Xu Xu|Chong Fu

东北大学计算机科学与工程学院，中国沈阳110004

摘要

驾驶疲劳检测对于提高智能自动驾驶系统的安全性至关重要。最近，许多研究开发了用于此目的的多模态算法。然而，仍存在两个未解决的挑战：信号的高不确定性和模型检测的低鲁棒性。为了解决这些问题，我们开发了一个名为Q-Fatigue的量子驱动框架，用于利用生理信号进行多模态驾驶疲劳检测。该框架基于掩码自注意力和量子电路层。掩码自注意力帮助模型关注最具信息量的特征并忽略不相关部分。量子电路层作为多模态生理信号内的紧凑型非线性变换器，以更少的参数改善特征交互。Q-Fatigue在种子警觉性脑电图（SEED-VIG）和持续注意力驾驶任务（SADT）数据集上进行了训练和测试，并采用了跨受试者设置。实验结果表明，它非常有效，优于现有方法。

引言

驾驶疲劳检测对于提高智能自动驾驶系统的安全性至关重要（Němcová等人，2020年）。随着可穿戴设备的发展，现在可以实时收集多种类型的生理信号，如脑电图（EEG）、心电图（ECG）和眼电图（EOG）信号（Xu等人，2024年）。其中，EEG信号越来越受到青睐，因为它们直接反映了与警觉性和疲劳相关的大脑活动。其他信号也可以提供更全面和可靠的驾驶员疲劳状态表示。基于此，许多研究开发了基于生理信号的深度学习算法用于驾驶疲劳检测。这些方法可以分为两类。

第一类通常使用单一模态生理信号来检测驾驶过程中的疲劳。例如，Subasi等人（2022年）提出了一种使用单模态EEG信号的机器学习技术。他们通过将信号分解为子带并提取相关特征来检测驾驶员疲劳。Hu等人（2024年）利用多分支深度学习方法增强了基于EEG的驾驶员疲劳检测。他们的方法通过动态图卷积和基于注意力的融合来提取和融合时间和空间特征，以提高准确性和鲁棒性。Li等人（2024年）提出了一种通过神经架构搜索（NAS）自动设计的轻量级模型，用于使用多通道EEG信号进行实时驾驶疲劳检测。他们的模型旨在实现高准确性和低计算成本，适用于资源受限的智能车辆。然而，这些方法可能在鲁棒性方面存在局限性，因为单一信号可能噪声较大或缺乏足够的信息。

第二类基于多模态生理信号来缓解上述问题。例如，Jiao等人（2023年）统计分析了心率变异性（HRV）和皮肤电活动（EDA）特征与使用Karolinska嗜睡量表评估的疲劳水平之间的相关性。他们的研究证明了利用生理信号进行实时疲劳检测的可行性，特别是在驾驶场景中。Zuo等人（2024年）引入了一个结合多尺度熵和BiLSTM模型的框架，从多模态生理信号中提取分心和疲劳信息。通过使用基于熵的重采样方法和特征选择，他们有效解决了由生理信号噪声和不规则采样率引起的挑战。Lyu等人（2025年）提出了一种卷积神经网络（CNN）方法，用于整合EEG和EOG信号进行驾驶员疲劳检测。他们的方法降低了计算复杂性，同时保持了鲁棒性能，适用于实时应用。许多研究已经证实，多模态生理信号可以提高驾驶疲劳检测的预测性能。然而，仍存在两个主要挑战尚未解决。首先，多模态学习需要处理和合并来自不同来源、具有不同时间步长和特征的不同数据类型。其次，情感表达的固有模糊性、不确定性和非线性导致模型检测的鲁棒性较低。

最近，掩码感知注意力（Yang等人，2023a）和量子驱动模型的发展引入了新的方法来解决这些挑战。首先，掩码感知注意力允许模型关注最具信息量的特征并忽略输入的不相关部分。Wang等人（2025年）提出了一种并行空间-谱注意力机制和掩码感知学习策略，以解耦高光谱信息，同时适应性地解决由二进制掩码引起的数据丢失导致的预测不确定性。Wu等人（2023年）提出了一种用于视频的掩码自动编码器预训练框架，在重建过程中引入空间注意力dropout以增强时间对应学习。另一方面，量子感知模型可以编码更丰富的情感表示，增强跨模态交互，并可能降低计算开销（Liu等人，2023a）。通常，Li等人（2023年）提出了一种受量子启发的模型，将模态特征视为量子状态，以保留情感不确定性，并使用Q-注意力根据学习到的优先级自适应地整合多模态信息。Liu等人（2023b）提出了一种量子概率驱动框架，用于联合多模态分析讽刺、情感和情绪，利用量子理论来模拟经典概率无法捕捉的固有上下文不兼容性。

基于上述讨论，我们开发了一个名为Q-Fatigue的量子驱动框架，用于利用生理信号进行多模态驾驶疲劳检测。该框架基于掩码自注意力和量子电路层。基于EEG/EOG的疲劳识别受到噪声和异构记录的挑战，其中某些通道或时间段可能被伪影破坏或可靠性较低。为了在这种条件下提高鲁棒性，我们引入了掩码注意力机制，以抑制不可靠的特征并实现稳定的跨模态聚合。此外，为了在有限的受试者覆盖范围内模拟EEG和EOG特征之间的高阶交互，我们引入了一个轻量级量子电路层（QCL）作为混合量子-经典架构中的紧凑交互模块。具体来说，Q-Fatigue首先应用单独的卷积层从每个与EEG相关的模态中提取空间特征，然后使用模态特定的Transformer编码器捕获长期时间依赖性。EOG特征使用多层感知器（MLP）进行转换。所有模态特征随后使用掩码自注意力机制进行连接和细化，以模拟时间和模态间关系。融合的特征通过一系列全连接层进行降维和最终回归输出。在最后阶段应用了一个量子层以增强特征表示。与其他受量子启发的研究（Li等人，2023年；Liu等人，2023b）不同，QCL被用作紧凑的交互模块，以模拟EEG-EOG耦合并在有限的受试者覆盖范围内提高鲁棒性。Q-Fatigue在种子警觉性EEG（SEED-VIG）（Zheng和Lu，2017年）和持续注意力驾驶任务（SADT）（Cao等人，2019年）数据集上进行了训练和测试，并采用了跨受试者设置。广泛的实验结果表明，它非常有效，优于现有的最先进（SOTA）算法。我们的主要贡献总结如下。

• 1.
  本研究开发了一个基于掩码自注意力和量子电路层的量子驱动框架，用于多模态驾驶疲劳检测。广泛的结果表明，Q-Fatigue非常有效，优于现有的同类算法。我们的代码将在https://github.com/Anonymous/Q-Fatigue上提供。
• 2.
  掩码自注意力已被发现可以使模型关注信息量大的特征并忽略不相关部分，从而提高效率和性能。
• 3.
  量子电路层作为多模态信号内的紧凑型非线性变换器，以更少的参数改善特征交互。

本文的组织结构如下。首先，第2节回顾了多模态驾驶疲劳检测的最新进展，并提供了必要的背景。第3节介绍了所提出的模块并详细阐述了整体网络架构。第4节描述了使用的数据集并详细说明了实现设置。随后，第5节展示了实验结果并讨论了其意义。最后，第6节总结了本文并概述了未来研究的潜在方向。

部分摘录

驾驶疲劳检测

驾驶疲劳检测对于确保安全性至关重要，特别是在驾驶场景中。最近的进展集中在使用生理信号和多模态系统来提高检测准确性和实时性能。这些研究在表1中进行了总结。

网络架构

为了通过结合经典表达能力和量子纠缠特征来增强回归能力，我们提出了一个量子驱动框架。整体工作流程如图1所示。该模型由几个组件组成，旨在处理多模态输入以检测驾驶员疲劳。对于与EEG相关的模态，它们从四个卷积层开始，每个输入模态一个，使用3 × 3的核大小和1的填充来提取空间特征，然后是

数据集

SEED-VIG数据集是使用模拟驾驶系统收集的，参与者坐在真实车辆中，面对一个大型液晶显示器（LCD）屏幕，该屏幕显示了四车道高速公路场景（Zheng和Lu，2017年）。车辆通过方向盘和油门控制，场景根据参与者的动作实时更新。实验主要在下午进行，以便更容易诱发疲劳。使用Neuroscan记录EEG和EOG信号

检测性能

SEED-VIG数据集用于训练和测试所提出的Q-Fatigue模型。性能使用关键指标进行评估，即准确性、精确度、召回率、F1分数、RMSE和PCC，并在表3中进行了总结，其中报告了平均值和标准差（STD）。

如表3所示，Q-Fatigue在不同受试者中表现出强大的鲁棒性和泛化能力，平均准确率为97.0%，精确率为95.9%，召回率为97.2%，F1分数为96.9%，RMSE为0.20，PCC为0.92。

结论

本研究开发了一个用于利用生理信号进行多模态驾驶疲劳检测的量子驱动框架。该模型结合了掩码自注意力和量子电路层。掩码自注意力使模型能够关注最具信息量的特征，同时忽略无关输入。同时，量子电路层作为多模态生理信号内的紧凑型非线性变换器，以更少的参数增强特征交互。Q-Fatigue

CRediT作者贡献声明

Xu Xu：撰写——原始草稿，验证，监督，正式分析，数据整理。Chong Fu：撰写——审阅与编辑，监督，项目管理。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。