基于Transformer融合的自适应多模态学习方法，用于驾驶员认知状态监测，并结合个性化元学习和联邦优化技术

《Scientific Reports》：Adaptive multimodal learning for driver cognitive state monitoring using transformer-based fusion with personalized meta-learning and federated optimization

　　

摘要

由驾驶员疲劳和认知超负荷引起的道路交通事故仍然是重大的公共安全问题。根据最新的交通安全数据，困倦驾驶每年导致数千起致命事故，这凸显了智能驾驶员监控系统的迫切需求。为了解决这一问题，我们提出了一个自适应的多模态深度学习框架（AML），用于实时评估认知工作负荷和检测疲劳，该框架利用了CL-Drive数据集：该数据集包含了21名参与者在九种复杂度逐渐增加的模拟驾驶场景中产生的多模态生理信号，包括脑电图（EEG，用于认知负荷测量）、心电图（ECG，用于心脏活动监测）、皮肤电反应（EDA，用于测量唤醒状态）和眼动追踪（用于视觉注意力分析）。我们的框架结合了CNN-BiLSTM架构，从原始生理信号和眼动序列中提取时空特征，捕捉局部空间模式和长期时间动态。这些特征通过基于Transformer的网络和跨模态注意力机制进行融合，该机制能够建模不同模态之间的相互作用（例如，在分心时将注视点丢失与EEG的θ波段波动相关联），在相同的评估条件下，与最强的传统融合方法相比，准确率提高了3.6个百分点。为了解决个体差异和隐私问题，我们采用了个性化元学习方法——仅通过五个带窗口的样本（约10秒的同步多模态数据）就能对新驾驶员进行适配，并通过联邦优化实现模型分散更新，同时通过自适应梯度压缩将每个客户端的数据传输量减少了38%。在CL-Drive数据集上的实验表明，该框架在严格跨受试者评估下的性能处于领先水平。在不受试者影响的5折交叉验证中，未进行个性化的AML在二元认知负荷分类方面的准确率为80.5±1.8%；当使用20个校准样本（约40秒的数据）进行个性化训练后，准确率提升至91.8±1.2%。在更严格的留一受试者法（LOSO）协议下，未进行个性化处理的AML准确率为77.8±2.6%，而进行个性化处理后的准确率为84.0±1.8%，相比该数据集上最强的传统LOSO基线方法提高了1.6个百分点；仅通过个性化处理，在LOSO和5折交叉验证协议中，准确率又进一步提高了6.2%至11.3%。该框架对现实世界中的传感器噪声（如EEG/EDA的动态干扰）具有鲁棒性，在仅使用5个样本（每个新驾驶员约10秒的校准数据）的情况下，LOSO准确率仍能达到81.5±2.3%，这对于车载系统的可扩展部署至关重要。通过实现隐私保护的实时驾驶员状态监控，这项工作推动了智能车辆安全系统的发展，并为以人为中心的AI应用中的自适应多模态学习提供了蓝图。