《Egyptian Informatics Journal》：AIoT-based drowsiness level detection system using a hybrid F-LSNN network
编辑推荐：
驾驶疲劳是导致严重交通事故的主要原因之一，但其往往悄无声息地发生，难以及时察觉。为构建一个实时、低延迟且高精度的驾驶疲劳检测与预警系统，本研究提出了一种名为F-LSNN的新型混合模糊深度神经网络。该网络结合了神经模糊系统与长短期记忆网络（LSTM），能够从驾驶员面部图像中提取疲劳的隐含特征，并辅以情绪检测模型以优化实时性能。实验结果表明，该方法准确率高达99%，并将预测时间缩短了50%，为开发安全驾驶与智能交通系统提供了潜力。
当困意悄然袭来，驾驶员的反应能力、判断力与警觉性会显著下降，这已成为全球范围内导致严重财产损失甚至致命交通事故的主要原因之一。更棘手的是，疲劳驾驶往往在无声无息中发生，驾驶员本人可能直到被外部刺激惊醒才意识到自己处于危险状态。面对这一严峻的公共安全挑战，开发一种能够实时、准确识别并预警驾驶员疲劳状态的系统，对于挽救生命、减少伤害至关重要。这正是发表在《Egyptian Informatics Journal》上的这项研究——基于AIoT的混合F-LSNN网络驾驶疲劳水平检测系统——致力于解决的核心问题。
为了应对传统方法在准确性和实时性上的不足，研究团队并未止步于简单的“疲劳”与“非疲劳”二分类，而是构建了一个包含五个等级的“疲劳驾驶状态数据集”（DDS），以更精细地刻画疲劳的渐进过程。他们的核心创新在于设计了一种名为F-LSNN的混合深度学习模型。该模型创造性地将模糊逻辑系统与长短期记忆网络（LSTM）相结合。模糊逻辑擅长处理数据中的不确定性和模糊性（例如，疲劳状态的界限本身是模糊的），而LSTM则能有效捕捉面部行为特征（如眨眼频率、打哈欠）随时间变化的序列依赖关系。这种“强强联合”使模型能从图像中提取更相关、更鲁棒的特征用于分类。此外，研究还集成了一个情绪检测模型作为预筛步骤，在测试阶段快速过滤掉与疲劳无关的情绪状态（如愤怒、惊讶），从而显著优化了视频流处理流程，降低了系统延迟。
这项研究综合运用了多项关键技术。首先，研究者利用YOLOv10这一先进的实时目标检测架构，从视频流中精准定位并提取驾驶员面部区域。随后，构建并应用了包含五个疲劳等级的DDS数据集进行模型训练与评估。核心模型F-LSNN（Fuzzy-LSTM Neural Network）采用了混合架构，其输入层数据并行流入两条路径：一路进入LSTM层以学习时序特征；另一路则进入模糊逻辑系统（包含隶属度函数层和模糊规则层），用于处理特征的不确定性。两条路径提取的特征在融合层进行整合，最终通过输出层进行五分类。模型性能通过准确率、精确率、召回率、F1分数以及AUC-ROC曲线等指标进行全面评估。
研究的主要结果与发现如下：
- •
模型性能卓越：在自建的DDS数据集上，提出的F-LSNN模型在测试集上达到了99%的准确率，其精确率、召回率和F1分数均表现优异。与Vision Transformer、Fuzzy Deep Neural Network (FDNN) 和标准LSTM等先进模型对比，F-LSNN在准确率上展现出显著优势，同时将预测时间缩短了约50%，证明了其在精度和效率上的双重提升。
- •
模糊规则的有效性：研究详细展示了F-LSNN中模糊规则层所学习到的关键规则，这些规则基于PCA降维后筛选出的重要特征（如特定面部动作单元）构建，能够将连续的输入特征映射到不同的疲劳隶属度，清晰地区分了不同疲劳等级的数据分布。
- •
情绪检测的优化作用：整合情绪检测模型后，系统发现疲劳状态（特别是DDS数据集中的样本）主要与“中性”和“悲伤”情绪相关联。通过预先过滤掉“愤怒”、“厌恶”、“惊讶”和“恐惧”等与疲劳低相关性的情绪状态，该策略有效减少了需要进入复杂F-LSNN模型进行深度分析的数据量，从而优化了计算资源分配，降低了系统整体延迟。
- •
跨数据集验证鲁棒性：为了评估模型的泛化能力，研究还在三个公开数据集上进行了测试。在Frame Level Driver Drowsiness Detection (FL3D)、Driver Drowsiness Dataset (D3S)和Driver Drowsiness Dataset (DDD)上，F-LSNN模型同样取得了具有竞争力的高准确率，证明了其在不同数据分布下的良好适应性和鲁棒性。
- •
完整的AIoT系统实现：研究不仅提出了算法模型，还设计并实现了一个集成F-LSNN模型与物联网技术的AIoT预警系统原型。该系统能够自动处理传感器与软件故障，实现对驾驶员疲劳状态的实时监测、分级预警与自动化响应。
本研究得出结论，所提出的基于AIoT和混合F-LSNN网络的驾驶疲劳检测系统，通过融合模糊逻辑处理不确定性的能力与LSTM捕捉时序依赖的优势，成功实现了对驾驶员疲劳状态的高精度（高达99%）、高效率（预测时间减半）的五级分类。创新性地引入情绪检测作为预筛模块，进一步优化了实时性能。这项工作构建的DDS细粒度数据集、提出的F-LSNN混合网络架构以及集成的AIoT预警系统框架，为解决疲劳驾驶这一重大交通安全问题提供了有效且实用的技术方案，展示了人工智能与物联网技术在推动智能交通系统和保障道路安全方面的巨大潜力。
