《Frontiers in Human Neuroscience》：To assure aviation safety: the pilot fatigue detection based on short-term multimodal physiological signals
引言
航空安全领域长期面临飞行员疲劳的挑战，疲劳会直接损害操作员的反应速度、信息整合及决策能力。尽管研究已明确疲劳源于睡眠剥夺、高工作负荷及昼夜节律紊乱，但根本问题在于人类生理机能依赖于充足的夜间睡眠，这意味着疲劳无法被完全消除。因此，建立科学有效的飞行员疲劳管理系统对保障航空安全至关重要。
国际民用航空组织（ICAO）发布了最新版Doc 9966文件，为飞行员疲劳管理提供了指导框架。该文件的原则已被主要航空当局采纳。具体而言，强烈建议操作员基于持续监测和数据分析来评估飞行员状态。在数据收集方面，虽然常提议使用自评量表，但实践中由此得出的疲劳指标大多不可靠。飞行员可能难以准确评估自身状态，更严重的是，部分飞行员可能因某些原因（如未满足飞行时长要求）而隐瞒疲劳，从而危及航空安全。因此，Doc 9966将生理数据的收集和分析确定为疲劳管理的更优方法。
与主观自评不同，生理数据，包括脑电图（EEG）、心电图（ECG）、肌电图（EMG）和眼电图（EOG），为评估人体功能状态提供了客观指标。利用这些模态对飞行员和驾驶员进行疲劳检测是一种成熟的方法。研究表明，EEG频段（特别是δ、θ、α和β）与工作负荷、疲劳水平及其他功能状态密切相关。关于认知负荷，任务难度增加通常导致θ功率（尤其是额叶区）升高以及α功率在额叶、中央区和顶叶区的抑制，而β功率则表现出混合反应。相反，精神疲劳的出现会引发 distinct 的频谱变化：δ波显著增加；θ和α功率在额叶和顶叶区均上升（α波在枕叶区也增加）。同时，β功率在疲劳下的反应仍多变，有研究报告整体功率下降或顶叶区增加。对于ECG，从其提取的心率变异性（HRV）成分尤为值得关注，它反映了自主神经系统活动，与疲劳高度相关，并已被证明在检测睡眠状态和分类身体疲劳等任务中有效。关于EMG，肌肉活动通常表现为信号幅度降低和频谱向较低平均功率频率偏移（肌肉疲劳），反映了与嗜睡相关的肌张力降低和运动协调性下降。此外，EOG指标是视觉警觉性的可靠检测器，疲劳的发生通常以眨眼持续时间和频率显著增加以及由于动眼控制减弱导致的扫视运动变慢为标志。
值得注意的是，EEG常被优先用于工作负荷和疲劳评估。其突出优势在于能直接反映大脑活动，使其非常适合通过人工神经网络进行端到端的人体功能状态检测，从而绕过对先验知识的需求。因此，几种深度学习架构被广泛应用于EEG数据。例如，卷积神经网络（CNN）常用于认知负荷评估、情绪识别和疲劳检测。同时，循环神经网络（RNN），尤其是长短期记忆网络（LSTM）和双向LSTM（Bi-LSTM），越来越多地用于处理其时间序列。此外，旨在增强时空特征提取的研究已经从混合结构中获得了有利的结果，包括CNN-LSTM、LGNet和MATCNT。
尽管前景广阔，但用于疲劳检测的端到端深度学习计算密集，因为原始EEG数据量巨大，存在训练时间长、梯度不稳定和过拟合等技术挑战的风险。为了缓解这些问题，研究人员常采用特征提取来降低数据复杂性并提高效率。这导致了使用熵特征以及各种时域、频域和脑网络特征的成功模型。然而，这引入了维度灾难。虽然特征选择是标准解决方案，但现有策略往往难以在计算速度和生理有效性之间取得平衡。封装法（Wrapper methods），例如基于递归特征消除或遗传算法的方法，由于需要迭代重新训练模型而产生高昂的计算成本，使其不适合快速、可部署的筛查。相反，简单的过滤法（Filter methods）计算效率高，但常常忽略多模态特征之间的复杂依赖关系，可能丢弃那些单独较弱但组合起来具有预测性的变量。此外，虽然新兴的深度学习方法执行隐式特征提取，但它们通常作为“黑箱”运行，缺乏明确识别哪些特定通道和特征驱动疲劳分类所需的生理可解释性。因此，一个关键的空白仍然存在：如何高效地识别一个不仅在统计上具有判别力而且在生物学上有意义的特征子集。
为了弥合这一空白，特征选择必须基于神经人机工程学原则，而不是仅仅依赖数据驱动的度量。从生理学上讲，飞行员疲劳的特征是 distinct 的频谱和空间改变，特别是慢波活动（δ和θ频带）的全局增加以及枕叶和顶叶区Alpha功率的升高，反映了视觉注意力的减弱。与先前要么将这些机制隐藏在 opaque 的深度神经网络中，要么依赖僵化的、预定义的手动选择的方法不同，我们的框架采用了一种透明的、数据驱动的策略。通过ANOVA-SVM管道系统筛选特征，我们客观地分离出对疲劳最敏感的标记物，特别确认了枕叶通道的主导地位，而无需先验假设。这种方法不仅使工程设计决策与已确立的神经生理机制保持一致，而且确保了模型在不同受试者间的鲁棒性和泛化能力。
同时，一个日益增长的趋势是通过整合ECG与EEG来构建多模态特征，利用ECG自身作为评估精神和身体状态的可行信号的效用。虽然两种模态单独提供信息，但最显著的优势来自它们的融合。研究一致表明，结合EEG和ECG信号能提高整体检测精度和鲁棒性。例如，Awais等人（2017）证明了使用基于SVM的两种信号融合提高了准确性。类似地，Mu等人（2024）通过设计一种新颖的门控方法自适应地融合ECG和HRV特征，达到了94%的准确率。Du等人（2023）进一步证实了这一点，他们使用带有专用融合子网络的产品模糊卷积网络（PFCN），获得了卓越的鲁棒性和准确性。这些发现共同验证了多模态EEG-ECG方法可以克服单信号分析的局限性。
尽管取得了显著进展，但在飞行员疲劳管理的实际应用中，几个关键挑战依然存在：
（1）基于生理信号的飞行员实时疲劳监测很困难。长时间佩戴标准EEG和ECG传感器可能引入身体不适或认知干扰，可能使飞行员从关键飞行任务中分心。此外，为驾驶舱配备实时信号处理和传输硬件的后勤复杂性对可扩展的日常部署构成了实质性障碍，有效地限制了此类实时系统的实际效用。
（2）短时ECG信号在疲劳检测中存在局限性。鉴于（1）中的情况，一个实用且客观的飞行员疲劳管理解决方案是在飞行前使用生理信号判断飞行员是否已经疲劳，这意味着每位飞行员的生理信号数据采集时间将会很短。然而，过短的信号可能无法准确捕捉完整的生理信息，从而影响疲劳评估的可靠性。关键的是，传统的频域HRV分析需要至少5分钟的数据才能可靠反映自主神经系统（ANS）调节，这不适用于短时段。
（3）基于双模态EEG-ECG的疲劳检测难以满足小输入样本、快速模型训练和高识别精度的要求。尽管许多研究已经能够基于几秒钟的EEG信号实现更精确的疲劳检测，但有效地将这些信号与短时ECG信号融合而不增加计算成本或过拟合仍然困难。此外，实现模型训练时间短且识别精度高的疲劳检测的关键在于特征选择和分类模型本身的协同优化。
为了避免飞行中监测的实际局限性，本研究提出了一个针对飞行前疲劳检测的战略框架，为日常安全管理提供了一种可行的替代方案。在我们先前探索基于EEG的飞行前疲劳检测的基础上，本研究通过整合短时ECG特征来优化框架。虽然HRV分析的标准时间段通常是5分钟，但研究表明疲劳引起的交感和副交感平衡转变不仅表现在心率间隔上，也表现在原始ECG信号的形态复杂性和统计分布上。统计特征，如方差、偏度和峰度，量化了信号与正态分布的偏差及其瞬态不稳定性。这些统计数据作为与精神疲劳相关的即时自主神经扰动和非线性复杂性变化的鲁棒生理代理指标，即使在受限的时间窗口内也是如此。因此，本研究将ECG统计特征与EEG数据整合，以训练一个计算高效的XGBoost分类器。这种方法提供了双重优势：它提高了疲劳检测的准确性和鲁棒性，同时显著减少了模型训练时间。
方法论
分析框架概述
飞行员疲劳检测的分析框架如图所示。该过程分为三个连续阶段：（1）信号预处理和分割，（2）关键特征和EEG通道选择，以及（3）最终疲劳分类。每个组件在后续章节中详细说明。
实验数据集与程序
参与者特征：为了严格减轻潜在混杂因素并确保检测到的生理变化主要由任务诱导的疲劳驱动，而非睡眠剥夺或昼夜节律失调，执行了严格的纳入标准。具体而言，所有参与者必须：（1）在实验前两天保持每晚至少8小时的睡眠；（2）在研究前48小时禁酒、咖啡因和任何诱导嗜睡的药物；（3）确认无任何神经或精神病史。关于实验时间，模拟 sessions 根据航空公司的运营排班安排在当地时间06:00至08:00之间。虽然精确的开始时间因调度 logistics 略有不同，但严格保持这一一致的早晨窗口最小化了受试者间昼夜节律相位差异的影响。在完整介绍实验程序后，获得了每位飞行员的书面知情同意书。研究方案遵循《赫尔辛基宣言》原则，并获得了中国民用航空上海医院的伦理批准。
疲劳诱导程序：为了获取代表警觉和疲劳状态的生理数据，我们在每位飞行员的标准常规模拟器训练之前（训练前）和之后（训练后）收集了EEG和ECG记录。这次训练持续约6小时，在航空公司的飞行训练中心的波音787 D级全飞行模拟器中执行。基于证据训练（EBT）原则的训练程序总共持续约6小时。每次训练 session 将一名机长与一名副驾驶配对，由一名飞行教员监督。程序分为四个主要部分：
（1）飞行前简报（1小时）：教员概述训练场景、机动检查评估标准。
（2）基于场景的训练（SBT）（2小时）：机组管理1-2次完整飞行，涉及各种预期和非预期挑战，如发动机故障或不利天气条件。
（3）基于机动的检查（MBC）（2小时）：机组执行特定机动，包括各种科目，如侧风起飞、非精密进近和单发失效着陆。
（4）飞行后汇报（1小时）：教员就机组表现提供客观反馈，以确定改进领域。
整个训练程序如图所示。生理数据被连续记录，标记策略定义如下：session 最初10分钟收集的数据标记为警觉状态，而最后10分钟的数据标记为疲劳状态。这种标记策略基于长时间认知消耗的生理效应，以避免自评评分固有的潜在变异性和主观性。先前的航空生理学研究表明，连续执行 demanding 的模拟飞行任务通常在2-4小时后诱导显著的精神疲劳和EEG慢波活动。在本研究中，6小时的持续时间提供了超出这些报告阈值的 substantial 操作窗口。因此，我们采纳了参与者在 session 结束时已转变为疲劳状态的假设。
生理信号采集：飞行员EEG信号使用16通道Delica AEEG-3202脑电图仪采集。该系统包括一个紧凑的控制盒和16个标准Ag/AgCl湿盘电极，以500 Hz采样率提供高质量数据。16个电极根据标准国际惯例定位在头皮上（FP：额极，F：额叶，C：中央，P：顶叶，T：颞叶，O：枕叶；奇/偶数表示左/右半球）。
飞行员ECG信号使用单通道Mi-Rhythm Holter心电图记录仪以250 Hz采样率采集。ECG设备包括一个Holter记录仪、硅胶套和一次性电极贴片。
为了最小化参与者不适并便于快速检测，在训练前和训练后 sessions 期间同步记录EEG和ECG数据约12分钟。数据收集在一个安静、受控的环境中进行，参与者舒适地坐着。关键的是，为了减轻行为混杂并模拟操作环境中所需的视觉警觉性，所有飞行员被指示保持睁眼静息状态，以确保他们保持清醒并严格遵守协议，从而确保信号反映精神疲劳而非嗜睡诱导的睡眠 onset。
为了平衡和标准化分析，每次记录仅保留最初10分钟进行处理。鉴于EEG和ECG信号是通过独立系统采集的，未采用基于硬件的同步。相反，时间对齐在采集后严格执行。具体而言，来自两种模态的数据流通过手动对齐其绝对记录时间戳进行同步。此程序确保每位受试者的EEG和ECG保留的10分钟段对应于完全相同的时间窗口。
信号预处理与分割
为了评估所提出框架在现实、资源受限的航空环境中的鲁棒性，原始EEG和ECG记录经历了一个为低延迟设计的流线型预处理流程。我们 deliberately 避免计算密集的重建技术（例如独立成分分析或通道插值），以保留原始信号流形并确保系统实时部署的可行性。关键的是，关于伪影处理，我们明确选择不移除眼动活动（例如眨眼和扫视）。在疲劳检测的特定背景下，这些生理模式作为有价值的生物标记物而非 mere 噪声，因为广泛的研究已将疲劳 onset 与 distinct 的眼部特征（如眨眼持续时间增加）联系起来。通过保留这些信号，我们使分类器能够利用固有的疲劳特征作为信息特征。这种策略不仅保留了关键的生理信息，而且避免了伪影去除算法的计算开销，符合我们高效飞行前筛查的目标。
首先对原始EEG信号应用0.5-30 Hz带通滤波器，以衰减低频漂移（EOG < 0.5 Hz）和高频肌肉伪影。过滤后，采用快速傅里叶变换（FFT）将信号分解为四个目标频带（δ、θ、α和β）。对于后续特征提取，为了持续捕捉与疲劳相关的动态生理变化并最大化数据集的效用，采用滑动窗口技术进行信号分割。具体而言，EEG信号被分割成2秒的epoch，重叠率为50%（步长为1秒）。这种重叠策略在生理计算中被广泛采用，以防止窗口边界处的瞬态信息丢失，并作为增强机器学习模型鲁棒性的有效数据增强技术。
ECG信号的预处理相对简化。原始ECG信号使用相同的0.5-30 Hz带通滤波器处理，然后使用与EEG数据相同的2秒窗口方法（50%重叠）进行分割。这种同步分割至关重要，将每个2秒 epoch 建立为单个、组合模态的样本，用于后续疲劳状态分类，如图所示。
为了证明本框架采用的分割策略的合理性，我们考虑了快速飞行前疲劳检测的特定操作要求。最近的研究表明，EEG信号在短间隔（通常1-4秒）内表现出准平稳性，使得短窗口分析成为疲劳检测的鲁棒方法。与这一发现一致，我们先前的工作也证明了基于2秒EEG段的疲劳检测可以获得令人满意的性能。相反，标准的ECG分析，特别是频域心率变异性（HRV），通常需要更长的记录（例如5分钟）以确保度量稳定性。因此，我们的策略不是依赖在短窗口内不稳定的传统HRV度量，而是特别引入ECG作为辅助模态。我们专注于从这些2秒对齐的ECG段中提取统计形态特征来补充EEG数据。这种多模态融合策略旨在利用ECG的互补信息来提高检测精度，这一假设随后在第3节中得到验证。
生理特征提取
数据预处理后，从分割的EEG和ECG epoch 中提取一组全面的多维特征，以捕捉疲劳的生理表现。
对于EEG信号，利用时域和频域分析为每个2秒EEG频带段生成8个 distinct 特征。在时域中，计算均值（MEA）X?、能量（ENE）Xe、方差（VAR）Xvar和均方根（RMS）Xrms以量化信号幅度和波动强度。在频域中，基于快速傅里叶变换（FFT），提取功率谱密度（PSD）Fpsd、质心频率（CF）Fcf、频率方差（FV）Ffv和均方频率（MSF）Fmsf以表征频谱能量分布。先前的研究已经证明了这些特征的有效性。
对于ECG信号，鉴于短时段中频域HRV分析的局限性，从原始波形导出七个统计特征以量化自主神经不稳定性。这些特征包括均值μ、标准差σ、方差σ2、最大值Max、最小值Min、偏度γ和峰度κ。如引言中详述，这些统计矩被认为是疲劳相关自主神经失调引起的形态复杂性和非高斯偏差的鲁棒代理指标。
由于这些标准特征的数学公式在先前的生理计算文献中有详细记载，为简洁起见，此处省略详细方程。
最后，为了减轻生理信号中固有的显著受试者间变异性，实施了受试者-wise 的归一化策略。具体而言，所有提取的EEG和ECG特征对每位飞行员单独进行Z-score标准化（z = (x-u)/σ）。此过程确保后续分类专注于相对的疲劳诱导变化，而非受试者间的绝对基线差异。
关键特征与EEG通道选择
从EEG和ECG信号中提取多维特征使模型能够比原始信号本身捕获更全面的潜在神经生理状态信息。然而，这种转换将数据从时间序列表示转换为高维特征空间，这常常引入显著冗余。这种冗余在EEG中尤其成问题，因为相邻通道之间存在高空间相关性。为了解决这个问题，我们实施了特征选择和EEG通道选择的组合策略。这种双重方法对于减轻数据冗余、提高计算效率和最小化模型过拟合风险至关重要。
特征选择
采用单因素方差分析（ANOVA）作为特征选择策略，因为它直接检验和量化组间均值差异，具有高可解释性。此外，其用于生理数据分析的功效先前已得到验证。因此，使用ANOVA，我们系统地识别能够在高度统计显著性水平（p < 0.01）上区分警觉和疲劳状态的特征。此选择过程至关重要，因为不相关或冗余的特征会严重降低模型的泛化性能。值得注意的是，为了有效捕捉大脑和心脏活动的 distinct 生理特征，同时避免高维冗余的干扰，对每种模态实施了独立的特征选择策略。
对于EEG，鉴于其多通道性质，选择以通道-频率方式进行。ANOVA分别应用于从所有16个通道的4个频带中提取的每个特征。此过程用于精确定位对疲劳统计敏感的特定通道-频率对。相反，对于单通道ECG，ANOVA直接应用于其统计特征。这种严格的独立选择策略防止高维EEG数据主导特征选择过程，确保保留关键的ECG指标以进行有效的特征融合。
EEG通道选择
EEG通道选择的主要目标是精确定位对疲劳检测最信息丰富的通道。有效的选择策略可以显著降低模型复杂性和计算负载，同时简化数据采集的实际设置。在本研究中，我们实施了一种方法对每个通道与疲劳的相关性进行排名。具体而言，为每个单独的EEG通道训练一个 distinct 的支持向量机（SVM）分类器，仅使用其提取的特征。每个单通道分类器产生的受试者工作特征曲线下面积（AUC）分数作为该通道对区分疲劳的个体贡献的定量度量。此方法得到充分支持：SVM是EEG-based疲劳检测的成熟分类器，而AUC是二分类的鲁棒且标准度量。过程详述如下：
（1）训练单独的SVM模型：通道选择过程涉及训练16个不同的SVM分类器，每个通道一个。每个分类器的任务是利用与该单通道相关的完整特征集（来自所有4个频带）区分警觉和疲劳状态。作为监督学习算法，SVM通过构建最优分离超平面来操作。该边界由到最近数据点（支持向量）的 margin 最大化确定，数学上定义为：w·x + b = 0，其中w是垂直于超平面的权重向量，x代表输入特征向量，b表示偏置项。
由于不期望特征数据中的完美线性可分性，引入松弛变量（ξi）以允许一定程度的错误分类。这将任务转化为软间隔SVM优化。然后通过求解凸二次规划问题找到最优参数（w和b）：minw,b,ξ(1/2)||w||2+ C∑i=1Nξi，约束条件为：yi(w·xi+ b) ≥ 1 - ξi, ξi≥ 0，其中N表示特征向量总数，xi是第i个特征向量，yi∈{-1, 1}代表其相应状态标签。此外，超参数C是控制 margin 最大化与错误最小化之间权衡的正则化项，而ξi代表允许错误分类的松弛变量。
一旦训练完成，分类由决策函数f(x) = w·x + b确定。SVM基于f(x)的符号对样本xi进行分类（例如，正为警觉，负为疲劳），而该值的大小表示分类的置信度。
（2）基于AUC选择有价值的通道：在每个单通道SVM训练后，使用AUC值量化其性能。在此上下文中，AUC分数作为通道判别力的直接度量。更高的AUC意味着通道为分离警觉和疲劳状态提供更有效的信息。AUC分数范围从0到1，表示分类器将随机选择的阳性（警觉）样本排名高于随机选择的阴性（疲劳）样本的概率。计算如下：AUC = [∑i∈PositiveClassranki- T(1+F)/2] / (T×F)，其中T和F分别表示阳性和阴性样本总数，ranki表示分配给第i个阳性样本特征的排名号。
所有EEG通道随后基于其各自的AUC分数进行排名。产生高AUC值的通道被识别为对疲劳更具判别力，因此被选入最终分类模型。相反，那些分数低、表明贡献最小的通道被丢弃。这种系统的选择过程确保后续疲劳识别模型仅使用最信息丰富的通道构建，从而减少数据冗余，降低计算负担，并增强鲁棒分类性能的潜力。
基于多模态生理特征的疲劳检测
对于飞行员疲劳的最终检测，我们采用了XGBoost，这是一种在梯度提升框架下实现的优化集成算法。XGBoost使用加性策略迭代构建一系列决策树，将它们合并成一个单一的、鲁棒的预测模型。其在大表格数据上的最先进性能使其特别适合我们复杂的分类任务，该任务涉及来自多个生理信号的融合特征集。
给定一个多模态特征向量xi（包含选定的EEG和ECG特征），模型的最终预测?i是所有K棵树预测的加和：?i= ?(xi) = ∑k=1Kfk(xi), fk∈F，其中fk代表第k个决策树，它将输入特征向量xi映射到一个叶权重，F表示包含可能决策树的函数空间。
这组树通过最小化一个正则化目标函数来学习：L(?) = ∑i=1nl(yi, ?i) + ∑k=1KΩ(fk)。该目标结合了一个量化预测误差的损失函数l(yi, ?i)和一个惩罚模型复杂性以防止过拟合的正则化项Ω(fk)。
正则化项定义为：Ω(f) = γT + (1/2)λ∑j=1Twj2，其中T表示决策树中叶子的数量，wj是第j个叶的权重，超参数γ和λ分别控制对叶子数量的惩罚和对叶权重的L2正则化强度。
训练以加性方式进行，在每次迭代t时，添加一棵新树f
