《Sensors》：Remote Tower Air Traffic Controller Multimodal Fatigue Detection
Weijun Pan,
Dajiang Song,
Ruihan Liang,
Zirui Yin and
Boyuan Han
编辑推荐：
本文提出了一种融合眼动追踪（ET）与心电图（ECG）/心率变异性（HRV）信号的非侵入式多模态疲劳检测框架，针对远程塔台（rTWR）这一安全关键领域。为应对生理数据中疲劳样本稀少和类别不平衡的挑战，研究结合合成少数类过采样技术（SMOTE）与动态加权损失函数，开发了成本敏感XGBoost分类器。实验结果表明，该框架在混合受试者评估中表现良好，并提升了对疲劳事件的敏感性。尽管在留一受试者（LOSO）评估中观察到性能显著下降，但个性化校准策略部分缓解了这一局限，展现了该框架用于远程塔台实时疲劳监测的潜力。
实验设计与数据采集
本研究旨在应对远程塔台（rTWR）操作中，管制员因长时间屏幕视觉监视所引发的认知疲劳风险。实验在一高保真模拟远程塔台环境中进行，招募了36名来自中国民用航空飞行学院空中交通管理学院的管制员（含6名教员和30名学员）。实验采用了被试内设计，每位参与者需完成两轮实验，每轮包含10个测试场景，覆盖常规操作、大流量操作和异常事件处理三种典型任务。实验环境由三块同步显示屏构成，提供包含机坪、跑道及周边区域的广视角全景视野。一名研究人员在隔离房间内扮演飞行员角色，通过语音通信系统与管制员实时交互，以模拟真实的无线电通话。实验过程中，同步采集了三种数据：使用Tobii Pro Glasses 3可穿戴眼动仪以100 Hz采样率采集眼动数据；使用ErgoLAB生物传感可穿戴ECG设备以512 Hz采样率采集用于HRV分析的心电数据；以及在每个场景前后，使用Samn-Perelli 7点疲劳量表（SP-7）评估主观疲劳度，并以场景结束时的SP-7评分作为该场景内所有信号片段的真实标签。在数据预处理和去除包含明显伪迹的片段后，共保留2812个有效的多模态样本用于后续分析。
方法：数据处理与特征工程
数据处理采用了60秒窗长、60秒步长的非重叠滑动窗口进行分割，以获得统计独立的样本。在标注策略上，采用极端组方法：将SP-7评分1-3分（完全清醒到尚可，有些精神）定义为警觉（负类），5-7分（中度疲劳到筋疲力尽）定义为疲劳（正类），并排除了评分4分（有点累）的中间样本，最终数据集包含2655个警觉样本和157个疲劳样本，类别不平衡比为16.9:1。为验证标注可靠性，研究采用PERCLOS（眼睑闭合百分比）这一客观生理指标进行检验，发现SP-7评分与PERCLOS值存在显著正相关，且警觉组与疲劳组的PERCLOS分布存在统计学显著差异，证实了标注的有效性。
信号预处理方面，对于眼动信号，首先通过线性插值修复眨眼伪迹造成的缺失数据点，随后采用速度阈值识别（I-VT）算法，以30°/s为阈值将眼动轨迹分类为注视（信息提取）和扫视（视线快速转移）。对于心电信号，则采用基于Symlet（sym8）小波基的8层离散小波变换（DWT）进行去噪，并使用软阈值函数处理高频细节系数，以消除工频干扰和基线漂移；随后使用Pan-Tompkins算法进行R波峰值检测，以提取后续HRV分析所需的R-R间期序列。
方法：模型构建与评估
从预处理后的眼动和心电信号中，提取并融合了12维特征向量，包括注视熵和一系列HRV特征（如SDNN、RMSSD等）。针对严重的类别不平衡问题，本研究提出了一种混合成本敏感学习框架。该框架首先使用合成少数类过采样技术（SMOTE）对训练集中的疲劳样本进行过采样，以缓解样本数量差异。在此基础上，构建了一个成本敏感的XGBoost分类器，其在损失函数中为疲劳（少数类）误分类设置了更高的惩罚权重，旨在优先降低对安全至关重要的疲劳漏报率。为评估模型性能及泛化能力，采用了混合受试者（将全体数据按比例划分为训练集和测试集）和留一受试者（LOSO，每次留出一位受试者的数据作为测试集）两种评估范式。
结果与讨论
实验结果表明，本研究提出的多模态融合框架在混合受试者评估中，其综合性能优于传统的单模态基线模型（如仅使用眼动或心电特征）。眼动特征（如注视熵）和心电/HRV特征在表征疲劳相关的生理与行为变化上起到了互补作用。融合模型显著提升了对少数类（疲劳）事件的检测灵敏度。然而，在LOSO评估中，模型性能出现了明显下降，这凸显了跨被试泛化的挑战，即个体间生理和行为模式的差异性。为应对此挑战，研究进一步引入了个性化校准策略，即利用目标受试者少量的校准数据对预训练模型进行微调。结果表明，该校准策略部分缓解了跨被试性能退化的问题，提高了模型在实际部署中的适用性。特征重要性分析显示，来自两种模态的特征对模型决策均有贡献，验证了多模态融合的有效性。
结论
本研究成功构建并验证了一个用于远程塔台管制员疲劳检测的非侵入式、多模态框架。该框架通过融合眼动与心电信号，并采用针对类别不平衡设计的成本敏感XGBoost分类器，在提升疲劳检测总体性能的同时，加强了对稀少但关键的疲劳事件的识别能力。尽管跨被试泛化仍是实际应用的难点，但个性化校准策略展示了可行的改进路径。这项工作为安全关键领域（如航空管制）的实时、客观疲劳监测提供了具有工程化潜力的方法学参考。
