RAMC-Net：一种基于区域引导的注意力机制和多模态竞争查询网络，用于评估热应激条件下的多模态生理工作负荷

《Energy and Buildings》：RAMC-Net: A region-guided attention and modality competitive query network for multimodal physiological workload evaluation under heat stress

高温环境下多模态生理信号驱动的三阶段工作负荷分类模型研究。采用fNIRS脑氧合、ECG心电图及体温信号融合，通过遗传算法加权与k-means聚类生成NASA-TLX参考标签，创新性地整合区域引导注意力机制、多模态竞争查询选择模块和双向LSTM时序建模，在窗口级随机分割下准确率达99.2%，跨个体留一法验证准确率78.8%。

　　

Jing Geng|Song Wang|Yin Tang|Wenguo Weng

清华大学公共安全研究院安全科学系，北京，中国

摘要

本研究提出了RAMC-Net，这是一个区域引导的多模态网络，用于在极端高温环境下对工作负荷水平进行分类，通过整合脑氧合（HbO）、心电图（ECG）和体温信号来实现。数据来自14名在受控热条件下的参与者。工作负荷参考标签（低/中/高）是根据NASA任务负荷指数（NASA-TLX）评分通过遗传算法优化子量表权重并使用k-means聚类对样本进行分组得出的。RAMC-Net结合了区域引导的注意力机制来增强生理特征的表示，采用模态竞争性查询选择进行多模态融合，并使用双向LSTM建模来捕捉时间依赖性。模型性能在窗口级随机分割和受试者独立协议下进行了评估，以反映不同的部署环境。在窗口级随机分割评估中，RAMC-Net的准确率超过了99%，并在宏观F1分数和序数均方误差方面优于代表性基线网络。在留一受试者（LOSO）验证中，模型的平均准确率为78.8%，证明了在个体间生理差异明显的情况下具有强大的跨受试者泛化能力。这些结果突显了在高温操作环境中整合脑氧合、心血管和体温信号进行工作负荷评估的价值。

引言

高温工作环境对职业健康和任务表现提出了重大挑战[1]，[2]。长时间暴露在极端高温下会导致热应激，表现为头晕、注意力下降和脱水等症状[3]，[4]。在严重的情况下，热应激可能发展成与热相关的疾病和不可逆的组织损伤，从而危及操作安全[5]，[6]。因此，在高温密集型和建筑环境操作中，可靠的工作负荷评估不仅对保护工人[7]，[8]至关重要，而且对支持更安全和更节能的操作管理[9]，[10]也具有重要意义。

工作负荷评估为平衡任务需求和在复杂操作环境中保持稳定表现提供了基础。传统方法包括主观问卷、行为指标和生理测量。像NASA任务负荷指数（NASA-TLX）[11]这样的主观工具被广泛使用，但它们容易受到回顾性偏差的影响，并且时间分辨率有限[12]，[13]。行为指标提供了客观的性能洞察[14]，[15]，但可能具有侵入性并且对任务设计或实践效应敏感。相比之下，生理监测（例如ECG [16]、EEG [17]、[18]）能够实现连续和非侵入性的评估[19]，[20]。然而，在高温暴露下，工作负荷是通过多系统耦合反应来表达的，如脑氧合、心血管调节和体温调节，因此单一模态的感测可能无法捕捉这些多方面的动态[21]，[22]。

深度学习通过从高维和非平稳时间序列中学习判别性表示，使得从生理信号中进行更强大的工作负荷推断成为可能[23]，[24]。基于CNN的框架可以提取时空模式，并经常与时间-频率表示结合使用来表征复杂的生理动态[25]，[26]。RNN架构，特别是LSTM和BiLSTM，进一步支持时间依赖性建模和动态环境中的实时推断[27]。基于Transformer的自注意力机制最近已成为多模态融合和长距离时间建模的强大替代方案，通过显式关注跨模态交互和远距离时间步骤[28]，[29]。然而，对于通常长度较长、噪声较大且在不同模态间异步采样的生理工作负荷数据，Transformer风格的融合效果在很大程度上取决于时间/位置编码选择和序列长度处理[30]。最近，基于图或注意力增强的模型在模拟生理通道之间的结构关系和改进多模态融合方面显示出潜力；例如，Zhang等人[31]将CNN编码器与图注意力结合使用，共同建模热应激下的ECG和HbO信号。

然而，当前在极端高温暴露下的工作负荷评估存在三个限制。首先，许多模型是在标准环境条件下开发和验证的，这可能无法反映热引起的生理耦合、基线偏移和信号干扰（例如，与出汗相关的伪影和传感器漂移）[18]，[32]。其次，许多研究[24]，[33]仍然依赖于单一模态输入或有限的模态集，可能忽略了在工作压力下变得更加明显的脑氧合、心血管活动和体温调节响应之间的互补信息[34]，[35]。第三，尽管基于注意力的融合机制（如模态特定注意力[36]和模态竞争性融合设计[37]）显示出巨大潜力，但它们对热驱动的生理变异性的适应性和在极端高温下的工作负荷分类效果尚未得到充分证实。

为了解决这些不足，本研究提出了RAMC-Net，这是一个用于在极端高温暴露下进行三级工作负荷分类的区域引导的多模态网络，使用HbO（fNIRS）、ECG和体温信号。该模型结合了区域引导的注意力机制来增强与任务相关的生理特征，采用模态竞争性查询选择模块来支持自适应的多模态融合，以及基于BiLSTM的时间建模组件来捕捉窗口化输入中的序列依赖性。工作负荷水平是使用通过数据驱动程序获得的NASA-TLX派生的参考标签来定义的。通过将多模态生理反应与高温环境下的工作负荷水平联系起来，所提出的框架提供了一种自动化的工作负荷评估方法，可以支持热风险缓解和在高温密集型工作和建筑环境中的更高效操作决策。

本文的其余部分组织如下。第2节描述了提出的RAMC-Net架构。第3节介绍了工作负荷标记、数据采集和预处理、特征构建和评估协议。第4节报告了结果，并讨论了模型比较、组件贡献和鲁棒性分析。第5节总结了本文。

章节摘录

RAMC-Net架构

RAMC-Net是一个用于在极端高温暴露下进行三级工作负荷分类的区域引导的多模态网络。该模型采用来自HbO（fNIRS）、ECG和体温信号的同步窗口样本（输入构建在第3.4节中描述），并输出由NASA-TLX派生的参考标签定义的三个工作负荷水平（低/中/高）的概率（第3.3节）。如图1所示，RAMC-Net包括（i）模态特定的特征增强，（ii）

方法论

本节描述了实验协议、信号采集和预处理、基于NASA-TLX的标签生成、多模态特征表示以及RAMC-Net的训练/评估设置。

结果与讨论

本节展示了RAMC-Net在极端高温暴露下的工作负荷水平分类结果。4.1节报告了LOSO下的受试者独立结果，4.2节进行了消融研究，4.3节报告了窗口级随机分割结果，4.4节讨论了多模态输入的效果。4.5节分析了不同环境温度条件下的鲁棒性，4.6节讨论了局限性和未来工作。

主要贡献

本研究开发了RAMC-Net，用于在极端高温暴露下使用多模态生理输入（包括HbO（fNIRS）、ECG和体温）进行三级工作负荷分类。工作负荷水平是使用通过基于遗传算法的权重分配和k-means聚类获得的NASA-TLX派生的参考标签来定义的。主要贡献包括：（i）一个整合了互补生理路径的多模态工作负荷分类流程；（ii）一个区域引导的特征增强设计

CRediT作者贡献声明

Jing Geng：撰写——原始草稿、方法论、形式分析。Song Wang：撰写——审阅与编辑、可视化、形式分析。Yin Tang：可视化、调查。Wenguo Weng：监督、项目管理、资金获取、概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本研究得到了中国国家自然科学基金（项目编号524B2042）和中国国家重点研发计划（项目编号2022YFC3006105）的支持，作者对此表示衷心的感谢。