STRFLNet：一种用于基于脑电图（EEG）的情绪识别的时空表示融合学习网络

《IEEE Transactions on Affective Computing》：STRFLNet: Spatio-Temporal Representation Fusion Learning Network for EEG-Based Emotion Recognition

EEG情绪识别技术通过动态-静态空间模式建模和分层Transformer融合模块，有效利用多领域特征关联，在SEED、SEED-IV、DREAMER数据集上实现96.42%-94.57%的高准确率，并验证了脑区激活与情绪状态的关联性。

　　

摘要：

基于脑电图（EEG）的情绪识别对于医疗辅助和人机交互至关重要。尽管基于深度学习的情绪识别方法已经展示了出色的性能，但仍存在几个挑战：1）如何有效利用与情绪相关的EEG信号中固有的复杂动态-静态空间模式；2）如何层次化地学习多域特征之间的潜在相关性。为了解决这些挑战，提出了一种时空表示融合学习网络（STRFLNet），以提高基于EEG的情绪识别的准确性和鲁棒性。具体而言，构建了动态-静态图拓扑结构来捕捉全面的脑功能连接性，并引入了一个连续的动态-静态图常微分方程来揭示EEG信号中的连续空间模式。此外，还开发了一个层次化变换器融合模块，以充分利用多域特征之间的潜在相关性，从而获得融合的时空表示。在公共EEG情绪数据集SEED、SEED-IV和DREAMER上，STRFLNet在依赖受试者的设置下分别实现了96.42%、92.23%和94.57%（愉悦度）/ 96.03%（唤醒度）的分类准确率；在独立于受试者的设置下分别实现了89.64%、76.52%和63.25%（愉悦度）/ 65.76%（唤醒度）的分类准确率。实验结果表明，STRFLNet在基于EEG的情绪识别方面始终优于现有的最先进方法。此外，我们通过全面的可解释性分析验证了该模型的有效性，该分析揭示了激活的脑区域与其对应情绪状态之间的明确关联。我们的工作强调了连续空间模式建模和时空特征融合在情绪识别中的重要性，为基于EEG的情感计算提供了新的见解。

引言

情绪识别技术的快速发展和应用正在重新定义人机交互的边界。实现更智能、更准确的情绪识别已成为研究人员的主要关注点。目前，用于情绪识别的数据主要分为非生理信号（例如，面部表情[1]、语音[2]和身体姿势[3]）和生理信号（例如，脑电图（EEG）[4]、肌电图（EMG）[5]和心电图（ECG）[6]）。然而，非生理信号可以通过人为控制进行操纵，这使得检测真实情绪状态变得困难。相比之下，生理信号无法被自愿控制，可以客观反映个人情绪。特别是EEG作为一种来自中枢神经系统的非侵入性生物电信号[3]，在捕捉与情绪表达密切相关的神经元活动方面具有独特价值。EEG的优势不仅在于其在情绪表达上的客观性，还在于能够提供更真实、更详细的情绪状态映射[1]。因此，基于EEG的情绪识别方案正受到广泛关注。