情绪是一种包含综合感受、思维和行为的复杂状态，是对内部或外部刺激的功能性反应，在日常决策和交流中起着至关重要的作用（Chen, Cao, Hou, Zhang, Lu, Zhang, 2021; Li, Peng, Zhang, Liu, Gao, Qin, Wu, Liu, 2025）。近年来，计算机技术的快速发展显著提高了情绪识别系统的性能，并进一步推动了脑机接口（BCI）的进步。情绪是一个复杂的心理和生理过程，与许多外部和内部活动相关。通常，情绪状态可以通过面部表情（Ezquerra, Agen, Toma, Ezquerra-Romano, 2025; Talaat, Ali, Mostafa, El-Rashidy, 2024）、语音（Khurana, Gupta, Sathyaraj, Raja, 2022; Turchet, O’Sullivan, Ortner, Guger, 2024）、肢体语言（Huang et al., 2016）和生理信号（Hatipoglu Yilmaz, Kose, 2021; Kumar, Govarthan, Gadda, Ganapathy, Ronickom, 2024）来检测。相比之下，内部生理信号可以捕捉受试者的潜在反应（Li, Zhang, Liu, Lin, Zhang, Tang, Gao, 2023; Lin, Li, Wang, Bai, Cui, Yu, Gao, Zhang, 2024）。其中，脑电图（EEG）（Gao et al., 2025a）因其高时间分辨率和难以伪装的特点而被广泛用于挖掘情绪表征（Deng et al., 2025）。
本质上，大脑对情绪的处理是一个复杂的认知过程，涉及多个功能脑区之间的信息交互和协同处理（Kober et al., 2008）。为了描述这一过程，Ding等人（Ding et al., 2023）设计了一种具有神经生理学意义的局部-全局图表示方法，用于学习大脑不同功能区域内部和之间的活动。Gao等人（Gao et al., 2024）提出了一种称为局部-上升-全局学习策略（LAG）的新方法，该方法从单个脑功能区域的局部连接性出发，动态捕捉更高层次上的潜在拓扑模式。Pan等人（Pan et al., 2023a）提出了一种时空自构建图神经网络，用于模拟不同情绪下的动态脑网络。此外，一些专家结合深度学习和几何学习来构建与几何相关的注意力网络，以统一不同认知状态下的拓扑不确定性（Pan, Chou, Wei, 2022; Yi, Wang, Ren, Li, 2023）。这些研究的共同特点是，多通道EEG样本被映射到多个子空间中，以模拟脑功能区域之间的动态和内部关系。因此，学习大脑的局部和全局空间模式对于提高情绪识别的效果起着重要作用。
此外，心电图（ECG）也是一种流行的生理信号。它可以捕捉心脏的电活动，并提供关于情绪状态的洞察（Akash, Ranjani et al., 2023; Han, Zhang, Chen, Zhan, Yang, Zhao, 2017）。一些研究致力于提取心率变异性（HRV）等人造特征用于情绪分类（Hasnul, Aziz, Alelyani, Mohana, Aziz, 2021; Wang, Zhang, He, Wu, Cheng, 2023b）。这些方法依赖于手动数据预处理，并消耗一定的人力资源。因此，许多研究转向关注ECG本身的变化来评估情绪。例如，Dar等人（Dar et al., 2020）提出了基于LSTM和1D-CNN架构的ECG情感识别方法。Chen等人（Chen et al., 2024）使用信号变换和图表示学习方法自动提取ECG表征用于情绪识别。同样，Li等人（Li et al., 2024）通过经验模态分解和正交组合建立了全局ECG轨迹，从而可以从原始ECG信号中提取隐含的情绪特征。
然而，仅使用单一信号很难准确区分复杂情绪。最近的研究表明，多模态融合可以利用不同信号的互补性，显著提高性能（Li, Liu, Yang, Hou, Song, Song, Gao, Mao, 2022; Turchet, O’Sullivan, Ortner, Guger, 2024）。例如，Wang等人（Wang et al., 2023b）提出了一种基于EEG和ECG信号的情绪识别方法。值得注意的是，后期融合缺乏足够的表达能力来模拟大脑和心脏之间的高阶交互。为了解决这个问题，Pan等人（Pan et al., 2023b）提出了一种多模态超图融合策略，以完全学习模式之间的高阶相关性。Zubair等人（Zubair et al., 2024）设计了相互注意力模块来捕捉生理信号的动态交互信息。尽管这种融合策略增强了模式之间的高阶交互，但它忽略了大脑处理情绪信息时的神经协同机制，即当大脑感知情绪时，情绪的快速解码和响应是通过大脑区域内部和之间的跨区域信息交互实现的。
从根本上说，心脏的副交感神经活动在情绪唤醒过程中起着因果作用，维持着大脑和心脏之间的上下交互（Candia-Rivera et al., 2022）。换句话说，情绪刺激可以调节心跳活动，进而刺激特定情绪强度的皮层反应。研究表明，这两种模式结合了皮层反应和心脏的副交感神经活动，被认为是描述情绪状态的一种有前景的方法（Candia-Rivera et al., 2021）。因此，有必要设计一个神经生理网络来有效模拟由情绪引起的大脑-心脏功能交互。
受此启发，我们提出了一个基于神经网络的情绪感知学习系统[局部到全局的脑-心耦合框架]，称为NEAL。在NEAL中，我们首先设计了一个多核滤波器来联合建模不同模式的异构特征，以实现语义对齐。然后，建立了一个双线性融合模块来融合局部EEG表征和ECG表征。来自多模态数据的信息被整合成一个紧凑的表征，以提高对脑-心局部动态相关性的认知。最后，精心设计了一种基于动态路由的跨感知机制，以模拟心脏与不同脑区域在情绪响应中的连续和深入交互，从而生成局部和全局跨模态特征之间的完整大脑互补信息。
本研究的主要贡献如下：
1) 据我们所知，这是首次从局部和全局脑模式的角度创新设计脑-心耦合特征提取框架，并实现了大脑和心脏之间动态互补信息的深度整合。
2) 提出了NEAL，它使用多核滤波器实现跨模态特征的联合建模，并开发了双线性融合模块来捕捉局部大脑和心脏之间的动态耦合关系。同时，精心设计了基于动态路由的跨感知机制，以实现心脏活动和脑区协作模式的深度交互建模，并生成全局脑-心耦合特征。
3) NEAL在三个公共数据集上的性能得到了验证，并进行了可解释性分析，为情绪感知的研究提供了双向脑-心交互分析的新视角。
本文的其余部分组织如下。第2节介绍了情绪识别的研究现状。第3节描述了提出的NEAL。第4节提出了数据集和实验设置。第5节给出了研究结果和讨论。最后，我们在第6节总结了这项研究。
