情绪在塑造人类决策、行为、人际关系和整体福祉方面起着关键作用(Dolan, 2002)。作为一种复杂的心理生理现象,情绪通过隐蔽的生理过程和明显的行为表现来体现(Koelstra, 2012)。虽然面部表情等可观察的行为为情绪识别提供了一条途径(Britton et al., 2006),但它们容易受到有意识的抑制或伪造,限制了它们作为真实情感状态指标的可靠性。因此,研究越来越多地转向生理信号,因为它们提供了更客观和稳健的情绪反应测量方法(Tian et al., 2024)。其中,脑电图(EEG)特别有价值,因为它具有高时间分辨率并且天然难以被自愿隐藏,为了解中枢神经过程提供了直接窗口(Liu, Wang, An, Zhao, Zhao, Zhang, 2023b, Ma, Li, Li, Yang, Li, Wang, Xuan, 2025, Zhou, Zhang, Liu, Huang, Yu, Liang, 2025)。神经科学发现表明,特定的EEG模式(如额叶α波不对称性)与情绪价值系统相关,为基于EEG的情绪识别提供了理论基础(Schmidt & Trainor, 2001)。
尽管前景广阔,现有的基于EEG的情绪识别系统面临两个主要挑战。首先,大多数模型作为“黑箱”运行,其内部机制和学习到的特征在很大程度上不透明(Zhang, Zhang, Sun, Zhao, & Jin, 2025)。这种缺乏可解释性阻碍了对预测背后神经生理机制的深入理解,并削弱了对模型输出的信任(Gong, Chen, Zhang, 2024, Liu, Wang, Jiang, An, Gu, Li, Zhang, 2024b, Liu, Zhao, An, Zhao, Wang, Yan, 2023c)。其次,这些模型通常泛化能力较差,在应用于新的、未见过的受试者时性能显著下降(Liu et al., 2023a)。弥合这种特定于受试者的验证与独立于受试者的应用之间的差距对于在现实世界环境中部署可靠的基于EEG的情绪识别系统至关重要。
因此,我们提出了一种可解释的空间-时间-光谱元学习(STS-ML)模型,从数据预处理、特征提取和学习策略三个关键角度来解决基于EEG的情绪识别中的关键挑战。STS-ML框架结合了个人Z分数标准化、全局情感特征提取器(emoFE)和带有神经掩蔽的元学习(neuroMask),预计可以提高模型的可解释性和泛化能力。
在数据层面,我们应用个人Z分数标准化将原始EEG信号转换为遵循正态分布的标准化特征空间。这一过程通过消除数据集之间的尺度不一致性来减少受试者间的变异性,使模型能够关注稳健的通道间相关性,而不是特定于受试者的伪影或记录偏差。
在特征提取层面,我们引入了长距离情感特征提取器(emoFE)来去除EEG信号中固有的非平稳性。emoFE的设计目的是提取在整个情绪激发期间保持不变的时间不变的情感特征。
在学习策略层面,我们开发了带有神经掩蔽的元学习(neuroMask),其中包含了一种新颖的神经功能区域选择性抑制机制。与标准元学习不同,我们的方法强制模型在所有训练任务中共享参数空间,迫使模型优先考虑与任务无关的特征,并直接优化独立于受试者的泛化能力。至关重要的是,集成的神经掩蔽机制选择性地抑制与任务无关的神经区域,提供了模型决策与参与情绪处理的大脑区域之间的明确、可解释的关联。
我们在SEED和SEED-IV数据集上对提出的STS-ML模型进行了与几种经典和最先进(SOTA)基线的全面独立于受试者的实验评估。结果表明,我们的模型达到了SOTA性能,显著优于所有竞争方法。可视化分析证实,STS-ML模型不仅学习了高度区分性和泛化的特征,还提供了出色的可解释性,从而提供了对情绪背后神经生理模式的更深入洞察。总之,本文的贡献可以总结如下:
•将个人Z分数应用于基于EEG的情绪识别,将特征空间标准化为正态分布。这通过促进EEG通道间相关性的更有效学习,增强了模型的泛化能力。
•开发了长距离情感特征提取器(emoFE)模块,用于提取不变的情感特征,从而显著提高了模型的稳健性。
•引入了带有神经掩蔽的元学习(neuroMask)模块,强制进行与任务无关的学习,同时提高了特征提取和可解释性。