基于动态脑区划分的个性化脑电图情绪识别

《Knowledge-Based Systems》：Personalized EEG Emotion Recognition Based on Dynamic Brain Region Division

EEG情感识别中动态脑区分割与对比学习融合的创新方法，提出PEER-DBR模型通过相位同步实现个性化脑区划分，结合情感强度注意力机制与图神经网络动态建模，有效提升跨个体情感分类性能。

　　

Xueli Chang|Zhenyu Yang|Xiaoyang Li|Xiaoyang Wang

教育部计算力网络与信息安全重点实验室，山东计算机科学中心（济南国家超级计算中心），齐鲁工业大学（山东科学院），济南，250353，中国

摘要

基于脑电图（EEG）信号的情绪识别在人机交互、医疗保健和心理健康领域具有重要的应用价值，因此受到了大量研究关注。然而，现有方法主要依赖于静态脑区分割。这种设计难以捕捉个体间差异，也无法弥合群体平均脑区与个体特定脑区之间的差距。此外，常用的静态脑区划分通常来自非情绪任务，忽略了大脑会根据不同的认知和情绪需求动态重组其功能结构的事实。同时，EEG信号中的情绪强度表现出短期稳定性和长期波动性，导致捕获的情绪信息存在时间变化。为了解决这些问题，我们提出了一种基于动态脑区分割的个性化EEG情绪识别网络，称为PEER-DBR。该模型通过动态建模个体化脑功能区域和情绪强度的时间变化来提高识别性能。具体而言，PEER-DBR由三个核心模块组成：情绪强度注意力模块（EIAM）利用对比学习从EEG信号中提取与情绪相关的特征，同时抑制异常噪声；功能空间划分模块（FSDM）利用相位同步和小世界特性自适应地划分个性化脑功能区域，从而减小受试者间的分布差异；图神经网络架构整合了EIAM和FSDM的输出，以模拟脑区之间的动态功能连接性。我们在三个公开可用的数据集上评估了该方法，结果证实了其在基于EEG的情绪识别中的有效性。代码仓库：https://github.com/isShirley1/Personalized-EEG-Emotion-Recognition-Based-on-Dynamic-Brain-Region-Division

引言

现有研究表明，情绪状态与身体健康和行为模式之间存在密切关联。尽管情绪可以通过心理、生理和行为反应推断出来，但神经科学证据表明，生理指标比行为线索更能可靠地反映真实的情绪体验[1]。在各种生理信号中，EEG特别适用于情绪分析，因为它能以高时间分辨率直接反映神经活动，同时成本低廉且便于携带。这些优势使EEG成为情感计算、人机交互和脑机接口研究的核心技术。

早期的基于EEG的情绪识别主要依赖于手工制作的特征和传统分类器。然而，这些方法严重依赖于先验知识，且泛化能力有限。近年来，深度学习因其强大的自动提取区分性特征的能力而成为主流范式。例如，Ding等人[2]利用EEG信号的高时间分辨率和不对称的空间激活模式进行情绪识别；Zhang等人[3]结合注意力机制自适应捕获显著的时间片段；Han等人[4]使用多尺度卷积网络和TimesNet提取跨通道空间特征和时间表示。尽管这些基于时间和注意力的模型在捕捉短期和长期动态方面取得了显著进展[2]，[4]，但它们通常将EEG电极视为孤立节点或仅关注物理空间邻近性。这些假设忽略了不同脑区之间的相互作用是行为和认知过程的基础[5]，[6]。

因此，一些研究开始将区域级建模纳入情绪识别中。例如，Ding等人[7]开发了一个局部-全局图网络，其中每个局部图代表大脑的特定功能区域。然而，这些方法中的脑区划分主要依赖于从解剖边界或其他领域特定功能标准得出的固定模板[8]。这些模板通常是通过对大量参与者的静息状态数据进行平均得到的“群体共识”。与此同时，神经科学研究明确指出，大脑功能具有高度的个体差异性。Gordon等人[9]证明，个体级连接图与群体模板之间的相似度极低（<0.7），并且大脑功能会根据认知任务发生动态重组[10]，[11]，[12]。这意味着，对于仅持续几秒钟的情绪EEG片段，直接应用基于静息状态或群体平均的固定模板无法准确捕捉受试者特定的神经活动模式，从而严重限制了模型的准确性。因此，为了精确映射个体情绪状态，有必要放弃固定的脑区划分模板，探索动态脑区划分策略。

除了空间上的个体差异外，EEG信号在时间维度上也表现出明显的非平稳性和模糊性。在现有的基于Transformer的方法中，优化过程通常仅依赖于标准的交叉熵损失。然而，由于低强度情绪片段通常包含不清晰且难以分离的特征，仅依赖交叉熵难以建立明确的类间边界，从而在模型遇到低强度或模糊情绪片段时降低区分能力。为了解决时间建模中的这一挑战，仅依靠传统特征提取是不够的；必须将对比损失纳入时间建模过程。这种结合旨在促进类内紧凑性和类间分散性，从而增强特征空间的可分离性。

总之，本文提出了一种个性化的EEG情绪识别网络，该网络结合了动态脑区分割，整体架构如图1所示。首先，原始EEG数据通过时间切片和特征提取进行预处理，生成丰富的样本表示。随后，在时间-特征层面，使用情绪强度注意力模块（EIAM）从样本中提取情绪强度信息，并结合残差连接和对比学习生成富含情绪状态信息的特征表示。在空间-特征层面，应用相位同步策略计算功能连接矩阵，然后将其输入功能空间划分模块（FSDM）以生成个性化脑功能分区。最后，将EIAM产生的情绪状态特征与FSDM获得的功能分区融合，并通过图神经网络（GNN）进行层次更新。这一过程旨在捕捉反映复杂区域内部和区域间关系的EEG表示，最终实现高精度的情绪分类。本文的主要贡献如下：

•

提出了一种基于相位同步的动态功能空间划分模块（FSDM）。该模块摒弃了传统的固定解剖模板，可以根据受试者的神经活动生成个性化的脑功能分区，有效解决了由于个体差异导致的模型适应性问题。

•

设计了一个结合对比学习的情绪强度注意力模块（EIAM）。为了解决EEG信号特征模糊的问题，引入了对比损失来约束特征空间，提高了类间可分离性和类内紧凑性，显著提升了模型区分低强度情绪片段的能力。

•

我们在三个公开可用的EEG数据集上全面评估了所提出的技术。实验结果突显了该方法在基于EEG的情绪识别中的有效性。

本文的其余结构如下。第2节总结了使用EEG信号进行情绪识别的先前研究。第3节介绍了所提出的PEER-DBR模型的架构以及本工作中使用的基于社区的分类策略。第4节概述了使用的数据集并详细描述了实验设计，随后分析了获得的结果。最后，第5节总结了本文。

相关工作

相关工作

近年来，深度学习已成为基于EEG的情绪识别研究的主流范式。虽然传统的机器学习（ML）方法仍然是该领域的基础，但深度学习通过实现包括信号预处理、特征提取和分类的集成端到端学习流程，显著扩展了其影响力。这种方法在基准任务上通常表现出强大的性能。后续章节提供了相关工作的概述

方法

在本节中，我们详细介绍了为特定受试者EEG情绪识别任务设计的PEER-DBR网络。如图1所示，我们首先描述了PEER-DBR网络的总体框架，然后深入解释了情绪强度注意力模块（EIAM）和功能空间划分模块（FSDM）的组成和贡献。

实验

在本节中，我们介绍了三个广泛使用的EEG情绪识别数据集，并展示了实验结果以评估所提模型的有效性。此外，我们将我们的方法与几种最先进的方法进行了性能比较，以突出其优越性。

结论

本文提出了一种基于动态脑区划分的个性化EEG情绪识别模型，命名为PEER-DBR。该模型根据每个受试者的功能连接模式划分脑功能区域，从而提取更相关和更具区分性的基于EEG的情绪特征，更好地反映个体特征和任务相关的情绪需求。此外，该模型使用

CRediT作者贡献声明

Xueli Chang：撰写 – 审稿与编辑，撰写 – 原稿，软件，方法论，概念化。Zhenyu Yang：撰写 – 审稿与编辑，监督，资金获取，数据管理。Xiaoyang Li：撰写 – 审稿与编辑，撰写 – 原稿，软件，方法论。Xiaoyang Wang：撰写 – 审稿与编辑。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。

致谢

本工作部分由山东省自然科学基金项目ZR2023MF093资助，部分由齐鲁工业大学（山东科学院）的科学与教育产业融合创新试点项目（项目编号2024ZDZX08）资助，以及齐鲁工业大学（山东科学院）的基础研究项目（项目编号2021JC02012）资助。

Xueli Chang毕业于中国济南的齐鲁工业大学（山东科学院），获得应用统计学学士学位。她目前正在齐鲁工业大学（山东科学院）计算机科学与技术专业攻读电子信息硕士学位。她的研究兴趣包括基于EEG的情绪识别。