基于脑电的情感识别双半球对抗域适应神经网络

《Brain Sciences》：Bi-Hemispheric Adversarial Domain Adaptation Neural Network for EEG-Based Emotion Recognition Yuqi Chen and Ming Meng

　　

摘要 背景与目标：对抗域适应方法被广泛用于基于脑电图（Electroencephalogram，EEG）的情感识别，以降低个体差异及EEG信号的非平稳特性带来的影响。现有多数方法采用二元域判别器在全局分布层面对齐源域与目标域，但这类策略往往忽略了情感EEG数据的潜在多模态结构，以及左右半球的非对称情感加工特征。为解决上述问题，本研究提出一种面向EEG情感识别的双半球对抗域适应神经网络（Bi-Hemispheric Adversarial Domain Adaptation Neural Network，BiHADA）。 方法：在BiHADA框架中，研究人员将传统二元域判别器扩展为多模态判别器，通过将源域数据的标签结构信息引入域判别过程，促使跨域同类情感特征对齐，推动正向知识迁移。同时，构建双对抗域适应分支分别对左右半球进行独立建模，使网络能够捕获半球特异性的情感表征。此外，引入判别器导出的困惑度评估目标样本的分布对齐质量，自适应确定对应半球分类器的权重，从而降低最终决策阶段对齐不佳样本的影响。 结果：在SEED数据集上的实验表明，BiHADA在跨被试与跨会话任务中的分类准确率分别达到86.82%与92.71%。结果显示，所提方法在不同域适应场景下均能有效提升EEG情感特征的迁移性与判别性。 结论：BiHADA通过联合考虑类别结构引导的域对齐、半球功能不对称性及分支级适应质量，增强了基于EEG的情感识别性能。结果表明，融合源域标签结构与半球特异性适应可提升跨域EEG情感识别表现。

论文解读

该研究针对基于脑电图（Electroencephalogram，EEG）的情感识别任务中跨域泛化能力不足的问题展开。EEG信号具有高时间分辨率优势，但在跨被试与跨会话场景下存在显著的个体差异与非平稳特性，导致模型在实际应用中的泛化性能受限。传统对抗域适应方法（如域对抗神经网络，Domain-Adversarial Neural Network，DANN）多采用二元域判别器实现源域与目标域的全局分布对齐，但此类方法存在两类局限：其一，仅关注边缘分布匹配，忽略情感EEG的多模态类别结构，易导致跨域同类别特征错位与类别判别性损失；其二，未结合大脑情感加工的功能偏侧化机制，难以充分挖掘左右半球对情绪刺激的差异化响应模式。为此，研究人员提出双半球对抗域适应神经网络（Bi-Hemispheric Adversarial Domain Adaptation Neural Network，BiHADA），旨在通过类别结构引导的域对齐与半球特异性建模提升跨域情感识别性能，相关成果发表于《Brain Sciences》。

研究采用的核心技术方法包括：第一，构建类别感知判别器（class-informed discriminator），将源域标签信息引入判别过程，将传统二元（源域/目标域）判别扩展为（C+1）分类任务（C为情感类别数，额外一类为目标域），在降低域差异的同时保留类别判别结构；第二，设计双分支对抗适应架构，基于10–20电极系统的中线划分左右半球，为每侧半球独立设置特征提取器、类别感知判别器与情感分类器，实现半球特异性表征学习；第三，引入基于困惑度的加权决策机制，利用判别器输出的目标域样本预测分布计算困惑度，量化各半球分支的域对齐质量，自适应分配分类器权重以实现鲁棒融合。实验数据来源于SEED系列公开数据集，包含SEED（三分类）、SEED-IV（四分类）与SEED-V（五分类），覆盖不同情感粒度与受试者规模。

研究结果部分的主要发现如下：

跨被试与跨会话性能验证：在SEED数据集上，BiHADA的跨被试准确率达86.82%，跨会话准确率达92.71%，均优于仅使用单侧半球数据的分支模型（BiHADA-L与BiHADA-R）。其中右半球分支（BiHADA-R）在多数任务中表现优于左半球分支（BiHADA-L），但双半球融合模型通过互补效应进一步提升了整体性能。

与其他先进方法的对比：在SEED数据集上与TCA、DCORA、DANN、BiDANN等方法比较，BiHADA取得了更高的平均准确率，验证了其在跨域特征迁移与判别性保持方面的优势。

频带分析：单频带实验中，γ频带（31–50 Hz）在跨被试任务中准确率最高（76.72%），高频段（β、γ）整体优于低频段（δ、θ、α）；全频段拼接特征可获得最优性能，跨被试准确率达86.82%。

权重分析：跨被试任务中右半球分类器权重更高（平均0.592），反映其域对齐效果更好；跨会话任务中因同受试者数据分布差异较小，左右半球权重接近（差值0.031）。

参数敏感性分析：权衡参数λ在0.5至1区间时模型性能较优，过高会导致分类精度下降。

扰动分析与训练数据规模分析：注入高斯噪声后模型性能呈平滑下降趋势，无突变崩溃，体现良好鲁棒性；仅使用20%源域训练数据时，跨被试与跨会话准确率仍可达81.14%与88.21%，显示低资源场景下的适应性。

消融实验：移除类别感知判别器（改用二元判别器）后，SEED与SEED-V数据集上性能显著下降且标准差升高，证实该模块可有效缓解类别错位；移除困惑度加权策略会降低特征类间可分性；共享左右半球特征提取器会削弱对半球功能不对称性的建模能力，导致性能小幅下降。

特征可视化与混淆矩阵分析：t-SNE可视化显示右半球特征类间边界更清晰，跨域对齐程度更高；混淆矩阵结果表明左半球对积极情绪识别更优，右半球对消极与中性情绪识别更具优势，双半球融合可综合双方长处。

讨论与结论部分指出，BiHADA通过融合神经科学先验（半球功能偏侧化）与机器学习策略（类别感知对抗适应、自适应加权），有效解决了传统域适应中的类别错位问题。研究同时指出当前局限：数据集规模有限、仅在SEED系列基准上验证、复现性受实现细节影响等，未来需在更大规模多中心数据集上验证，并完善开源与标准化评估流程。总体而言，该研究为结合脑机制先验的跨域EEG情感识别提供了可解释性强、鲁棒性高的新范式。