一种基于知识的自我监督学习方法，用于提升基于脑电图（EEG）的情绪识别能力

《Neural Networks》：A Knowledge-driven Self-supervised Learning Method for Enhancing EEG-based Emotion Recognition

提出基于微分熵的知识驱动自监督框架，通过多分支卷积（MCDEL）和对比熵对齐（CEA）模块解决EEG情绪识别中的数据标签不足与个体差异问题，在SEED和DREAMER数据集上表现优于现有方法。

　　

王汉奇|张静宇|叶鹏|杨坤|熊继川|刘学锋|陈涛|宋亮

机构：复旦大学工程技术研究院，城市：上海，邮政编码：200433，国家：中国

摘要

利用脑电图（EEG）的情感识别脑机接口（BCI）对人机交互、医学和神经科学至关重要。然而，标记 EEG 数据的稀缺限制了该领域的进展。为了解决这个问题，自监督学习作为一种有前景的方法受到了关注。尽管自监督方法具有潜力，但它面临两个关键挑战：（1）确保有效保留与情感相关的信息，因为其丢失会降低情感识别性能；（2）克服 EEG 信号中的个体间差异，这阻碍了跨个体的泛化。为了解决这些问题，我们提出了一种基于知识的自监督学习框架用于 EEG 情感识别。我们的方法结合了领域知识来近似提取统计特征差异熵（DE），旨在保留与情感相关的和可泛化的信息。该框架包括两个级联组件：多分支卷积差异熵学习（MCDEL）模块，用于模拟 DE 提取过程；以及对比熵对齐（CEA）模块，用于在高维空间中揭示复杂的情感语义。实验结果表明，我们的方法比现有的自监督方法表现更优。在我们的方法中，独立于受试者的平均准确率和标准差在 SEED 数据集上达到了 84.48% ± 5.79%，在 DREAMER 数据集的唤醒和价值维度上分别达到了 67.64% ± 6.35% 和 68.63% ± 7.77%。我们进行了消融研究以证明每个提出组件的贡献。此外，t-SNE 可视化直观地展示了我们的方法在减少个体间差异和区分情感状态方面的效果。

引言

情感识别脑机接口（BCI）对人机交互至关重要，在医学和神经科学中有重要应用。在各种测量方法中，脑电图（EEG）因其非侵入性、客观性和高时间分辨率而脱颖而出（Li 等人，2022d；Weng 等人，2024）。最近，深度学习被用于从 EEG 数据中识别情感，并取得了显著成功（Ding 等人，2023；Kan 等人，2023；Li, Chen, Jin, 2022a；Li, Zheng, Zong, Cui, Zhang, Zhou, 2018；Zhong 等人，2020）。在早期阶段，大多数方法采用监督学习（Li 等人，2022d；Weng 等人，2024）。这种范式需要标记数据来有效训练模型。然而，由于手动注释所需的时间和努力，收集标记的 EEG 数据具有挑战性（Li 等人，2022d；Weng 等人，2024）。此外，标签的准确性往往取决于专业知识和自我报告，可能导致潜在的噪声和偏差，从而影响模型性能（Weng 等人，2024）。

目前，研究人员转向自监督学习来为下游情感识别任务提取 EEG 信号的表示（Banville 等人，2021；Kan 等人，2023；Shen 等人，2022；Wang 等人，2023）。这种方法通常涉及预训练任务，这些任务可以为未标记数据自动生成标签，从而减少对标记数据集的依赖。最近的研究展示了自监督学习在 EEG 情感识别中的潜力（Li, Chen, Niu, Xu, Dong, Jin, Zhu, 2024a；Li, Wang, Zheng, Lu, 2022b；Li, Chen, Li, Fu, Wu, Ji, Zhou, Niu, Shi, Zheng, 2023；Shen 等人，2022；Wang 等人，2023）。然而，仍然存在两个关键挑战。首先，现有的预训练任务在充分保留 EEG 信号中的情感相关信息方面存在局限性。虽然许多在计算机视觉等领域成功的任务（Chen 等人，2020；He, Chen, Xie, Li, Dollár, Girshick, 2022a；He, Fan, Wu, Xie, Girshick, 2020；Noroozi 和 Favaro，2016）被改编用于 EEG 情感识别（Li, Wang, Zheng, Lu, 2022b；Li, Chen, Li, Fu, Wu, Ji, Zhou, Niu, Shi, Zheng, 2023；Shen 等人，2022），如图 1(a) 所示，但它们的设计对情感 EEG 数据的特点考虑不足。这个问题阻碍了在表示学习过程中捕获与情感相关的信息，这对下游任务的性能至关重要。因此，理想的方法是设计专门促进保留情感相关信息的预训练任务。其次，EEG 信号中的高个体间差异阻碍了自监督模型在不同个体间的泛化（Li 等人，2022d；Weng 等人，2024）。因此，增强个体间泛化对于自监督 EEG 情感识别模型的实际应用至关重要。这些挑战凸显了需要一种独立于受试者的自监督方法，能够捕获与情感相关和可泛化的 EEG 情感表示。

差异熵（DE）是一种基于专业知识的数学定义的手工特征。现有研究表明，它与 EEG 信号中的情感状态有很强的相关性（Shi 等人，2013）。在许多针对各种数据集的深度学习研究中，DE 在 EEG 情感识别中的有效性已被广泛认可（Du 等人，2020；Guo 等人，2024；Liu, Wang, Jiang, An, Gu, Li, Zhang, 2024a；Liu, Wang, An, Li, Wang, Zhang, 2024b；Luo 等人，2024；Zheng 和 Lu，2015）。因此，这一观察表明我们可以利用它来设计自监督任务，保留与情感相关的信息。此外，作为一种统计特征，DE 的有效性依赖于跨个体的一致神经生理基础。因此，它关注的是普遍模式而非个体特异性。这一事实进一步表明，将其整合到自监督任务设计中也有可能减轻高个体间差异的影响。因此，我们受到启发，探索基于这一知识的新颖自监督任务，以解决保留情感相关信息和个体间差异这两个挑战。

具体来说，我们使用 DE 作为监督来指导网络的学习过程，如图 1(b) 所示。我们的最终目标不是精确复制 DE，而是利用这一任务获得丰富的中间表示，以服务于下游的情感识别任务。作为数据驱动的自适应学习范式，深度学习可以通过这种与 DE 相关的任务获得关键能力：它可以自主发现数据中与任务相关的所有潜在模式，包括那些未被手工制作的 DE 特征覆盖的模式。通过固定的手工制作的 DE 特征很难实现这一点。一个经典的类比是计算机视觉中的掩码重建任务（He 等人，2022a）。其最终目标不是完美恢复被掩码的像素，而是迫使模型通过该过程学习与重建相关的图像语义，从而显著提高其在各种下游任务中的性能。

在这项工作中，我们提出了一种基于知识的自监督学习方法用于 EEG 情感识别。通过近似差异熵的提取过程，将有效特征的先验知识融合到学习过程的设计中。具体来说，我们的框架包括两个用于异构表示学习的级联模块。首先，提出了一个多分支卷积差异熵学习（MCDEL）模块作为硬对齐，直接从原始 EEG 数据的不同频段学习差异熵。这要求 MCDEL 分别近似不同频段的 DE 计算。为此，MCDEL 基于一维因果卷积和多分支结构构建。其次，我们提出了一个对比熵对齐（CEA）模块作为软对齐，用于在高维空间中揭示复杂的情感语义。该模块防止模型过度强调低级特征，同时忽略更复杂的语义表示的对齐。在 SEED 和 DREAMER 数据集上进行了广泛的实验。在独立于受试者的评估协议下，我们的方法优于现有的自监督学习方法。可视化结果进一步突显了它在减少个体间差异和捕获与情感相关信息方面的影响。为了证明其实际适用性，我们评估了该方法对标记数据减少的鲁棒性。结果表明，即使在标记数据较少的情况下，它也能表现良好。此外，广泛的消融研究证实了每个提出模块的有效性。我们工作的主要贡献可以总结如下：

• 1.
  本研究提出了一种基于知识的自监督学习方法，将有效手工特征的知识融合到学习过程中，以近似 DE 提取作为预训练任务。我们的框架包括两个级联模块：MCDEL 和 CEA。
• 2.
  MCDEL 模块被提出作为硬对齐，用于从原始 EEG 数据的多个频段构建 DE 特征。它采用一维因果卷积和多分支结构来覆盖不同频段的信号。
• 3.
  CEA 模块被提出用于细化学习到的特征。作为软对齐模块，CEA 强调在高维空间中学习到的特征和手工特征的一致性。
• 4.
  在两个公共情感 EEG 数据集 SEED 和 DREAMER 上进行了广泛的实验。我们的方法比现有的自监督方法实现了更高的独立于受试者的性能。

章节片段

独立于受试者的 EEG 情感识别

EEG 情感识别深度学习模型的实际适用性增加了人们对能够准确识别不同个体情感的独立于受试者的方法的兴趣。这一领域的一个显著挑战是 EEG 信号中固有的显著个体间差异，这使得从训练数据到测试数据的知识转移变得复杂。为了解决这一挑战，研究人员开发了两种策略：领域适应（DA）和

方法

所提出方法的框架如图 2 所示。我们的方法包括两个主要模块：MCDEL 和 CEA。MCDEL 作为基础阶段，确保网络掌握基本的低级特征。CEA 作为细化阶段，旨在在高维空间中捕获更复杂的语义一致性。这两个模块不是相互排斥的，而是形成互补关系。在 MCDEL 模块中，模型学习构建 DE 特征

数据集和预处理

DREAMER 是 Katsigiannis 和 Ramzan（2017）建立的一个 EEG 情感数据集，包含 14 通道的 EEG 记录。EEG 信号是在参与者暴露于诱发情感的视听刺激时收集的。EEG 信号的采样率为 128 Hz。该数据集包括 23 名参与者，他们观看了长度从 63 秒到 393 秒不等的 18 个电影片段。观看片段后，参与者使用自我评估量表对其情感体验进行了评分

结论

总之，这项工作介绍了一种基于知识的自监督学习方法，用于 EEG 情感识别。通过近似手工制作的差异熵（DE）特征提取，我们的模型学习了与情感相关和可泛化的 EEG 表示。此外，采用了一个级联流程：多分支卷积差异熵学习（MCDEL）模块最小化了点对点误差，而对比熵对齐（CEA）模块则细化了

CRediT 作者贡献声明

王汉奇：写作——审稿与编辑，撰写——原始草稿，方法论，调查，形式分析，概念化。张静宇：写作——原始草稿，方法论。叶鹏：写作——审稿与编辑，可视化。杨坤：写作——审稿与编辑，概念化。熊继川：写作——审稿与编辑，项目管理。刘学锋：写作——审稿与编辑，项目管理，概念化。陈涛：写作——审稿与编辑，监督，

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：宋亮报告称获得了中国国家重点研发计划的财务支持。宋亮报告称获得了海南省院士创新平台的专项研究基金的财务支持。如果有其他作者，他们声明没有已知的财务利益或个人

致谢

这项工作得到了中国国家重点研发计划（项目编号 2024YFE0200700，主题编号 2024YFE0200703）的支持。这项工作还得到了海南省院士创新平台的专项研究基金（项目编号 YSPTZX202314）的部分支持，以及复旦大学-长安网络化 AI 边缘计算联合实验室的部分支持。