基于监督对比学习的自适应多尺度时频网络，用于运动想象解码

《Biomedical Signal Processing and Control》：Supervised contrastive learning-based adaptive multi-scale time–frequency network for motor imagery decoding

本研究提出基于监督对比学习的自适应多尺度时空与时间-频率域融合网络（SCL-AMNet），通过双分支机制动态整合多尺度时空特征，结合对比损失与交叉熵损失提升EEG-MI分类的鲁棒性，在BCI IV-2a、OpenBMI、BCI III-4a数据集上达到86.46%、72.59%、85.21%的准确率，超越现有SOTA模型。

　　

邓祖轩|冯陆峰|贾世凡|徐宝敏

北京交通大学云计算与数据科学研究所，北京交通大学，北京，100044，中国

摘要

脑机接口（BCI）研究在生物医学应用中发挥着关键作用，如神经康复、辅助技术和认知状态监测。然而，通过可穿戴脑电图（EEG）电极帽收集的非侵入式EEG信号的非稳定性和个体差异性极大地影响了分类性能，这对准确可靠的解码提出了重大挑战。现有模型通常从单一尺度或领域提取特征，限制了它们捕捉多尺度动态信息和跨领域关联的能力，从而限制了分类性能。为了解决这些挑战，本研究提出了一种基于监督对比学习的自适应多尺度时频网络（SCL-AMNet），用于运动想象EEG（MI-EEG）分类。该框架整合了双分支自适应多尺度时频融合机制以及监督对比学习（SCL），一种用于增强特征紧凑性和可分性的正则化损失，模型明确促进了类别可分性，从而提高了特征区分度和分类鲁棒性。广泛的实验表明SCL-AMNet模型的有效性，在多个基准数据集上达到了最先进（SOTA）的准确率：在BCI IV-2a上达到86.46%，在OpenBMI上达到72.59%，在BCI III-4a上达到85.21%。

引言

BCI是一种将大脑活动解码并转化为指令以操作外部机械设备的系统，例如轮椅或光标控制[1]。智能医疗传感器和通信技术的最新进展显著改变了医疗领域，提高了服务质量、准确性、可访问性和响应时间，同时产生了大量医疗数据[2]。脑电图（EEG）可穿戴设备传感器从人脑捕获生物特征信号，这些信号可以解码以评估生理和心理状态，最终提高生活质量并检测许多疾病，如精神分裂症和帕金森病[3]。与传统智能医疗传感器不同，EEG信号在智能医疗系统中具有双重用途：它们促进了与医疗相关的传感，并通过控制机制（如操作轮椅或外骨骼）实现与物理世界的互动[4]。这种双向互动，即脑机接口（BCI），在关键医疗应用中起着至关重要的作用。

在各种BCI范式中，基于EEG的运动想象（MI）已被广泛应用于神经康复，通过假肢控制或外骨骼恢复受损的肢体功能，为行动不便的人提供机器人轮椅替代行走能力，并通过拼写器和光标控制系统促进交流[4]、[5]、[6]、[7]。尽管取得了这些进展，但由于大脑活动的固有复杂性，非侵入式EEG信号的解码仍面临重大障碍。非侵入式EEG信号的信号噪声比（SNR）低且非平稳，以及大脑活动的复杂性，导致EEG信号的高度多样性和动态性、个体差异以及可训练数据的稀缺性，给EEG-MI解码带来了许多挑战[8]、[9]。

为了解决这些问题，研究人员进行了许多探索，包括使用卷积神经网络（CNNs）、循环神经网络（RNNs）、变换器（transformers）、自编码器（autoencoders）和混合模型进行跨领域融合和端到端解码[10]。Eduardo等人[11]提出了使用并行结构的Inception网络的EEG-Inception，可以有效提取多尺度信息。Ke Liu等人[12]提出了一个结合多尺度时空特征和变换器的端到端模型。其他研究人员整合了时域、频域和额外特征以增强EEG信号表示，Xiao Li等人[13]提出了一个结合时域残差卷积块和跨域双流空间卷积的模型以捕获更丰富的特征。Jin等人[14]提出了一个结合多尺度时空特征融合的模型以解决信息提取不足的问题。此外，相位空间重建（RPS）提供了一个强大的非线性框架，用于捕获隐藏的时间结构并增强区分性特征。除了单模态EEG之外，整合互补的EMG和ECG数据有望提高MI-BCI系统的可靠性和适应性[3]、[15]。然而，专注于单域分析的多尺度特征提取忽略了跨领域互动，导致表示不完整和EEG-MI解码的区分能力降低。由于EEG信号的非平稳性，其中频率成分和能量分布随时间动态变化，没有动态调整的跨特征整合难以适应，从而导致关键特征信息的丢失。因此，这些策略在有效解码低SNR比和非平稳特征的非侵入式EEG信号时面临挑战。

因此，本研究引入了一种双分支时域卷积网络（TCN），它动态地整合了时域和时频域的多尺度特征。与计算开销较高的变换器和RNNs相比，TCN表现出数据效率和并行化特性，非常适合样本量有限的EEG数据集。模型内采用跨域特征提取和融合机制，有助于消除表示不完整的限制并提高EEG-MI解码性能。本研究使用Haar小波获取EEG的时频域特征，Haar基因其能够突出显示MI任务中通常携带区分信息的急剧时间变化和瞬态能量变化而表现良好[9]。同时，通过自适应提取层动态选择关键特征信息，其中采用了空间注意力机制（SAM）[16]和特征缩放卷积层，从多尺度时域和时频特征中自适应选择关键信息，有效应对EEG信号的非平稳性，为稳健的MI-EEG解码提供了特定领域的适应。

此外，EEG信号通常具有较高的噪声水平，任务相关的信号特征经常被背景噪声掩盖[17]、[18]。现有方法主要使用交叉熵损失（cross-entropy loss），它优化了标签预测准确性，但忽略了类间特征结构，导致特征分散和对标签噪声的鲁棒性较差[19]、[20]。为了提高分类准确性和鲁棒性，必须同时考虑同一类别内样本之间的相似性和不同类别样本之间的差异。本研究提出了一种包含对比监督学习（SCL）和交叉熵的联合损失函数模块，该模块通过对比监督学习将所有EEG样本投影到嵌入空间中。监督对比损失用于优化嵌入空间，紧密聚集同一类别的样本并区分不同类别的样本。对比损失强制的类间边界约束明确惩罚负样本对之间的高相似性，从而促进更具区分性的特征学习。

在本文中，本研究提出了一种基于监督对比学习（SCL-AMNet）的自适应多尺度时频域TCN网络，用于运动想象分类。双分支多尺度时频域融合机制解决了表示不完整的限制并增强了区分能力。然后，自适应提取层实现了关键特征的动态选择，包括SAM和特征缩放卷积。TCN从突出显示的信息中提取高级时间特征。监督对比学习紧密聚集同一类别的样本，同时区分不同类别的样本，以提高泛化能力。主要贡献总结如下：

• 1.
  本研究开发了一个双域自适应多尺度特征提取模块，通过自适应层动态耦合多尺度时域和时频域的关键特征，以增强特征互补性和分类准确性。
• 2.
  本研究构建了一个新颖的双任务损失模块，结合了监督对比损失以增强区分性特征学习，通过捕获样本间差异，以及交叉熵损失以对齐预测和真实分布进行分类。
• 3.
  本研究证明了SCL-AMNet相对于现有最先进（SOTA）模型的优越性能，在BCI IV-2a上提高了1.89%的准确率，在OpenBMI上提高了2.54%，在BCI III-4a上提高了2.94%。此外，T-SNE可视化结果一致支持我们模型的优越性，显示出更紧凑和可分离的特征分布。

我们的实验验证了我们提出的SCL-AMNet在公共数据集BCI4-2a、BCI3-4a和openBMI上优于现有的最先进（SOTA）模型。本文的其余部分组织如下。第2节描述了数据传播过程和SCL-AMNet的架构。第3节描述了实验方法。第4节提供了实验结果，第5节给出了简要结论。

相关工作

相关工作

在本节中，本研究介绍了传统的MI-EEG解码方法和深度学习中的EEG-MI解码方法，以及许多方法的缺点和改进。

方法

在本节中，我们将详细介绍图1中显示的我们的模块。数据流入时域-空间卷积模块以提取初始的低级时域和通道级特征。随后，特征通过自适应多尺度时频域模块并行处理，动态耦合多尺度特征以捕获复杂的信号模式。融合的输出由TCN处理，以建模长距离时间依赖性。

实验和结果

在本节中，本研究评估了SCL-AMNet在三个公共数据集上的性能，并提供了详细的实验结果。此外，本研究将我们的方法与现有的MI分类方法进行了比较，对提出的模块进行了消融研究，并提供了t-SNE可视化结果。

结论

本研究提出了SCL-AMNet，这是一个深度学习框架，旨在通过自适应双分支架构和监督对比学习（SCL）来减轻EEG的非平稳性。提出的目标函数结合了交叉熵（CE）损失和SCL，有效地从多尺度时域和时频域捕获区分性特征。在三个基准数据集（BCI-IV-2a、OpenBMI和BCI-III-4a）上的实验结果表明，SCL-AMNet取得了

CRediT作者贡献声明

邓祖轩：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，监督，软件，资源，项目管理，方法论，调查，资金获取，正式分析，数据管理，概念化。冯陆峰：撰写 – 审稿与编辑，监督，方法论，调查，资金获取，概念化。贾世凡：项目管理，调查。徐宝敏：撰写 – 审稿与编辑，监督，调查，资金

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

资金支持：本工作部分得到了国家自然科学基金的资助，项目编号为[92271106]