基于域感知与域-类自适应的运动执行至运动想象脑电图分类网络

《Frontiers in Neuroscience》：Domain-aware domain–class adaptation network for motor execution to motor imagery EEG classification

　　

摘要：引言：运动想象（MI）是基于脑电图（EEG）的脑-机接口（BCI）中使用最广泛的范式之一。近年来，深度学习（DL）和迁移学习（TL）技术被越来越多地采用，以进一步提高MI-EEG解码性能，从而促进BCI的实际部署。在迁移学习中，源域与目标域之间的相似性是影响其有效性的关键因素。鉴于运动执行（ME）和MI任务中观察到相似的皮层激活模式，从ME到MI的跨任务迁移学习是一个前景广阔但尚未充分探索的方向。方法：为解决从ME到MI的跨任务迁移学习这一尚未充分探索的问题，研究人员提出了一个域感知域-类自适应网络（DDCA Net），该网络由一个域共享特征提取器、两个分类器和两个域特定特征重加权块组成。通过最小化源域与目标域特征分布之间的最大均值差异（MMD）实现域级对齐，同时域特定特征重加权保留了每个任务独特的判别性特征。此外，采用双分类器对抗学习框架以鼓励跨域决策边界的一致性，从而实现隐式的类级对齐。结果：研究人员在一个包含超过100名受试者的公共数据集上进行了广泛的实验，并在目标域训练样本比例不同的条件下进行验证。当使用80%的目标域样本进行训练时，所提出的DDCA Net显著优于单任务基线方法，分类准确率提高了7.71%，并使约80%先前无法使用BCI的“BCI文盲”受试者转变为“BCI识字”用户。讨论：据研究人员所知，这是首个验证将域自适应应用于MI-EEG分类中跨任务迁移学习可行性的研究。本研究的发现为在高级BCI中整合ME与MI提供了新的见解。

基于脑电图（EEG）的脑-机接口（BCI）在用户与外部设备之间建立了无需外周神经和肌肉参与的直接通路。基于EEG的BCI不仅用于运动障碍患者的康复，也用于健康用户的日常生活辅助。运动想象（MI）是指想象身体某部位的特定运动但不产生任何实际动作。作为内生性和自发性BCI范式的代表，MI长期以来一直是广泛研究的焦点。MI任务期间EEG的分类结果将作为控制信号发送到外部设备，因此对不同运动类型的精确分类至关重要。

早期的MI分类依赖于传统的机器学习方法进行特征提取，这些方法往往不能充分利用信息。相比之下，深度学习方法能够实现自动特征提取和分类，表现出更强的鲁棒性和泛化能力。一些代表性的深度学习模型在EEG解码中取得了强大性能。此外，为了进一步提高EEG解码性能，研究人员提出了许多基于深度学习的方法。在实际应用中，开发一个在不同受试者或记录会话中泛化良好的通用深度学习模型具有挑战性。迁移学习（TL）作为一种有效的解决方案应运而生，它能够利用源域中的可迁移知识，基于其底层相似性来改进目标域中的预测。在MI-EEG解码中，TL通常应用于跨被试、跨会话和跨数据集场景。

如上所述，跨被试、跨会话和跨数据集迁移学习已被提出以解决现实世界应用中的实际挑战。从迁移学习的角度看，源任务与目标任务之间的相似程度在知识迁移的有效性以及因此在目标任务上的表现方面起着关键作用。鉴于MI和运动执行（ME）任务之间固有的相似性，从ME到MI的跨任务迁移学习引起了越来越多的关注。具体而言，MI可视为ME的隐式形式。MI和ME任务期间运动皮层的神经激活和产生的EEG节律是相似的。已知ME的振幅特征和解码性能强于MI。MI与ME的比较研究报告指出，ME通常比MI达到更高的分类准确率。研究人员提出了三种可能的解释：第一，ME信号往往具有更强的振幅特征，降低了信号解码的难度；第二，由于存在明确动作，ME任务期间采集的信号与预期指令之间的一致性通常更具说服力；第三，在MI任务期间无法精确测量任务状态的持续时间，导致MI的标签在某种程度上受到噪声影响。此外，为推进BCI的应用，必须确保训练数据采集任务直观且用户友好，以最小化用户的疲劳和压力。与MI任务相比，ME任务被证明挑战性和要求更低。因此，在数据采集和校准期间整合MI与ME任务，可能有助于开发更用户友好的BCI系统。

尽管迁移学习技术已在跨被试、跨会话和跨数据集场景中得到广泛研究，但这些研究很大程度上局限于单任务设置。迄今为止，针对MI分类的跨任务迁移学习受到的关注非常有限。虽然ME和MI之间的相似性激发了从ME到MI任务的迁移学习探索，但它们在时间和空间EEG表征上的差异导致了特征空间中的分布偏移。因此，需要域自适应（DA）技术来缓解域偏移问题。DA可以同时利用来自源域（ME）和目标域（MI）的知识，同时在共享空间中对齐它们的特征表示。基于此，研究人员采用DA来解决跨任务迁移学习问题。具体而言，他们提出了一个域感知域-类自适应网络（DDCA Net），该网络包含一个域共享特征提取器、两个分类器和两个域特定特征重加权（DFR）块。如图1所示，通过最小化最大均值差异（MMD）显式实现特征分布的域级对齐。同时，DFR块自适应地强调每个域独有的信息性特征，从而在对齐过程中保留了每个域的判别性特征。此外，通过双分类器学习在类级别进行隐式的对抗对齐，以鼓励源域和目标域之间一致的决策边界。

本研究的主要贡献总结如下：（1）本研究将跨任务迁移学习形式化为域偏移问题，并且是首批采用域自适应范式解决从ME到MI任务的特定受试者迁移学习的研究之一。因此，研究人员提出了一个新的DDCA Net来系统地研究这个问题。（2）开发了一个分层的域自适应框架，包括显式的域级对齐、隐式的类级对齐和DFR块。这些组件共同减少分布差异，强制执行决策边界的一致性，并保留域特定的判别性知识，从而实现有效的跨任务知识迁移。（3）实验结果表明，即使在目标域数据有限的情况下，DDCA Net仍能保持强大的性能，突显了其在减少对MI-EEG数据依赖方面的潜力，有利于实际BCI应用。

所提出的DDCA Net架构（图1）由一个域共享特征提取器（F）、两个分类器（C1和C2）以及两个DFR块（称为源域特征重加权块RS和目标域特征重加权块RT）组成。在训练期间，来自源域和目标域的预处理EEG样本首先被输入F以提取高维特征表示。这些特征被展平后转发到两个流。第一个流通过测量并最小化源域与目标域特征分布之间的差异（使用MMD准则）来执行域级对齐，从而鼓励学习域不变表示。第二个流旨在通过DFR机制保留域特定特征。具体而言，来自源域的特征表示被输入RS，而来自目标域的特征表示被输入RT。每个DFR块自适应地强调其对应域独有的信息性特征。RS和RT的输出随后被馈送到两个分类器C1和C2，以分别对源域和目标域进行类别预测。通过引入域感知的特征细化，此流缓解了适应过程中过度特征对齐的负面影响。此外，通过双分类器对抗范式实现隐式的类级对齐，其中C1和C2在目标域样本上的预测差异被交替最大化和最小化。该策略鼓励在不需要显式类别级分布匹配的情况下学习跨域一致的决策边界。最后，特征提取器F、分类器C1和C2以及DFR块RS和RT通过最小化来自源域和目标域的有标签样本的分类损失进行联合优化，使模型能够学习跨域具有判别性和可迁移性的表示。

DFR块的灵感来自SE块，旨在捕获对域特定分类至关重要的时空特征。如图2所示，DFR块由两个全连接层组成。第一层（Linear1）使用预定义的比例因子（在本研究中经验性地设置为8）执行降维，而第二层（Linear2）将重加权分数向量的维度恢复到与特征提取器的输出维度匹配。重加权特征输出根据以下方式获得：首先计算重加权分数向量 s = σ(Linear2(ReLU(Linear1(f))))，其中 f 是特征提取器的输出，σ(?)表示sigmoid激活函数，ReLU(?)表示整流线性单元操作。然后，最终的重加权特征输出计算为 f' = Concat(s ? f, f)，其中 ? 表示逐元素乘积操作，Concat(?)表示特征拼接操作。

DDCA Net的优化目标设计为分层方式，包含域级和类级对齐。具体而言，框架由三个互补目标构成：分类学习、域对齐和类对齐，它们共同促进全面的域-类自适应，并增强所学表示的可迁移性和判别性。分类学习的目的是联合利用源域和目标域的有标签数据学习判别性表示。源域分类损失 L_S 计算为两个分类器的预测与真实标签之间的交叉熵损失。类似地，目标域分类损失 L_T 以相同方式计算。联合优化两个域的分类性能确保模型不会过度偏向源域，从而提高对目标域的泛化能力。为实现两个域之间的全局分布对齐，使用带有高斯径向基函数核的MMD损失最小化源域与目标域特征分布之间的差异。MMD损失 L_MMD 计算为源域内部、目标域内部以及跨域特征之间的核函数差异之和。通过减少全局域偏移，它促进了从ME到MI的知识迁移，并为后续的细粒度适应提供了基础。尽管MMD损失显式地对齐了跨域的全局特征分布，但它没有考虑类条件结构。为解决此局限性，采用双分类器对抗学习策略，通过鼓励跨域决策边界的一致性来隐式地对齐类级特征分布。具体而言，训练两个分类器C1和C2以最大化它们在目标域样本上的预测差异，同时特征提取器和两个DFR块被优化以最小化该差异，从而将目标特征推向两个分类器都同意的区域。分类器差异损失 L_CD 基于两个分类器在目标域样本上的softmax概率输出差异来定义。通过这种对抗过程，强制执行决策边界一致性，减少跨域的类别不匹配和模糊性，并与域对齐互补，形成统一的域-类自适应框架。

DDCA Net的训练过程采用最大分类器差异（Maximum Classifier Discrepancy）的训练策略。具体而言，由骨干特征提取器和两个DFR块组成的扩展特征提取器与两个分类器通过最大-最小对抗优化过程进行训练。在对抗迁移学习中，分类器差异损失被交替最大化和最小化。在源域/目标域上的判别性表示学习以及跨域特征对齐均通过一个动态学习过程完成。训练过程分为三步：第一步，通过最小化源域和目标域上的分类损失来优化F、RS、RT、C1和C2。第二步，通过最大化分类器差异损失来优化C1和C2，同时固定F、RS和RT的参数。第三步，通过最小化分类器差异损失来优化F、RS和RT，同时固定C1和C2的参数。在步骤9-11中，ω_MMD 和 ω_CD 是平衡域级和类级损失贡献的权衡超参数。所提出的DDCA Net将域感知网络架构与三步对抗训练策略相结合，以实现有效的域-类自适应。具体而言，该框架由一个共享特征提取器、DFR块和两个并行分类器组成，它们协同学习域不变但类可判别的表示。域-类自适应通过重复执行三步对抗训练过程来完成，其中特征分布对齐和决策边界一致性被联合优化。

实验使用了EEG运动运动/想象数据集，该数据集包含109名受试者执行ME和MI任务的记录。每个任务包括四个运动类别：开合左拳、右拳、双拳和双脚。本研究仅考虑ME和MI任务中的左右拳运动类别。EEG信号使用64个电极以160 Hz的采样率采集。由于非标准数据结构，舍弃了6名受试者，最终样本为103名参与者。数据预处理以Pz为参考电极对数据进行重参考，并进行8-30 Hz的带通滤波。提取指令开始后的4.0秒片段作为原始数据。为缓解训练数据有限的问题，采用滑动窗口裁剪进行数据增强，窗口大小为2.0秒，步长为0.25秒。数据增强后，每个受试者每类大约生成200个训练样本。因此，增强后数据 x_i^S 或 x_i^T 的维度为63 × 320（即电极通道数E × 时间点数T）。实验在NVIDIA RTX 3090 GPU上使用PyTorch实现。初始学习率设置为5 × 10^-4，并在第75个训练周期衰减到5 × 10^-5，总共进行150个训练周期。采用Adam优化器，权重衰减为5 × 10^-4。为全面验证从ME到MI任务的域自适应可行性，研究人员将DDCA Net的性能与单任务分类方法进行了比较。具体而言，分别使用EEGNet模型在ME和MI EEG数据上进行训练，以分别执行ME和MI分类，记为ME-EEGNet和MI-EEGNet。MI-EEGNet作为基线方法，系统性地研究了DDCA Net所实现的分类性能提升。在单任务设置中，对每个受试者独立进行五折交叉验证，每折使用80%的数据进行训练，剩余20%用于测试。对于DDCA Net，源域（ME任务）的所有有标签样本都用于模型训练，而目标域（MI任务）的仅部分样本参与。用于训练的目标域样本比例称为训练集比例（记为γ），分别设置为0.5、0.6、0.7和0.8。为减轻训练-测试划分引入的随机性影响，在给定γ下的每个实验重复五次，并报告平均分类准确率作为最终结果。通过网格搜索确定了最优的权衡超参数设置[ω_MMD, ω_CD]为[0.005, 0.01]。

统计分析方面，首先使用Friedman检验来检验所比较的六种方法之间性能的总体差异。随后，使用Wilcoxon符号秩检验（经Bonferroni校正）进行事后两两比较，以评估基线方法与每种比较方法之间的性能差异的统计显著性。显著性水平设置为0.05。

结果：平均分类准确率方面，单任务方法和所提出的DDCA Net在四种不同γ设置下在数据集的每个受试者上进行了评估。Friedman检验揭示了统计学上的显著效应[χ²(5) = 211.69, p < 0.001]，表明所比较的方法之间存在显著差异。MI-EEGNet和ME-EEGNet在103名受试者上的平均分类准确率分别为74.04%和76.17%。尽管ME-EEGNet比MI-EEGNet获得了更高的准确率，但该提升在统计上不显著（p = 0.255）。对于DDCA Net，γ=0.5时的平均分类准确率为73.28%，比基线低0.76%。当γ增加到0.6时，平均准确率达到74.61%，比基线有0.57%的边际提升，但无统计显著性。相比之下，当γ设置为0.7和0.8时，平均分类准确率分别提高到76.52%和81.75%，对应比基线分别提高了2.48%和7.71%。这些提升与基线方法相比在统计上显著（p < 0.001）。

受试者水平分类准确率方面，图3展示了不同方法对每个受试者的分类准确率。图4呈现了基线MI-EEGNet与所提出的DDCA Net在不同γ值下的分类性能受试者水平比较。当γ=0.5、γ=0.6、γ=0.7和γ=0.8时，DDCA Net获得更高分类准确率的受试者比例分别为43.69%（103人中的45人）、55.34%（103人中的57人）、66.02%（103人中的68人）和97.09%（103人中的100人）。值得注意的是，γ=0.8的DDCA Net使几乎所有受试者都获得了更高的分类准确率，持续提升了受试者水平的性能，并表现出强大的鲁棒性和泛化能力。在现有文献中，MI-BCI文盲通常由分类准确率70%的阈值定义，这对应于本研究中的低表现组（受试者1-41）。如图4所示，低、中、高表现组中，MI-BCI文盲受试者数量分别为41（基线）、46（γ=0.5）、36（γ=0.6）、30（γ=0.7）和8（γ=0.8）。特别地，在低表现组的41名受试者中，33名在使用γ=0.8的DDCA Net时分类准确率超过了70%的阈值，表明先前约80.49%（41人中的33人）的BCI文盲受试者被转变为识字用户。

可视化分析方面，为了进一步研究DDCA Net的域对齐性能并展示γ对分类性能的影响，研究人员应用t-分布随机邻域嵌入（t-SNE）来可视化三种典型受试者（分别代表低、中、高表现组）的高级表示。图5的t-SNE可视化显示，对于所有三名受试者，即使在不同γ设置下，二维特征空间在域间也表现出强大的对齐。对于低表现受试者S090，当γ低于0.6时，源域和目标域特征空间中均观察到类间混淆，降低了类间的判别性。然而，当γ超过0.7时，DDCA Net有效地将同一类内的特征聚类并分离不同类的特征，从而提高了目标域上的分类性能。对于中、高表现受试者S073和S049，当γ超过0.7时，与MI-EEGNet相比，DDCA Net展示了优越的特征聚类能力。在γ=0.8时，两个域在特征空间中都表现出卓越的判别能力，从而在目标域上取得了出色的分类性能。

消融研究方面，所提出的DDCA Net包含三个模块：通过MMD准则实现的域级对齐、通过双分类器对抗策略实现的类级对齐以及旨在保留域特定特征的DFR机制。为研究每个模块的贡献，在γ=0.8的设置下进行了消融研究。具体评估了三种消融变体：无域级对齐的DDCA Net（NoMMD）、无类级对齐的DDCA Net（NoCD）和无DFR机制的DDCA Net（NoDFR）。如图6所示，DDCA Net始终优于所有消融变体，证明了所提框架的有效性。在比较的方法中，NoCD取得了最低的平均准确率，表明类级对齐在跨任务域自适应架构中起着最关键的作用。此外，与DDCA Net相比，NoMMD和NoDFR都表现出性能下降，这表明域级对齐和域特定特征保留都有助于MI-EEG分类中有效的跨任务知识迁移。t-SNE可视化（图7）提供了更直观的理解：没有域级对齐（NoMMD），虽然类级对齐部分对齐了源域和目标域特征分布，但每个域内的类间可分性降低，可能导致误分类。没有类级对齐（NoCD），单独的域级对齐无法确保清晰的类别边界，决策边界附近的样本限制了分类性能。更重要的是，没有DFR机制，源域和目标域特征趋于过度混合，类别结构失真（例如，图7G中的S073），表明盲目强制对齐会在域间引入权衡，并可能导致负迁移。相比之下，完整模型在保持域特定结构的同时，实现了清晰的类别分离和适当的对齐，表明DFR机制有效保留了域特定的判别性信息。

讨论：本文探讨了使用域自适应（DA）以及不同数量目标域训练数据进行MI-EEG分类的受试者特定跨任务迁移学习的可行性。结果表明，所提出的DDCA Net优于基线方法，当γ设置为0.8时，分类准确率提高了7.71%，97.09%的受试者表现出性能增强。当γ降低到0.6时，模型实现了比基线略高的0.57%的改进。这些发现表明，DDCA Net通过在域级和类级对齐特征的同时保留域特定特征，有效地促进了从ME任务到MI任务的知识迁移。图3显示，所提出的DDCA Net在具有不同基线分类水平的受试者中表现出稳健且始终优越的性能。对于低表现受试者，ME-EEGNet通常优于MI-EEGNet，表明当目标域判别性有限时，纳入ME-EEG信息是有益的。在这种情况下，DDCA Net可以更有效地利用源域的判别性知识来增强目标域的分类性能，达到与ME-EEGNet相当甚至更高的性能。对于中表现受试者，DDCA Net通过自适应地强调来自任一源域或目标域的信息性特征来展示互补效应，从而补偿单任务方法的局限性。因此，该组中的大多数受试者都获得了令人满意的分类性能。对于高表现受试者，DDCA Net的分类准确率始终超过MI-EEGNet和ME-EEGNet。这一发现表明，所提出的对齐策略有效避免了负迁移，确保来自源域的判别性较低的特征表示不会降低目标域的分类性能。总体而言，这些结果表明，DDCA Net在具有不同性能水平的受试者中保持了强大的分类性能和鲁棒性，突出了其在处理MI-EEG解码中跨任务变异性方面的有效性。

表3显示，ME任务的分类准确率高于MI任务，这与以前的研究一致。然而，使用EEGNet对ME和MI EEG数据的分类性能进行统计分析显示，两个任务之间没有显著差异（受试者数量=103，p=0.255）。在Ding等人最近的研究中也观察到了类似现象。考虑到本研究和Ding等人的研究结果，ME和MI任务之间可比的分类性能可能解释如下：尽管先前的研究报告称ME任务比MI任务更多地涉及初级运动皮层，但基于深度学习的解码器（例如本研究中使用的EEGNet）具有自动学习任务相关判别性表示的强大能力。这种能力可以缩小ME和MI任务之间的性能差距，从而导致两种范式之间的分类性能具有可比性。

为了进一步隔离在跨任务迁移学习场景中引入源域数据的影响，研究人员进行了一项额外的跨域样本混合实验。具体而言，所有源域数据和80%的目标域数据被共同用于训练一个EEGNet模型，而剩余20%的目标域数据保留用于测试。结果显示，样本混合设置下所有受试者的平均分类准确率为77.16%，介于MI-EEGNet（74.04%）和γ=0.8的DDCA Net（81.75%）之间。这一观察结果表明，增加训练数据量有助于提高分类性能；然而，大部分观察到的收益可归因于DDCA Net中精心设计的域自适应机制，而不仅仅是数据量的增加。此外，通过引入源域数据实现的性能提升进一步支持了本研究中所探讨的跨任务迁移学习问题的可行性和动机。

本研究使用域自适应研究了跨任务迁移学习的可行性，并证明了所提出的DDCA Net的有效性，从而填补了这一研究问题的空白。与MI任务相比，ME任务具有若干优势。例如，ME任务不太可能引起参与者疲劳，并且ME任务可以帮助参与者更好地感知肌肉运动感觉，从而增强其MI能力。因此，在多任务BCI框架内整合ME和MI任务，有可能降低MI训练数据收集的难度和疲劳，从而提高系统可用性。值得注意的是，γ=0.6的DDCA Net实现了略高于MI-EEGNet的分类性能。考虑到在单任务分类实验中（见第3.3节），训练集占总样本的80%，可以推断，当采用所提出的DDCA Net时，可以减少至少(0.8–0.6)/0.8 × 100% = 25%的MI-EEG试验次数，同时保持与传统的单任务MI-EEG分类方法相当的性能。这些发现证明了在跨任务迁移学习场景中利用域自适应技术的实际潜力。特别是，它们为开发更高效和用户友好的、整合ME和MI任务的BCI系统提供了经验证据。此外，本研究表明，BCI文盲问题可以通过跨任务迁移学习得到有效缓解（图4）。这些结果表明，当采用有效的解码策略（如跨任务迁移学习）时，低表现受试者可以成为熟练的BCI用户，这与以前研究报告的发现一致。

虽然所提出的DDCA Net在MI-EEG分类的受试者特定跨任务迁移学习中展示了有希望的结果，但仍存在一些局限性。本研究的一个实际目标是减少模型校准所需的MI-EEG数据量。然而，如表3所示，要实现分类性能的显著提升，仍然需要相对较高比例（60-70%）的MI-EEG训练数据。在未来的工作中，应探索更复杂的迁移学习方法，以进一步减少对MI-EEG训练数据的依赖。与现有的跨被试和跨数据集迁移学习研究相比，本研究没有充分利用公开可用数据集的优势或深度学习模型的数据挖掘能力。因此，未来的研究可以整合跨被试、跨任务和跨数据集迁移学习，以进一步提高MI分类性能。就MI范式而言，大多数现有的跨域迁移学习研究集中于左右手运动的二元分类，并且主要研究涉及不同肢体运动的传统范式。很少有研究针对同一肢体不同关节的精细运动想象进行迁移学习分类。然而，未来的BCI预计将朝着多命令和直观映射范式发展。因此，针对多类别和精细运动想象分类的跨任务迁移学习代表了一个有前景的未来研究方向。

结论：本研究探讨了将域自适应技术应用于从ME到MI任务的迁移学习的可行性。所提出的DDCA Net在一个包含超过100名受试者的公共数据集上进行了验证。结果表明，所提出的DDCA Net实现了7.71%的分类提升，与基线方法相比，97.09%的受试者表现出性能改善，证实了所提方法的有效性。据研究人员所知，这项工作是首批将域自适应技术应用于MI-EEG分类跨任务迁移学习的尝试之一。基于本研究，未来的研究可以探索不同域自适应策略在跨任务、跨被试和跨数据集迁移学习场景中的适用性。此外，MI-EEG分类的跨任务迁移学习具有减轻受试者在训练方案中经历的困难和疲劳的潜力，从而促进基于MI的BCI的实际应用。