RSSDA：一种基于黎曼空间的源选择与域对齐框架，用于跨学科的多类别运动想象分类任务

《Pattern Recognition》：RSSDA: A Riemannian Source Selection and Domain Alignment framework for cross-subject multi-class motor imagery classification

　　陶丁 | 张宇豪 | 赵星伟 | 史健 | 刘军 | 唐周平 | 韦波 | 丁晗
华中科技大学智能制造装备与技术国家重点实验室，武汉，430074，中国

**摘要**
电机想象（MI）脑电图（EEG）信号的跨受试者分类一直是脑机接口（BCI）研究中的一个基本但具有挑战性的任务，主要是由于受试者间数据分布的差异以及来自不可靠受试者的负面迁移风险。为了解决这些问题，本文提出了一种新颖的黎曼源选择和域对齐框架RSSDA，用于跨受试者的多类别MI-EEG分类。该框架首先在黎曼流形中识别出一个最优参考受试者，同时优化类内紧凑性和类间可分性以指导可靠的源选择。为了增强特征的可迁移性，基于互信息最小化设计了一个特征解耦模块，用于从目标域中提取与类别相关的表示。随后，这些解耦的特征通过参考标准驱动的域对齐策略与预定义的类别标准对齐，有效减少了中心距离并缓解了不同域之间的分布差异。整个框架通过包含分解、对齐和交叉熵目标的综合损失函数进行端到端优化。在两个公开的MI数据集上的广泛实验表明，RSSDA的性能优于几种最先进的方法，在4类和2类任务上分别实现了87.55%和89.82%的分类准确率（分别提高了4.25%和2.70%）。这些结果验证了RSSDA在改善MI-EEG分类中跨受试者的特征对齐和泛化能力方面的有效性。

**引言**
脑机接口（BCI）可以在人类大脑和外部设备之间建立直接通信[1]。在各种BCI模式中，非侵入式脑电图（EEG）由于其便携性和高时间分辨率而成为最广泛采用的技术之一。特别是自发的EEG信号，如不需要外部刺激的运动想象（MI），因其隐私性和广泛的应用潜力而受到了广泛关注[2]。基于MI的BCI已在机器人控制[4]、医疗康复等多个领域得到成功应用[5]。尽管取得了显著进展，但由于EEG信号的固有特性（包括高试验间变异性和低信噪比），准确的MI分类仍然具有挑战性。最近，深度学习（DL）方法，特别是卷积神经网络（CNN），通过自动从原始EEG信号中学习判别性时空特征，在基于EEG的BCI研究中也显示出了巨大潜力。尽管基于CNN的模型在MI分类中取得了有希望的结果，但当应用于之前未见过的受试者时，由于其EEG数据分布的跨受试者变异性，它们的性能往往会显著下降。不同受试者受到疲劳和注意力因素的影响[6]，即使对于相同的MI任务，个体之间的数据分布也可能非常不确定。这导致跨受试者的数据分布异质性，限制了跨受试者MI分类模型的泛化能力。因此，构建一个能够在多个受试者之间泛化同时保持高分类准确度的通用模型仍然是基于MI的BCI中的一个未解决的问题。为了解决这些挑战，引入了迁移学习（TL），利用多个受试者领域的知识来提高跨受试者的泛化能力[7]。然而，受试者间特征分布的固有变异性引入了域偏移[8]，导致了两个主要挑战：
**(Q1)** 来自不可靠源域的负面迁移：将知识从质量差或噪声较大的源受试者转移可能会降低目标域的分类性能。
**(Q2)** 目标受试者和源受试者之间的域差异：受试者间固有的分布差异阻碍了有效的知识转移，限制了模型的泛化能力（见图1）。

为了缓解这些问题，现有研究采用了各种策略来减少受试者域之间的差异。一些方法通过使用基于距离的度量或黎曼对齐[9]将多个受试者的数据分布转换为共同的特征空间，以使来自不同受试者的数据更加相似，从而使分类器能够更好地泛化到未见过的个体。同时，其他研究利用域适应或对抗技术[10]通过跨域生成策略构建不受受试者影响的潜在空间。通过联合优化判别器和生成器，生成和对抗机制的交互可以在跨受试者MI分类任务中减少源域和目标域之间的偏移。总体而言，这些现有方法在提高学习表示的稳定性和泛化能力方面显示出有希望的改进。然而，尽管这些结果令人鼓舞，但这些方法通常侧重于减少全局分布差异，往往忽略了显式对齐跨域类别相关特征的重要性。如果没有显式解耦类别相关特征，就很难保持全局特征中类别相关特征的条件一致性。与同一MI类别相关的特征可能在不同受试者之间保持不对齐，从而破坏了特征空间的判别结构。此外，如果源域本身包含质量差或噪声较大的数据，对齐策略可能会无意中将不希望的模式传递到目标域，导致性能下降甚至负面迁移。这些局限性凸显了需要同时强调源域质量和类别一致对齐的框架，以实现更可靠的跨受试者泛化。

为了解决这些挑战，本文提出了一种新颖的黎曼源选择和域对齐（RSSDA）框架，用于跨受试者的MI-EEG分类。该框架同时执行最优源域选择，并引入了基于特征解耦的域对齐神经网络。通过显式对齐目标域的类别相关特征并避免不可靠的源域，RSSDA有效地增强了MI-EEG信号的跨受试者泛化和解码性能。

**详细信息**
首先，在黎曼流形空间内定量评估每个受试者的数据分布，同时考虑类内紧凑性和类间可分性以评估源质量。然后，设计了一个基于互信息神经估计（MINE）的特征解耦模块，将目标域特征解耦为域不变和类别相关组件，丰富了判别信息。进一步提出了一种参考标准驱动的域对齐（RDA）策略，该策略结合了基于二阶矩的协方差对齐（SCA）和深度典型相关分析（DCCA）。SCA通过最小化域中心距离来鼓励目标域中的类别相关特征向选定的参考源对齐，而DCCA进一步将类别相关特征的全局边际分布对齐到潜在空间中的最优参考受试者。本研究的主要贡献如下：
**(1)** 提出了一种新颖的黎曼源选择和域对齐框架RSSDA，用于促进目标类别相关特征向最优参考标准的对齐，以实现跨受试者的MI分类。
**(2)** 提出了一种在黎曼空间中定量评估每个受试者数据分布的方法，以选择最优参考受试者，从而避免由质量差的源域引起的负面迁移。
**(3)** 提出使用MINE最小化来解耦类别相关特征以改善判别。结合RDA策略，促进类别相关特征向锁定的参考标准对齐，表现为更接近的域中心距离和更相似的全局边际分布。
**(4)** 在两个广泛使用的MI-EEG数据集上进行了广泛实验，证明RSSDA的性能优于最先进的方法。消融研究进一步证明了所提出模块在提高跨受试者泛化方面的有效性。

**本文的其余部分组织如下。**
第2节回顾了MI分类的相关工作。第3节介绍了提出的RSSDA框架，包括基于黎曼的高质量源选择和参考标准驱动的域对齐。第4节描述了在两个公开MI-EEG数据集上的实验细节和结果，包括基线比较和消融研究。第5节详细讨论了所提出的方法，以及其局限性和未来工作。最后，第6节以简洁的总结结束。