脑机接口（BCI）是一种硬件-软件综合体（HSC），旨在建立大脑与外部设备之间的功能连接。BCI是工程学、物理学、神经科学、医学、机器人技术及国防领域中发展最快的跨学科领域之一（Moore, 2003; O’Doherty et al., 2011; He et al., 2020; Wu et al., 2020）。特别是在康复领域，BCI通过帮助恢复运动功能并提高整体生活质量来支持身体残疾人士（Chaudhary et al., 2016; Ang et al., 2015; Sebastián-Romagosa et al., 2020）。脑活动可以通过多种功能性神经成像技术进行记录，如脑电图（EEG）、皮层电图（ECoG）、脑磁图（MEG）和功能性磁共振成像（fMRI）。其中，基于EEG的BCI已被广泛用于解码感觉运动皮层中的节律活动。在运动想象（MI）范式中，EEG信号表现出特征性模式，特别是在特定频率带（例如μ和β节律）中的事件相关去同步（ERD）和事件相关同步（ERS）（Pfurtscheller et al., 2006; Gao et al., 2013）。解码这些与实际或想象中的MI任务相关的EEG模式对于开发有效的BCI系统至关重要（Lotte et al., 2007; Lotte et al., 2018）。
MI EEG信号本质上是多通道、非线性的非平稳时间序列数据，具有强烈的通道间依赖性和复杂的时间动态。已经提出了许多框架来增强特征表示和解码性能。例如：Ju和Guan（Ju and Guan, 2022）提出了一种框架，该框架通过对称正定（SPD）流形上的空间协方差矩阵进行处理，以提取区分性的时空-频率表征。Li等人（2020）提出了一个多尺度融合网络，该网络具有注意力机制，可以自适应地加权并整合不同脑区的特征，从而改善MI分类。Schrirmeister等人（2017）和Lawhern等人（2018）提出了专为基于EEG的BCI解码设计的紧凑卷积架构。最近，Liu等人（2022b）提出了一种滤波器组多尺度卷积网络，该网络在提高类间分离性的同时增强了类内紧凑性。尽管取得了这些进展，但MI-EEG分类方法的性能仍然高度依赖于个体差异，并且在跨个体或领域泛化任务中常常会下降。
在现实世界的跨个体场景中，由于个体间的显著差异，解码性能往往会下降。为了解决这个问题，广泛应用了迁移学习方法，其中执行相似任务的现有个体作为源域，新个体作为目标域。关键在于识别两个域之间的共享表征并对齐特征分布。已经探索了基于不同矩阵的各种对齐策略，包括Wasserstein距离（Wu et al., 2022）、最大均值差异（Wei et al., 2023）或互信息（Zhao et al., 2020）。Zhao等人（2020）引入了领域对抗性迁移学习（DATL），通过两个神经网络直接学习与任务相关但跨域不变的特征，而无需依赖显式的距离度量。Hong等人（2021）研究了一种动态对抗性因子，用于估计全局和局部特征分布之间的关系，并最终从多模态结构中学习出领域不变的特征表征。Chen等人（2021）设计了一个鉴别器来减少边际和条件分布差异。然而，确定哪种分布差异最为关键仍然具有挑战性。此外，源数据和目标数据之间的不平衡（目标域通常样本较少）可能导致分类器的决策边界偏向源分布，从而降低性能并在目标数据上出现解码失败。
为了提高解码性能，许多方法利用了大量EEG通道的数据，这可以增强区分性特征的提取。然而，过多的通道也会增加计算成本，并可能阻碍BCI系统的实际应用。最近的研究提出了各种通道选择策略，包括递归特征消除（Lal et al., 2004, Schr?der et al., 2005）、结合高带功率特征的互信息（Lan et al., 2006, Lan et al., 2007）以及加权CSP空间滤波器（Lemm et al., 2005, Zhang et al., 2010, Das et al., 2016）。尽管有这些努力，但没有一种通道选择策略能够始终达到使用所有可用通道时的最佳性能（Blankertz et al., 2008, Arvaneh et al., 2011）。此外，大多数现有方法仅关注空间信息，忽略了时间动态，进一步增加了计算复杂性（Qi et al., 2020）。
在本文中，我们提出了一种新方法，如图1所示，该方法通过两个并行分支将大脑划分为半球和区域，从而增强特征提取。这两个分支协同工作，确保学习到的特征在两个半球和区域之间都具有鲁棒性，从而提高模型对新个体和不同脑活动模式的泛化能力。第一个分支基于电极位置捕捉半球差异，强调运动想象中的半球间不对称性。第二个分支通过关注特定的脑区（如额叶和顶叶）进一步分离这些差异，实现对EEG数据的多级空间分析。这种并行分支结构利用功能脑映射，在MI任务期间增强皮层表征，提高模型提取区分性特征的能力。为了捕捉空间和时间特征，我们设计了一个多深度时空神经网络，包含四个专用模块：时间（T-block）、多深度（Md-block）、初始化（I-block）和频率引导的时间（FGT-block）。两个分支的输出通过可学习参数和多损失设计进行融合，优化了整合过程，从而为运动想象分类提供了更全面和鲁棒的特征表征。在两个公共MI-EEG数据集上的实验评估证明了所提方法的有效性，超过了现有方法。该方法的关键创新点如下：
- 1.
采用双并行分支网络通过大脑侧化捕获相关信息，减少通道数量的同时增强皮层表征。对侧电极对之间的通道差异提高了模型在运动想象过程中捕捉空间模式的能力。
- 2.
设计了一个多深度时空神经网络，用于捕捉时间依赖性、多尺度空间特征和频率特定模式等独特特征，同时考虑了过去和未来的序列。
- 3.
引入了使用可学习参数和多损失优化策略的特征融合，以不断改进与MI任务相关的表征。
本文的其余部分结构如下：第2节描述了MI数据集。第3节详细解释了所提方法的方法论。第4节讨论了模型训练、结果、与现有最先进方法的比较以及局限性。最后，第5节总结了本文。
