《Journal of Neuroscience Methods》：Meta-Learning Enhanced Multi-Source Domain Adaptation for zero-calibration motor imagery EEG decoding
编辑推荐：
运动想象脑机接口在零校准条件下通过元学习增强的多源域适应框架实现跨任务、跨数据集和跨个体的知识迁移，有效缓解个体差异对EEG解码性能的影响。实验表明在CBCIC、自建数据集和BCI Competition IV 2b数据集上，该框架分别达到77.87%、75.54%和72.72%的平均准确率，显著优于现有方法。
缪敏敏|傅文良|曾洪|徐宝国|张文斌|胡文军
中国湖州大学信息工程学院，湖州313000
摘要
背景：
基于运动想象（MI）的脑机接口（BCI）在中风康复的闭环神经康复中具有广阔的应用前景。尽管取得了显著进展，但诸如个体间差异、缺乏针对特定受试者的训练数据以及需要耗时的校准等挑战仍然阻碍了MI-BCI系统的实际应用。
新方法：
为了解决这些问题，我们提出了一种新颖的元学习增强多源域适应（MLEMSDA）框架，该框架结合了跨任务、跨数据集和跨受试者的域适应，并利用基于梯度的元学习实现了无需校准的MI-EEG解码。具体而言，首先使用两个大型公开的ME和MI EEG数据集进行预训练，以促进跨任务和跨数据集的知识转移。之后，利用目标数据集中所有受试者的数据（除了未见过的受试者）进行基于元学习的微调，以进一步减少不同个体之间的特征分布差异。最后，在未见过的受试者身上测试所获得的解码模型。
结果：
所提出的MLEMSDA框架在公开的中风MI EEG数据集（CBCIC）、我们自己收集的MI EEG数据集以及BCI竞赛IV数据集2b上，通过留一法交叉验证进行了验证。DeepConvNet在CBCIC数据集上取得了最高的平均准确率77.87%，EEGNet在我们自己收集的数据集上取得了最高的平均准确率75.54%，ShallowConvNet在BCI竞赛IV数据集2b上取得了最高的平均准确率72.72%。
与现有方法的比较：
在零校准场景下，我们的方法在分类准确率方面优于所有竞争方法。
结论：
这些结果清楚地证明了我们方法的有效性和泛化能力，为更实用的MI-BCI应用铺平了道路。
引言
脑机接口（BCI）使人类能够通过解码大脑的神经活动来控制外部设备（Trautmann等人，2021年；Collinger等人，2013年；Wu等人，2022年；Li等人，2024年）。在各种BCI范式中，基于运动想象的BCI（MI-BCI）因其能够利用想象运动时产生的大脑信号来控制设备而受到广泛关注（Altaheri等人，2023年），这具有适用于包括健康人和患者在内的多样化用户群体的潜力。特别是在中风的闭环神经康复中，它具有重要的应用价值（Al-Qazzaz等人，2023年；Chen等人，2022年）。在MI-BCI领域，深度学习（DL）算法已被广泛研究（Huang等人，2023年）。为了达到最佳性能，大多数DL模型需要在大规模标注的数据集上进行训练。然而，数据隐私和安全问题使得大规模EEG数据收集变得具有挑战性。此外，尽管非侵入性头皮传感器为记录MI-EEG数据提供了一种方便且经济的方式，但长时间的收集过程会导致疲劳和注意力下降（Talukdar等人，2019年），尤其是对于中风患者而言。因此，提出了少量样本学习（FSL）的概念，旨在使模型能够在少量训练样本的情况下实现满意的EEG解码性能（Bhosale等人，2022年）。
值得注意的是，迁移学习（TL）（Iman等人，2023年）是FSL的有效方法。作为TL的一个重要分支，域适应通过利用在大型数据集上预训练的模型来实现跨域知识转移。换句话说，域适应策略有助于在不同受试者、数据集或任务之间有效利用EEG数据，从而优化针对特定目标受试者的DL模型训练，即使在存在某些特征分布差异的情况下也是如此（Zhang等人，2022年）。Zhang等人（2021年）设计了五种用于跨受试者MI EEG分类的卷积神经网络适应方案，显著提高了分类准确率。Xie等人（2023年）提出了一种基于预训练的跨数据集TL方法，使用多任务学习框架。Miao等人（2023年）提出了一种新颖的可解释跨任务自适应TL方法用于MI EEG解码。总体而言，由于个体间差异较大，从健康个体向中风患者转移知识更具挑战性。最近，Nagarajan等人（2024年）评估了将基于健康个体预训练的MI-BCI模型转移到中风患者身上的可行性，并成功检测到了中风患者的MI信号。然而，在所有上述工作中，预训练模型仍需要使用目标受试者的校准数据进行微调，以减少由个体神经生理差异引起的偏差。也就是说，仍然需要一个耗时的初始设置或训练阶段来调整MI-BCI系统，这影响了MI-BCI系统的实用性。特别是对于患者群体来说，零校准可以显著提高系统的用户友好性。
近年来，BCI领域出现了几种零校准的DL方法（Thielen等人，2021年；Bhosale等人，2022年）。这些方法主要可以分为两类：显式学习和隐式学习。与显式学习相比，隐式学习显示出更好的泛化能力，并且对数据变异性不太敏感（Han等人，2024年）。值得注意的是，作为隐式学习的代表，基于梯度的元学习技术正在推动BCI朝着无需初始校准的即插即用方向发展。Wu和Chan（Wu和Chan，2022年）提出了一种Reptile-EEG算法，该算法将Reptile元学习算法与深度神经网络相结合，旨在通过快速域适应解决跨受试者MI EEG分类中的信号漂移问题。Han等人（2024年）提出了一种零校准元学习框架Meta-EEG，用于解决MI-BCI中的跨受试者差异问题，在三个公开的MI EEG数据集上优于所有竞争方法。然而，在Han等人（2024年）的工作中，模型不可知的元学习是使用单个数据集进行的。具体来说，在一个MI EEG数据集内构建了各种元任务，并使用每个元任务中的给定初始参数优化元参数。换句话说，元参数的学习主要是通过单个数据集内多个元任务的知识聚合来实现的。这种方法的性能仍然受到数据集内个体差异的强烈影响，特别是当数据集涉及中风患者或BCI不熟练的受试者时。
为了解决这些问题，我们提出了一种用于零校准条件下MI EEG分类的元学习增强多源域适应（MLEMSDA）框架。据我们所知，我们是第一个将跨任务/数据集/受试者域适应和元学习策略封装在一个统一的MI EEG解码框架中的，用于在无需校准的情况下实现与类别相关的鲁棒MI EEG表示学习。我们提出的MLEMSDA框架的主要贡献如下：
（1）为了减少个体差异的影响并学习与类别相关的鲁棒MI EEG表示，在跨任务、跨数据集和跨受试者条件下，在多个源域和目标受试者之间进行知识转移。消融研究表明，这种策略显著提高了模型的泛化能力。
（2）为了实现基于传统域适应的零校准，我们在微调阶段嵌入了基于梯度的元学习策略，这有助于学习鲁棒的MI EEG表示，并在面对未见过的受试者时也能实现相对满意的解码性能。
（3）为了彻底验证所提出的MLEMSDA框架的有效性，我们在三个来自中风患者和健康受试者的MI EEG数据集上进行了广泛的比较实验。此外，还检查了不同代表性骨干神经网络的性能，以验证框架的泛化能力。
本研究的其余部分组织如下。第2节介绍了相关数据集和提出的方法。第3节提供了详细的实验结果，第4节提供了相关讨论。第5节总结了这项工作。此外，我们的研究源代码将发布在https://github.com/Fnnoo9/MLEMSDA。
数据集
数据集
在本研究中，OpenBMI数据集的MI EEG数据和HGD数据集的运动执行（ME）EEG数据构成了多源域，所提出的MLEMSDA框架在三个目标域MI EEG数据集上进行了评估，即CBCIC数据集、我们自己收集的数据集和BCI竞赛IV数据集2b。具体来说，OpenBMI和HGD数据集的EEG数据用于模型预训练，而目标域数据集的EEG数据用于微调和测试。请注意，对于每个目标受试者
模型架构
讨论
众所周知，源域和目标域之间的一定相似性或相关性是有效迁移学习的先决条件。如图1所示，从重要的神经生理基础（即ERD模式）的角度来看，健康个体的MI EEG数据集和中风患者的MI EEG数据集之间存在明显的相似性，这种相似性主要体现在
结论
在本研究中，为了提高零校准条件下的MI EEG解码性能，我们提出了一种新颖的MLEMSDA框架。与通常依赖于单数据集训练或特定受试者校准的现有方法不同，我们的方法结合了跨任务、跨数据集和跨受试者的域适应以及基于梯度的元学习，以学习鲁棒且与类别相关的MI EEG表示。这种设计不仅减轻了个体差异的影响，而且
CRediT作者贡献声明
缪敏敏：撰写——原始草稿、可视化、验证、软件、方法论、概念化。
傅文良：撰写——原始草稿、验证、软件、调查。
曾洪：撰写——审阅与编辑、调查。
徐宝国：撰写——审阅与编辑、可视化。
张文斌：调查、形式分析。
胡文军：撰写——审阅与编辑、监督、概念化。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
致谢
本研究部分得到了国家自然科学基金（项目编号：62101189和61673105）的支持；部分得到了浙江省自然科学基金（项目编号：LTGC23F010001）的支持；以及国家资助的博士后研究计划（项目编号：GZC20230666）的支持。
