EEGMoE：一种领域解耦的专家混合模型，用于自监督的脑电图（EEG）表示学习

《IEEE Transactions on Neural Networks and Learning Systems》：EEGMoE: A Domain-Decoupled Mixture-of-Experts Model for Self-Supervised EEG Representation Learning

EEGMoE模型通过混合专家机制分离共享与领域特定表征，在EEG预训练中引入Transformer解码器实现跨域表征学习，有效提升多任务泛化能力。

　　

摘要：

现有的深度学习模型通常是为特定的任务、数据集或甚至特定受试者量身定制的。这种专门化限制了它们的适用范围，降低了它们的感知能力和整体泛化能力。最近的研究开始探索大规模预训练在脑电图（EEG）表示学习中的应用。这些努力通常侧重于通过统一数据格式，使来自不同领域的数据能够被同一个模型编码。然而，这种方法往往忽视了在不同领域之间解耦EEG表示的重要性，导致有价值的领域特定细节被忽略。鉴于大规模EEG数据分布广泛，形成了多个不同的领域，我们希望不仅学习到跨领域的通用表示，还能学习到特定领域的表示。因此，在本文中，我们提出了EEG混合专家模型（EEGMoE），这是一种用于EEG表示学习的领域解耦的自我监督预训练模型。具体来说，EEGMoE引入了一种基于Transformer的领域解耦编码器，在其混合专家（MoE）模块中包含特定专家组和共享专家组。特定专家组采用Top-K路由来为每个token选择最合适的专家，而共享专家组则采用软路由，利用所有专家为每个token进行学习。EEGMoE在多个任务的EEG数据集上进行了预训练，然后在涵盖三种主流EEG任务的新数据集上进行了微调和验证，这些任务包括情绪识别（ER）、运动想象（MI）分类和心理负荷检测。实验结果表明，EEGMoE在三个公开数据集上的表现优于现有的最先进模型，证明了其在新领域中的强大泛化能力。广泛的实验和可视化进一步突显了分离领域特定表示的重要性和有效性。我们的代码和模型将会被发布。