基于自适应全尺度频率滤波器和双粒度交互网络的运动想象/运动执行-脑电图解码技术

《Biomedical Signal Processing and Control》：Adaptive Full-Scale Frequency Filters based Dual-Granularity Interaction Network for Motor Imagery/Motor Execution-Electroencephalogram decoding

运动想象/执行EEG解码中，多尺度CNN受限于固定感受野，易忽略局部特征且参数量大；Transformer因参数效率低、噪声敏感，难以在小数据集上优化全局时序特征。本文提出FDDGINet，通过复杂值神经网络实现全频段参数高效滤波，解耦粗粒度（全局）与精粒度（局部）信息流，并设计双轴注意力机制编码二者互补性，最终在三个数据集上超越SOTA方法。

　　

Zexiong Shao|Le Che|Zhuliang Yu

华南理工大学自动化科学与工程学院，广州，510641，广东，中国

摘要

以完整和系统的方式捕捉全局和局部时间模式对于提高运动想象（MI）/运动执行（ME）-脑电图（EEG）信号解码算法的性能至关重要。然而，当前的多尺度卷积神经网络（CNN）受到固定感受野滤波器的限制，可能会忽略重要的局部尺度，并且经常忽视全局时间模式的提取。此外，Transformer由于其固有的参数效率低下和易受噪声影响的特性，在数据有限的MI/ME数据集上难以实现性能提升。此外，它们的整体架构设计也有缺陷，因为Transformer通常处理的是不完整的信号，并忽略了全局和局部时间模式之间的潜在互补相关性。为了解决这些问题，我们提出了基于频率解耦的双粒度交互网络（FDDGINet）。FDDGINet首先利用复数值神经网络（CVNN）启发的全尺度频率滤波器，以参数高效的方式同时捕捉全局和局部时间特征，同时完全保留全局时间信息。然后，它通过时空卷积将特征表示映射到更丰富的潜在空间中，并通过双轴注意力机制进一步编码全局和局部时间特征之间的互补相关性。在这些互补相关性的引导下，两种类型的特征相互补充，然后融合用于最终分类。FDDGINet在三个代表性的MI/ME数据集上取得了令人印象深刻的解码性能，超越了所有当前的最先进（SOTA）方法。这些结果突显了FDDGINet在MI/ME-EEG解码中的巨大潜力，并为探索基于CVNN的MI/ME-EEG频域分析和跨尺度信息交互提供了新的途径。

引言

脑机接口（BCI）通过解释人类大脑活动并将其转换为控制外部设备的命令，实现了无需肌肉参与的机器与人之间的交互[1]。脑电图（EEG）因其非侵入性、低成本和高时间分辨率而受到研究人员的广泛青睐。在传统的EEG-BCI范式中，运动想象（MI）/运动执行（ME）使受试者能够在没有外部刺激的情况下自发执行任务，这使得MI/ME-EEG-BCI在独立BCI系统的开发中至关重要[2]。相关研究[3]表明，MI/ME会诱导事件相关同步（ERS）/事件相关去同步（ERD）现象。具体来说，ERS/ERD是一种功率调制现象，其特征是感觉运动皮层的$\alpha$节律（8–12 Hz）和$\beta$节律（12–30 Hz）的功率增加/减少。MI/ME-EEG解码算法的性能对于MI/ME-EEG-BCI的发展至关重要。此外，MI/ME-EEG-BCI通常包括两个阶段：离线训练和在线测试，这与MI/ME-EEG分类实验中的会话独立设置类似[4]。因此，MI/ME-EEG解码算法必须在会话独立条件下保持高性能，这对其跨会话泛化能力提出了重大要求。

MI/ME-EEG解码算法大致可以分为两类：基于传统机器学习的MI/ME-EEG解码算法和基于深度学习（DL）的MI/ME-EEG解码算法。一些最具代表性的基于传统机器学习的MI/ME-EEG解码算法包括FBCSP[5]和快速傅里叶变换（FFT）[6]等。然而，这些算法难以完全克服非平稳性、低信噪比以及MI/ME-EEG信号的高维度对分类任务的负面影响。此外，这些算法严重依赖于基于专家先验知识的特征工程，因此容易忽略与MI/ME相关的关键特征。

基于DL的MI/ME-EEG解码算法利用DL架构自动学习如何从原始MI/ME-EEG信号中提取潜在的高级特征，而不依赖于专家先验知识。因此，这些算法越来越受到研究人员的青睐。其中，卷积神经网络（CNN）是目前用于MI/ME-EEG解码的最流行的DL架构之一。特别是Shallow ConvNet、Deep ConvNet [7]和EENet [8]是代表性的基于CNN的MI/ME-EEG解码算法。这些算法启发了基于多尺度CNN和Transformer的后续MI/ME-EEG解码算法的设计，这些算法目前是最主流的解码方法之一。

多尺度CNN [9]、[10]、[11]并行实现了具有多个感受野的卷积层，以同时捕捉不同频率的时间波动。然而，当前基于多尺度CNN的MI/ME-EEG解码算法也存在一些局限性。首先，多尺度CNN仍然受限于有限数量的固定感受野，可能导致重要频率成分的遗漏。其次，多尺度CNN中的每个尺度都需要多个滤波器来确保足够的网络宽度，不可避免地导致可训练参数数量显著增加。最后，大多数基于多尺度CNN的MI/ME-EEG解码算法倾向于忽略长距离时间依赖性的分析，通常依赖于描述性统计层来降低特征维度，而这些统计层只能部分捕捉这些长距离依赖性。

目前，一些研究人员尝试使用Transformer从MI/ME-EEG信号中提取全局时间特征[12]、[13]。然而，Transformer容易受到噪声的影响，导致信息冗余，而且它们固有的大量可训练参数使得基于Transformer的MI/ME-EEG解码算法在数据有限的MI/ME数据集上难以实现高性能。此外，这些解码算法的总体架构设计并不理想。例如，在EEG Conformer [14]中，首先使用CNN提取低级局部特征，然后将其输入Transformer以提取全局时间特征，导致Transformer接收到的输入已经是平滑且不完整的特征。此外，这样的解码算法经常忽略局部和全局时间特征之间的互补关系。

近年来，一些研究人员开始探索在MI/ME-EEG信号中使用频域信息，以实现具有更大感受野的时间特征提取[15]、[16]。然而，当前依赖频域信息的MI/ME-EEG解码算法并没有系统地考虑固有的幅度和相位信息。此外，这些算法仍然主要基于手工设计的特征工程，可能会导致由于非平稳性而忽略MI/ME-EEG信号中具有不清晰周期性的关键时间特征。

为了解决上述问题，我们提出了基于频率解耦的双粒度交互网络（FDDGINet）。我们将复数值神经网络（CVNN）纳入MI/ME-EEG解码框架中，以实现频域信息的整合。CVNN是一类输入和网络参数都表示为复数的神经网络，在包括MRI信号处理[17]和图像分类[18]在内的各种领域得到了广泛应用。CVNN的固有属性使得可以直接提取反映波信号功率的幅度信息以及捕捉其时间进展的相位信息。有关CVNN的更多信息，请参考[19]。鉴于频域MI/ME-EEG信号位于复数域中，使用CVNN处理它们是一个自然的选择。此外，不同MI/ME任务中ERS/ERD激活在大脑区域之间的显著时间变化，以及EEG信号采集过程中引入的固有延迟[20]、[21]，使得解码MI/ME-EEG的时间信息特别具有挑战性。这些因素进一步表明，MI/ME-EEG的相位成分可能包含与不同MI/ME任务相关的潜在判别特征。由于相位信息可以直接由CVNN建模，因此它被视为克服MI/ME-EEG时间特征解码挑战的一种有前景的方法。

本文的主要贡献如下：

• •
  据我们所知，我们提出了一个基于参数高效CVNN的全尺度频率滤波器的新框架。该框架利用频率解耦将原始信号分解为粗粒度信息流和细粒度信息流，同时保留完整信号以进行全面的全局时间分析。随后，该框架使用CVNN实现全尺度频率滤波。
• •
  为了实现粗粒度流和细粒度信息流之间的有效交互，我们设计了一个基于双轴注意力机制的交互框架。该框架从时间和特征通道的角度编码两种流之间的互补依赖性，然后利用这些依赖性指导每种流从另一种流中获取补充信息。
• •
  为了验证FDDGINet的有效性，我们在三个代表性的MI/ME数据集上进行了实验，并将其性能与最先进（SOTA）方法进行了比较。结果表明，FDDGINet在所有三个数据集上都取得了优于SOTA方法的解码性能。此外，还进行了广泛的可视化分析，证实FDDGINet提取的特征具有神经生理学意义。

部分摘录

方法

FDDGINet的架构如图1所示。

实验

解码性能比较

表2展示了FDDGINet与基线方法在MI/ME-EEG信号解码性能上的比较分析。显然，FDDGINet在所有三个数据集上的解码性能都超过了所有SOTA方法。

对于数据集A，FDDGINet取得了最佳的解码性能，准确率为86.57%，Kappa值为0.82。FDDGINet的解码性能显著优于大多数基线方法($p<0.01$)。与表现最佳的基线（MSVTNet）相比，

结论

在这项研究中，我们提出了FDDGINet，它创新性地采用了CVNN来实现全尺度频率滤波。此外，它利用双轴注意力机制来编码双粒度信息流之间的互补依赖性，指导它们从彼此那里获取补充信息。在三个MI/ME数据集上的比较实验结果表明，FDDGINet的解码性能超过了SOTA方法。此外，FDDGINet提供了一种新的

CRediT作者贡献声明

Zexiong Shao：撰写 – 原始草稿、可视化、验证、软件、资源、方法论、调查、形式分析、数据管理、概念化。Le Che：撰写 – 审稿与编辑、监督。Zhuliang Yu：撰写 – 审稿与编辑、监督、项目管理、资金获取。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了青海省2024年第三批科技计划项目（2024-NK-141S-4）和STI 2030-Major项目（2022ZD0211700对Xinhong Zhu的支持。