BG-MSCA：一种结合双向GRU和多尺度交叉注意力的算法，用于脑电图（EEG）信号去噪

《Biomedical Signal Processing and Control》：BG-MSCA: Bidirectional GRU with Multi-Scale Cross Attention for EEG signal denoising

　　徐燕|张婷婷|吴罗家谦|史雨航
海事智能网络空间技术重点实验室（河海大学），教育部，河海大学，南京210024，中国

摘要
脑电图（EEG）信号经常受到眼动和肌肉活动等伪迹的污染，这些伪迹会严重影响下游分析的质量。深度学习（DL），特别是通过端到端架构，在EEG信号去噪方面逐渐成为主流方法。然而，现有的DL方法缺乏有效探索从局部到全局多尺度特征的能力，从而限制了它们在消除各种伪迹方面的性能。为此，我们提出了一种新的EEG去噪网络架构，称为双向门控循环单元与多尺度交叉注意力（BG-MSCA）。为了防止传统编码器中常见的时间分辨率损失，该模型首先使用双向门控循环单元（BiGRU）处理受污染的EEG信号以提取稳健的序列特征。随后，我们引入了多尺度交叉注意力（MSCA）模块，该模块利用多尺度门控卷积机制捕获层次化的局部特征（如瞬态伪迹），并利用多头注意力来模拟长期的全局依赖性。提取的局部和全局特征通过交叉注意力机制进行整合，有效地从局部到全局尺度捕获信息，从而显著提高了伪迹去除效果。我们在三个公共数据集上进行的广泛实验表明，BG-MSCA在去除EMG、EOG和混合伪迹（EMG+EOG）方面取得了优越的信号重建性能。

引言
脑电图（EEG）为了解大脑活动提供了一个无创窗口，在认知心理学、神经学、精神病学和脑机接口（BCI）技术等领域不可或缺[1]、[2]、[3]。然而，在采集过程中，EEG信号经常受到非脑部生理活动的干扰，包括来自心电图（ECG）、眼电图（EOG）和肌电图（EMG）的干扰[4]。这些干扰显著降低了EEG记录的质量，从而限制了其在后续分析和诊断过程中的有效性[5]、[6]。
传统的伪迹去除通常遵循“分解-然后清洗”的范式，使用如盲源分离（BSS）[7]或经验模态分解（EMD）[8]、[9]等算法。虽然早期实现依赖于手动检查，但最近的进展已经建立了完全自动化的流程。著名的例子包括FASTER[10]、ADJUST[11]、ICLabel[12]和多步BSS[13]，它们利用统计特征或预训练的分类器来自动识别伪迹成分。然而，尽管有这些自动化进展，伪迹去除性能仍然受到底层分解算法固有限离能力的根本限制。具体来说，BSS和ICA[9]方法严重依赖于伪迹和神经信号在统计上是独立的假设。在非平稳的EEG环境中，这一条件经常被违反，导致分离不完整或信号失真。同样，EMD依赖于筛选过程的准确性，过于激进的过滤或模式混合可能会无意中损坏神经信号的光谱特征。因此，即使有先进的自动分类器，重建信号的质量也受到初始分解步骤的限制。这需要开发可以直接从原始数据中学习稳健特征表示的深度学习方法。
为了应对这些挑战，深度学习在EEG信号去噪中得到了广泛的应用，因为它能够自主且高效地降低噪声，而不受限制性假设的限制。卷积神经网络（CNNs）、生成对抗网络（GANs）和循环神经网络（RNNs）等技术特别有效，常用于此目的。例如，Sun等人[14]提出了一种一维残差卷积神经网络（Res1DCNN），具有三个并行不同尺度的核来提取多尺度特征。Yin等人[15]引入了GCTNet，这是一种由GAN引导的架构，结合了并行CNN和变换器块来捕获局部时间特征和全局依赖性，判别器确保了清洁和去噪EEG信号之间的一致性。类似地，Dong等人[16]结合了卷积神经网络和Wasserstein生成对抗网络（WGAN）进行去噪，通过最小化Wasserstein距离而不是传统的Jensen–Shannon散度来提高训练稳定性并防止模式崩溃。Pei等人[17]引入了DTP-Net，它结合了密集连接的时间金字塔（DTPs）和可学习的时间频率变换。这种全卷积网络高效处理EEG信号的多尺度特征，显著增强了噪声降低效果。Wang等人[18]引入了一种新网络，结合了自注意力机制和双向门控循环单元（BG-Attention），以捕获连续时间序列中的过去和未来信息，专注于不同重要性的元素来学习EEG信号的关键特征并提高去噪性能。
尽管深度学习方法在EEG信号去噪方面取得了显著性能，但仍存在一些限制和进一步探索的途径。首先，EEG信号特性本质上是动态的，并且随时间变化[19]，因此需要多尺度特征提取来有效适应这些动态特性[20]。在EEG分析的背景下，这些多尺度特性涵盖了从高度局部化的、高频瞬态变化（如突然的眼球眨动或肌肉伪迹）到长期的、连续的背景大脑活动。因此，捕获完整的多尺度动态本质上需要无缝整合局部和全局上下文特征。然而，现有的基于DL的去噪方法主要关注通过多尺度CNN[14]提取局部特征或使用RNN[18]捕获长期全局依赖性，从而缺乏有效整合局部到全局尺度特征的能力。具体来说，基于CNN的模型通常使用池化或步进卷积来降低时间分辨率，限制了它们保留细微瞬态伪迹的能力[21]，而RNN依赖于顺序传输的隐藏状态，随着时间步的增加，导致早期信息的稀释或干扰，从而限制了它们模拟长期依赖性的能力[22]。此外，结合CNN和RNN的双分支架构[23]也面临困难。大多数这些方法依赖于简单的特征连接或叠加来融合局部和全局分支。这些整合策略未能明确地对不同特征表示之间的语义对齐进行建模，导致伪迹与神经活动的分离效果不佳[17]、[24]。
为了克服RNN在模拟真实长期上下文方面的上述局限性，基于注意力的Transformer架构作为一个强大的替代方案出现了。Transformer在捕获全局依赖性方面表现出显著潜力[21]、[26]。因此，基于Transformer的方法最近已被用于EEG伪迹去除[27]、[28]。然而，EEG伪迹通常在时间域中表现为局部性的、瞬态事件，因此需要精细的局部时间特征提取[29]、[30]。现有的Transformer模型主要擅长捕获全局长期上下文，但往往忽略了详细的局部时间动态[31]。因此，一个关键挑战仍然是：如何设计一种架构，既能保持原始信号的高时间分辨率以识别瞬态伪迹（局部），同时模拟连续的背景大脑活动（全局）。简单地将模块组合在一起通常无法有效融合这些不同的特征表示。

受上述挑战的启发，我们提出了一种新的EEG去噪网络，称为双向门控循环单元与多尺度交叉注意力（BG-MSCA）。BG-MSCA的核心创新在于其特定的模块整合策略，该策略创建了一个协同的局部-全局处理层次结构。与依赖CNN编码器的可能影响时间分辨率的传统方法不同，所提出的模型首先使用双向门控循环单元（BiGRU）模块处理原始EEG信号。这种设计确保了高分辨率时间信息的绝对保留，同时捕获了稳健的序列上下文，避免了CNN的 downsampling 问题。然后，这些序列特征被输入到多尺度交叉注意力（MSCA）模块中，该模块利用多尺度门控卷积机制捕获层次化的局部信息（如瞬态伪迹），并采用多头注意力（MHA）机制真正模拟标准RNN难以捕获的全局长期依赖性。随后，提取的局部和全局特征通过交叉注意力机制进行融合，从而有效地在时间域中将多尺度特征从局部到全局尺度进行整合。这种设计促进了不同时间分辨率下的全面伪迹去除，并捕获了EEG序列中更丰富的上下文关系。最后，解码器模块输出去噪后的EEG信号。与传统使用全连接层的去噪网络相比，所提出的BG-MSCA可以灵活适应任意长度的EEG序列。本文的主要贡献总结如下：
1. 我们提出了BG-MSCA模型，它能够有效地从局部到全局上下文中恢复EEG信号特征，并灵活适应任意长度的EEG信号以高效去除伪迹。
2. 我们引入了MSCA模块，该模块将多尺度门控卷积机制（用于局部瞬态特征）与多头注意力机制相结合。这种特定的整合策略通过跨尺度融合特征，有效地区分了伪迹和神经活动。
3. 在三个公开可用的EEG去噪数据集上进行的广泛实验验证了所提出的BG-MSCA模型在去除EMG、EOG和混合伪迹（EMG+EOG）方面的性能，其去噪性能优于现有最先进的方法。

方法
在本节中，我们介绍了BG-MSCA模型，该模型依次整合了BiGRU模块、MSCA模块和解码器模块。整体架构如图1所示。表1提供了每个模块的详细结构及其特定的输出维度。

数据集
为了全面验证所提出方法的可行性和泛化能力，我们在三个公开可用的数据集上进行了广泛实验：EEGDenoiseNet [43]数据集、半模拟EEG/EOG数据集[44]和BCI竞赛IV 2b数据集[45]。

性能评估
在本节中，我们在三个数据集上将所提出的框架与现有的最先进伪迹去除方法进行了基准测试。具体来说，我们采用了样本级的十折交叉验证策略。对于每个数据集，所有生成的半模拟EEG段（包括叠加有伪迹的清洁EEG）被汇集在一起并随机洗牌。然后将整个数据集分成十个等大小的折叠，其中九个用于训练，一个用于测试。

t-SNE可视化
虽然第4节中的定量指标显示了BG-MSCA的优越的误差减少效果，但它们并没有明确揭示模型如何保留数据的内在结构。为了解决这个问题，我们使用了t-SNE [55]来可视化EEG信号的潜在统计分布的恢复。我们将测试集的高维特征表示投影到二维平面上，观察伪迹引起的分布变化以及我们模型所实现的恢复效果。

结论
在本文中，我们提出了BG-MSCA，一种新颖的混合EEG伪迹去除框架，它协同结合了BiGRU和多尺度交叉注意力机制。通过有效整合局部细粒度特征与全局时间上下文，所提出的方法在各种噪声水平和伪迹类型上实现了比现有基线（如NovelCNN和DTP-Net）更优越的信号重建性能。在半模拟和公共数据集上的广泛实验都证实了这一点。

CRediT作者贡献声明
徐燕：写作 - 审稿与编辑、撰写 - 原始草稿、可视化、软件、概念化。
张婷婷：监督、资金获取、概念化。
吴罗家谦：写作 - 审稿与编辑、资源、调查、数据管理、概念化。
史雨航：可视化、概念化。

代码可用性
所提出的BG-MSCA模型的源代码可在以下地址公开获取：https://github.com/YanxuEEG/BG-MSCA。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。