编辑推荐:
准确解码EEG信号中的下肢运动对脑机接口应用至关重要。NeuroDyGait提出两阶段框架:第一阶段通过相对对比学习和跨注意力机制学习相位感知的语义嵌入;第二阶段动态融合各会话的解码头部实现跨域建模。实验表明该方法在GED和FMD数据集上显著优于基线,包括2025年模型,支持跨主体泛化且推理延迟低于5ms/窗口,满足实时BCI需求。可视化揭示了皮层相位敏感性和注意力机制的可解释性。
傅曦|姜伟邦|刘瑞|格诺特·R·穆勒-普茨|关坤泰
新加坡南洋理工大学计算与数据科学学院,639798
摘要
从脑电图(EEG)信号中准确解码下肢运动对于推进脑机接口(BCI)在运动意图识别和控制方面的应用至关重要。本研究提出了NeuroDyGait,这是一个两阶段的、具有相位感知能力的EEG到步态解码框架,该框架明确地模拟了时间连续性和领域关系。为了解决因果关系、相位一致预测以及跨受试者变异性的挑战,第一阶段通过基于交叉注意力的度量方法进行相对对比学习,以学习语义对齐的EEG-运动嵌入;第二阶段通过动态融合特定于会话的头部信息来执行领域关系感知解码。在两个基准数据集(GED和FMD)上的综合实验表明,与基线模型(包括最近的2025模型EEG2GAIT)相比,取得了显著改进。该框架能够泛化到未见过的受试者,并且每个窗口的推理延迟保持在5毫秒以下,满足实时BCI的要求。学习到的注意力可视化和特定于相位的皮层显著性图进一步揭示了步态阶段的可解释神经相关性。
引言
利用脑机接口(BCI)恢复人类行动能力是神经康复领域的一个新兴焦点(Colucci等人,2022年)。这一努力的一个关键组成部分是从非侵入式脑电图(EEG)信号中解码下肢运动意图(He等人,2018a)。这一能力对于实现外骨骼和神经假肢等辅助技术至关重要(Kilicarslan和Contreras-Vidal,2021年)。尽管最近的研究证明了基于EEG的步态解码的可行性,但在实际应用中仍存在重大挑战。一个主要限制是来自神经系统受损患者的正常运动数据有限。这些患者往往无法执行标准的步态模式。因此,设计无需依赖患者特定微调的解码器至关重要,从而能够在康复环境中实现实用和可扩展的使用(Azab等人,2019年;Fahimi等人,2019年)。
尽管取得了这些进展,但两个关键挑战阻碍了步态动态的可靠解码。第一个限制是广泛采用的段到点预测策略。这些方法使用短时间窗口的历史EEG信号来估计单个最终时间步的运动状态(Brantley等人,2018年;He等人,2018b;Presacco等人,2011年;Shafiul Hasan等人,2020年)。这种做法满足了因果解码的要求,但它将人类运动简化为孤立的时间点,忽略了自然步态的时间连续性和生物力学约束。实际上,步态的上下文提供了推断关节角度的关键信息,因为关节配置受到周围时间动态的强烈影响。人类运动本质上是结构化的并且依赖于相位:即使在相似的运动意图下,不同个体的关节轨迹也可能有显著差异,相同的关节配置可能根据上下文和先前状态反映不同的步态阶段(Hamacher等人,2017年;Presacco等人,2012年)。如果不明确建模这种结构,预测可能会变得不稳定或语义上不一致。因此,一个稳健的解码框架必须结合这些潜在的动态,以便模型能够区分在不同周期中表面上相似但在功能上不同的步态状态。
第二个挑战在于当前跨领域学习策略的局限性,这些策略通常将多个会话或受试者视为独立来源。这些方法通常使用共享编码器进行泛化,或使用特定于受试者的头部信息来处理个体差异(Chen等人,2021年;Jayaram等人,2016年),但未能捕捉到领域之间的结构化关系。当在异构数据源之间进行泛化时,这种简化尤其成问题,因为传感器放置、个体差异和记录条件等因素引起的领域变化会在领域之间引入结构化的依赖性。实证证据表明,会话间和受试者间的变异性会显著降低生物信号解码的一致性和可靠性。这突显了不仅需要捕捉领域特定特征,还需要利用跨领域的共享结构来实现更稳健和可迁移的表示学习的重要性(Huang等人,2023年;Maswanganyi等人,2022年;Ng和Guan,2023年)。因此,应设计一个稳健的框架来模拟领域内的特异性和领域间的结构,以实现更适应性和可泛化的学习。
为了解决这些挑战,我们提出了NeuroDyGait,这是一个基于语义结构化表示学习和关系领域建模的、具有领域泛化能力的EEG到步态解码框架。名称反映了该模型对驱动连续人类运动的神经(Neuro)动态(Dy)的关注,强调了其捕捉随时间演变的大脑-运动关系的能力,以实现稳健的跨受试者预测。我们的贡献有两方面:
- •
具有相对对比学习的相位感知预训练:
我们提出了一种基于相对对比学习的新预训练策略,通过建模样本间的语义相似性来对齐EEG和运动嵌入。与传统依赖预定义正负对的对比方法不同,我们的方法使用一个可学习的距离函数来推断批次内所有样本之间的相对相似性。这种相对相似性建模方法使模型能够学习细粒度的、具有相位感知的步态语义,并区分在功能上不同但在视觉上相似的运动状态。此外,该模型被训练从EEG嵌入中重建多周期步态轨迹,这有助于其在噪声或非典型输入下的鲁棒性。
•通过领域头部混合进行的关系感知解码:
我们提出了一种具有领域感知的解码机制,为每个源会话分配一个专用的预测头部。在微调过程中,一个可学习的领域头部动态地将领域内输出与跨领域预测的加权组合结合起来,使模型能够捕捉结构化的会话间依赖性。这种适应性的领域特定知识融合通过利用异构信号模式之间的潜在关系,增强了模型在现实世界场景中的泛化能力。总结来说,NeuroDyGait采用了一个两阶段的EEG到步态解码框架:第一阶段通过多目标预训练学习具有相位感知的、语义结构化的EEG-运动嵌入;第二阶段通过基于学习到的领域间注意力的动态融合特定于会话的头部信息来执行关系感知解码。这种设计使模型能够捕捉时间步态动态和结构化的跨领域关系,以实现稳健的跨受试者预测。我们已将完整实现作为开源代码发布在
https://github.com/FuXi1999/NeuroDyGait。
部分摘录
基于EEG的运动执行解码
基于EEG的神经解码在下肢运动执行方面得到了广泛研究,利用了EEG的高时间分辨率来捕捉运动控制动态。Pfurtscheller及其同事(Pfurtscheller和Neuper,2001年)证明了事件相关去同步(ERD)和同步(ERS)能有效表征运动执行和想象,为解码下肢运动奠定了基础。Ang及其同事(Ang等人,2012年)使用了共同空间模式(CSP)和线性方法
为了提高清晰度和可重复性,表1总结了框架中使用的所有符号和参数。
步态-EEG数据集
为了研究行走涉及的大脑机制,我们收集了一个新的数据集——步态-EEG数据集(GED)(Fu等人,2025年),记录了在平坦地面上自然行走时的大脑活动以及同时的下肢关节角度。该数据集包含了50名身体健康的参与者(25名男性,25名女性;年龄在21至46岁之间,平均年龄28.4岁,标准差5.2岁)的记录,这些参与者没有神经系统疾病或下肢病理的历史。参与者进行了两次独立的平坦地面行走
结果与分析
在本节中,我们从多个关键维度对所提出的框架进行了全面评估。我们首先评估了模型性能,将我们的方法与两个基准数据集(GED,Fu等人,2025年;FMD,Brantley等人,2018年)上的几个最先进基线进行了比较。结果显示出运动预测精度的一致性提升,突显了我们方法的有效性。然后我们检查了数据集间的迁移能力,评估了模型的
讨论
我们提出的框架NeuroDyGait展示了从EEG中稳健地解码跨受试者和跨数据集的下肢运动学。通过利用领域不变的神经模式,NeuroDyGait能够有效地适应不同的群体和记录条件,这对于实际应用至关重要。
预训练结果显示,编码器学习了可以在不同数据集之间泛化的可迁移运动表示。当在GED上预训练并在FMD上迁移时,NeuroDyGait的表现优于随机
结论
在这项工作中,我们提出了NeuroDyGait,这是一个用于从EEG解码下肢运动学的双阶段和领域泛化框架。通过结合可学习的跨模态距离度量和相对对比学习,以及用于基于融合解码的领域注意力模块,该模型在没有需要特定于受试者校准的情况下,展示了在受试者和数据集之间的稳健泛化能力。广泛的评估表明,NeuroDyGait有效地捕捉了可迁移和具有时间特性的
CRediT作者贡献声明
傅曦:撰写——原始草稿、方法论、形式分析。姜伟邦:方法论。刘瑞:撰写——审阅与编辑。格诺特·R·穆勒-普茨:撰写——审阅与编辑。关坤泰:撰写——审阅与编辑、监督。
利益冲突声明
作者声明他们没有已知的可能会影响本文所报告工作的竞争性财务利益或个人关系。