CMD3：用于EEG-fNIRS融合的跨模态解耦可变形蒸馏技术

《IEEE Aerospace and Electronic Systems Magazine》：CMD3 : Cross-Modal Decoupled Deformable Distillation for EEG-fNIRS Fusion

跨模态解耦与动态对齐的脑机接口融合方法

　　

摘要：

脑电图（EEG）与功能性近红外光谱（fNIRS）的多模态融合在脑机接口（BCI）任务中展现出巨大潜力。然而，由于这两种技术在物理机制、时间动态和语义表征方面的差异，融合过程面临诸多挑战，如数据异质性和时间不对齐等问题。为了解决这些问题，我们提出了一种跨模态解耦的可变形蒸馏（CMD³）方法，该方法旨在实现灵活、高效且可解释的EEG-fNIRS融合学习。CMD³首先将每种模态的特征表示分解为与模态无关的空间和与模态相关的空间，以便分别建模共性和互补信息。随后设计了一个可变形的特征提取网络，用于单独处理共享特征和特定特征，通过预测的时间偏移实现跨模态的时间对齐，从而缓解不同模态之间的响应延迟。此外，为了促进模态间的知识迁移，我们构建了一个双空间图谱蒸馏模块，以明确地在不同模态之间传递语义信息，并使用可学习的边权重来动态调节蒸馏强度。CMD³已在涵盖情感识别和运动想象任务的公开数据集上进行了系统评估。实验结果表明，CMD³在分类性能上始终优于现有的融合方法。偏移可视化进一步揭示了模型学习到的具有生理意义的时间注意力模式，验证了该方法的有效性和可解释性。