一种受博弈论启发、由人工智能驱动的多层次融合框架，用于可解释和泛化的脑电图（EEG）信号分类

本文提出基于博弈论的SMIF框架，通过动态自适应EEGNet、不确定性Transformer和因果多尺度CNN实现跨场景脑电信号分类。创新性引入夏普利值量化特征贡献，生成神经科学解释性热图，并设计贡献驱动通道选择策略，在记忆和运动想象数据集上较传统模型提升12-18%，验证了其可解释、高效、泛化的优势。

　　

王少昌|李庆鸿|郑子平|崔淑涵|段丁娜|万向龙|谢学光|宋海清|董先玲|文东

中国河北省秦皇岛市燕山大学信息科学与工程学院，邮编066004

摘要

人工智能（AI）在解码脑电图（EEG）信号以进行认知分析方面展现出了巨大潜力。然而，现有模型往往难以在不同受试者和场景中泛化，这是由于神经动态的非平稳性和异质性所致。为了解决这一挑战，我们提出了一个基于AI的、结合Shapley理论的多层次信息融合（SMIF）框架，该框架将空间、频谱和时间特征整合与不确定性建模以及受博弈论启发的可解释融合学习相结合。SMIF模型包括一个动态自适应的EEGNet，用于实现可变形的空间-时间和频谱表示；一个具有不确定性意识的Transformer，它利用方差引导的注意力机制提取任务不变的特征；以及一个因果多尺度CNN，用于分层的时间融合。基于Shapley的归因机制进一步量化了大脑区域和时间段的贡献，生成了揭示神经生理学意义的激活模式的可解释融合图。在情景记忆和运动想象EEG数据集上的实验表明，SMIF实现了强大的泛化能力，并将分类性能提高了12-18%。这一基于AI且可解释的融合框架增强了基于EEG的智能系统的透明度、可靠性和泛化能力，为可解释和以人为中心的工程信息学的发展做出了贡献。

引言

脑电图（EEG）信号作为一种非侵入性的神经活动测量方法，在临床诊断、脑机接口（BCI）设计和认知神经科学研究中发挥着关键作用[1]。其高时间分辨率使其特别适合研究与运动控制、记忆和认知过程相关的快速脑动态。近年来，基于EEG的应用已从传统的临床监测（如癫痫检测和阿尔茨海默病评估）扩展到更复杂的范式，包括运动想象驱动的BCI[2]和情景记忆评估[3]。该领域的一个发展趋势是多场景EEG分类，其目标是构建能够在不同认知任务和实验范式中泛化的模型[4]。这种范式的转变对于开发智能和自适应的神经调节系统至关重要。

尽管有这些前景，多场景EEG分类仍然是一个严峻的挑战。EEG数据的几个内在特性——低信噪比、易受伪影影响[5]、个体间差异[6]以及任务依赖的特征动态[7]——使得鲁棒分类变得困难。传统的机器学习方法，如支持向量机（SVM）和线性判别分析（LDA），通常严重依赖手工制作的特征[8]，并且容易过拟合特定于任务的模式。因此，它们在跨任务和受试者间的泛化能力有限，这限制了其在实际应用中的效果。

深度学习的出现显著推动了EEG分类的发展。卷积神经网络（CNN）和循环模型等架构在直接从原始信号中提取时空模式方面表现出色[9]。例如，专为EEG设计的紧凑型CNN变体EEGNet在运动想象分类中取得了有竞争力的结果[10]。最近，基于Transformer的架构引入了自注意力机制，以捕捉长距离的时间依赖性，从而提高了跨受试者的建模性能[11]。然而，尽管取得了这些进展，仍有三个核心挑战尚未解决。

首先，跨场景泛化能力仍然不足。大多数深度学习模型是为单一范式（如运动想象或情景记忆）优化的，当应用于不同的认知任务时，它们的性能会显著下降[12]。这一限制需要反复重新训练和参数调整，限制了实际应用的可能性。其次，可解释性仍然不足。深度学习模型常被视为“黑箱”，很少提供关于其决策如何与已知神经生理机制对齐的见解[13]。虽然诸如显著性图或基于梯度的可视化方法部分解决了这个问题[14]，但它们往往缺乏鲁棒性，无法产生具有生理学意义的解释。第三，计算可行性和解释精度之间存在权衡。基于博弈论的可解释性方法，如Shapley值分析，提供了理论上有根据的特征归因[15]，但对于高维EEG数据（数十个通道和数千个时间点）来说，在计算上是不可行的[16]。

在信息融合和不确定性建模中，已经探索了严格的数学框架来提高分类的可靠性。例如，提出了高级的散度度量，如广义f-散度[17]和分形Belief Renyi散度[18][19]，用于量化概率分布之间的差异，为模式分类提供了强大的工具。此外，将量子计算与证据理论相结合，如Dempster规则的自适应量子电路[20]，为处理高维不确定性提供了新的视角。受到这些不确定性量化基础工作的启发，同时寻求在数学严谨性和EEG信号的生理解释性之间的平衡，本研究转向了博弈论。

这些差距突显了迫切需要新的框架来同时解决EEG分类中的泛化和可解释性问题。博弈论为此目的提供了有前景的数学基础。博弈论起源于经济学和决策科学，它形式化了个体代理在合作或竞争环境下的集体贡献[21]。其概念最近已被应用于机器学习中的特征归因和多任务优化等任务。具体来说，Shapley值是一种来自合作博弈论的解决方案概念，它可以量化每个特征对模型预测的边际贡献[22]。当应用于EEG数据时，它可以生成突出不同通道和时间窗口相对重要性的时空图，从而弥合了模型决策和神经科学解释之间的差距。此外，博弈论的视角，如纳什均衡，可以为跨任务的知识共享策略提供信息[23]，可能有助于提高跨场景的泛化能力。

受这些考虑的启发，本研究提出了一个基于博弈论的深度学习框架，用于多场景下的EEG特征分类。该框架整合了三个互补的模块：（1）基于Transformer的时空注意力机制，用于捕捉长距离依赖性[24]；（2）基于CNN的局部特征提取器，用于鲁棒地表示细粒度信号动态[25]；（3）轻量级的EEGNet骨干网络，用于高效的端到端建模[26]。除了架构设计之外，我们还引入了基于Shapley值的归因机制来量化特征贡献，从而生成具有生理学意义的时空热图。这些热图不仅提高了可解释性，还为基于特征贡献的通道选择策略奠定了基础，这种策略在保持分类准确性的同时减少了输入维度。

我们总结本研究的贡献如下：

• 1) 一个跨场景泛化的EEG分类框架。为了解决在不同异质范式中泛化能力差的挑战，我们提出了一个统一的、基于AI的、结合Shapley理论的多层次信息融合（SMIF）框架，该框架整合了动态自适应EEGNet、多尺度因果CNN和具有不确定性意识的Transformer模块。这种混合设计能够实现对不同认知任务（如情景记忆和运动想象）的空间-频谱-时间依赖性的鲁棒端到端建模。
• 2) 一种基于博弈论的可解释性机制。为了克服深度EEG模型透明度有限的问题，我们引入了基于Shapley值的归因机制来量化大脑区域和时间段的特征贡献。由此产生的时空热图提供了全局可解释性和神经生理学一致性，将模型决策与大脑活动联系起来。
• 3) 一种基于贡献的特征选择策略。为了平衡可解释性和计算效率，我们利用Shapley重要性分数来指导通道级别的特征降维，在保持超过95%的分类性能的同时，实现了高达40%的输入压缩，从而提高了实时应用的可扩展性。
• 4) 一个统一的、基于博弈论的学习范式。除了架构创新之外，本研究建立了一个将博弈论推理与深度表示学习相结合的协同范式。在两个异构数据集上进行了实验验证：一个内部的情景记忆数据集和PhysioNet EEGMMI运动想象数据集。结果表明，所提出的SMIF框架比传统基线提高了12-18%，并生成了具有神经科学意义且可解释的结果。

通过解决泛化能力有限、可解释性不足和计算效率低这三个核心问题，这项工作推进了基于EEG的智能系统的透明性、效率和泛化能力的发展。在内部情景记忆数据集和PhysioNet EEGMMI运动想象数据集上的实验验证[27]表明，我们的方法一致性地优于传统基线[28][29]，同时产生了具有神经科学意义的解释。这些发现突显了将博弈论与深度学习相结合，构建更透明、高效和泛化的EEG分类模型的潜力，从而推动了下一代智能诊断和BCI系统的发展。

数据集

本研究使用了一个自收集的情景记忆EEG数据集，该数据集的设计严格遵循Yin等人提出的实验范式[30]，旨在捕捉记忆编码和检索过程中的高频神经动态。实验在一个高度沉浸式的虚拟现实（VR）环境中进行，32名健康参与者被要求在虚拟房间内定位并记住物体的位置，提供了高生态有效性。我们记录了EEG数据

数据集划分

本研究使用了两个具有不同特征的EEG数据集进行多维度验证。情景记忆数据集包含来自25名参与者的自收集数据，并采用留一受试者法进行交叉验证。在每个验证轮次中，24名参与者的试验被分层并随机分配到训练集（168次试验）、验证集（48次试验）和测试集（24次试验），比例为7:2:1，而剩余参与者的数据被保留用于

协同整合的有效性和方法论的稳健性

本研究将合作博弈论框架与混合深度学习架构相结合，以解决可解释性和性能之间的权衡问题。针对统一框架是否能够有效整合空间、频谱和时间EEG特征这一基本问题，我们的实验结果给出了明确的肯定答案。如消融研究（表4）所示，完整的SMIF框架实现了88.6%的准确率，显著优于

结论

在这项研究中，我们提出了一个新颖的EEG分类框架，该框架将合作博弈论与先进的深度学习架构相结合，以平衡多个EEG解码任务中的可解释性和性能。该框架包含了两个核心方法论创新：一种基于Shapley值的动态加权机制，用于协同特征融合；以及一种时空特征解耦策略，用于鲁棒的表现学习。通过结合这些组件，所提出的

王少昌：撰写——原始草稿、可视化、验证、方法论、调查、形式分析、数据管理、概念化。李庆鸿：撰写——审阅与编辑、资源管理、概念化。郑子平：撰写——审阅与编辑。崔淑涵：撰写——审阅与编辑。段丁娜：撰写——审阅与编辑。万向龙：撰写——审阅与编辑、资金获取。谢学光：撰写——审阅与编辑。宋海清：撰写——审阅与编辑。

资助

本研究得到了国家自然科学基金（62276022、62206014）和国家重点研发计划（2023YFF1203702）的资助。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

本研究得到了国家重点研发计划和国家自然科学基金的支持。我们对此表示衷心的感谢，这些支持对研究的成功完成起到了重要作用。我们还要感谢同事们在整个研究过程中的深刻讨论和帮助。