MVF-XT：一种基于交叉注意力的可解释多视图融合网络，用于功能性磁共振成像（fMRI）分析

《Neurocomputing》：MVF-XT: An interpretable multi-view fusion network based on cross-attention for fMRI analysis

本文提出MVF-XT模型，通过连接性碎片嵌入（CPE）和静态-动态跨注意力模块（SDCA）融合fMRI的时序、静态和动态功能连接数据，结合DiA和PR方法验证可解释性，在肥胖、HCP和ADHD数据集上表现最优。

　　
神经影像学中的多视图融合模型研究进展及方法创新分析

在脑疾病诊断领域，fMRI数据的深度学习分析已成为重要研究方向。当前主流方法多聚焦于单一或双模态数据处理，存在信息利用不充分和可解释性不足两大瓶颈。以时间序列（TS）、静态功能连接（sFC）和动态功能连接（dFC）为代表的多元数据源的协同分析尚未形成系统解决方案。本研究提出的MVF-XT模型通过创新性设计有效整合三类数据，为神经影像分析提供新范式。

1. 多模态数据融合的必要性
fMRI数据包含三个核心维度：TS反映特定脑区活动轨迹，sFC揭示区域间静态关联模式，dFC捕捉连接强度的动态变化。这三类数据分别从时间维度、空间关联度和动态演变三个角度表征脑功能。现有研究多采用单一维度分析，如仅利用sFC进行疾病分类，或单独处理TS和dFC。这种割裂式处理不仅造成信息丢失，更难以全面反映脑网络的多层次特征。

2. 模型架构创新点解析
2.1 结构化数据嵌入机制
针对sFC和dFC的矩阵特性，提出连接性数据嵌入（CPE）策略。传统图像模型采用的空间分块嵌入在功能连接数据中可能破坏区域拓扑结构，而CPE通过行级分组保留脑区语义关联。这种嵌入方式确保在特征提取过程中维持功能连接的生物学意义，为后续交互提供合理结构基础。

2.2 动态交互增强模块
设计的静态-动态交叉注意力（SDCA）模块实现双向信息流。通过交替的跨模态注意力计算，sFC的稳定连接模式与dFC的时变特性形成互补增强。这种交互机制突破传统特征级融合的局限，使两种数据在注意力空间实现深度融合。

2.3 时序特征建模优化
针对TS数据的特点，构建时空Transformer架构。该模块通过分层自注意力捕获长程时间依赖，同时引入跨时间步的注意力机制实现全局动态建模。这种设计既保留时间序列的连续性特征，又避免传统RNN结构的信息衰减问题。

3. 可解释性验证体系构建
3.1 差异对齐（DiA）方法
建立群体差异与模型决策的量化关联机制。首先通过统计检验获取疾病相关脑区连接差异，再计算模型注意力权重与群体差异的皮尔逊相关系数。在肥胖症诊断中，该指标达到r=0.29，显著高于基线模型，证明模型决策与已知群体差异高度一致。

3.2 生理相关性（PR）评估
构建连接模式与行为指标的关联图谱。通过计算功能连接与BMI、认知任务的皮尔逊相关系数，建立行为权重矩阵。将模型注意力权重与行为权重进行双重回归分析，结果显示PR指标r=0.10，表明模型有效捕捉了与生理表现相关的连接特征。

4. 实验验证与性能对比
在三个基准数据集上的实验表明，MVF-XT在肥胖症诊断（77.2%）、HCP性别预测（88.1%）和ADHD分类（60.5%）中均达到最优性能。相较于单模态方法（最高72.3%），双模态融合模型（76.8%-83.5%），以及现有多模态框架（75.6%-82.4%），本模型分类准确率提升5-12个百分点。

5. 方法优势与局限性
优势体现在：①结构嵌入机制保留连接语义；②动态交互增强模拟能有效整合时变特征；③双维度可解释性评估体系。当前局限性包括对高维TS数据的计算效率待提升，以及跨模态对齐过程中的噪声敏感性。未来研究可考虑引入自适应注意力机制和轻量化网络结构优化。

6. 理论价值与实践意义
该研究首次将Transformer架构系统应用于三类fMRI数据融合，突破传统CNN/RNN的模态处理限制。在理论层面，构建了"结构嵌入-动态交互-全局表征"的三阶段融合框架，为多模态学习提供新范式。实践价值体现在：①建立量化可解释性评估标准；②形成跨时间尺度、静态与动态结合的分析体系；③为脑疾病分类提供可复现的方法学。

当前研究仍存在若干待完善方向：首先，模型在极端数据分布下的泛化能力需要进一步验证；其次，可解释性评估指标应涵盖更多神经科学维度；最后，多模态数据的标准化处理流程尚待统一。这些研究方向的突破将推动神经影像分析从辅助诊断向精准医疗转化。

该研究为多模态fMRI分析提供了重要参考，其核心创新在于：建立基于结构嵌入的跨模态交互框架，开发双维度可解释性验证体系，并实现三类数据特征的有效融合。这些技术突破不仅提升了分类性能，更重要的是构建了连接数据特征与神经机制的可解释桥梁，为脑疾病研究提供新的方法论支持。后续研究可着重于模型轻量化、多中心数据验证以及临床决策支持系统的开发应用。