TASNet：一种基于三模态注意力机制的鲁棒自适应融合框架，用于渐进性轻度认知障碍的分类

《Journal of Neuroscience Methods》：TASNet: A tri-modal attentive scale robust adaptive fusion framework for progressive mild cognitive impairment classification

准确预测进行性轻度认知障碍（pMCI）与稳定型轻度认知障碍（sMCI）对阿尔茨海默病早期干预至关重要。本文提出TASNet框架，通过整合PET、sMRI和CSF多模态数据，采用对称动态通道注意力机制实现异质特征自适应融合，结合3D ResNeXt backbone、PAFA模块捕捉多尺度不规则病变特征，并设计HAHL损失函数提升困难样本判别力。实验表明在ADNI数据集上pMCI/sMCI分类准确率达85.00%，AUC达91.67%，且模型解释性结果与临床病理区域高度吻合，有效克服传统方法在多尺度特征提取与跨模态信息融合方面的局限性。

　　

朱宏亮|张丽梅|杨璐|郝凡昌

山东建筑大学计算机与人工智能学院，中国山东济南

摘要

背景：

准确区分进行性轻度认知障碍（pMCI）和稳定型轻度认知障碍（sMCI）对于早期阿尔茨海默病（AD）的干预和延缓疾病进展至关重要。目前，正电子发射断层扫描（PET）与结构性磁共振成像（sMRI）的结合被认为是最可靠的诊断依据。然而，PET和sMRI所揭示的病变具有异质性尺度、不规则的空间分布以及模态间的时间不同步性——这些因素导致现有方法在特征提取和融合方面存在不足。

新方法：

为了解决这些问题，本文提出了三模态注意力鲁棒网络（TASNet），这是一种创新的特征尺度鲁棒框架，它将脑成像（PET、sMRI）与脑脊液（CSF）数据相结合。TASNet通过端到端的方式，利用对称动态通道注意力自适应地融合这些模态。设计了一种三维平行轴向融合注意力（PAFA）机制和分布可变孔洞空间金字塔池化（DV-ASPP）模块，以高效捕获多尺度不规则病理特征。此外，还引入了硬度感知混合损失（HAHL）函数，以提高难案例的区分能力。

结果：

在ADNI数据集上的实验表明，pMCI/sMCI分类的准确率为85.00%，AUC为91.67%。可解释性分析证实该模型专注于与AD病理一致的区域（例如，颞叶和顶叶）。

与现有方法的比较：

所提出的TASNet相比现有方法表现出更优的性能。通过减少传统串行模型常见的信息损失，并有效处理多尺度特征，该框架实现了更高的分类指标。

结论：

这项工作提供了一种具有高准确性、可靠性和临床可解释性的早期AD预测技术解决方案。

引言

轻度认知障碍（MCI）被广泛认为是阿尔茨海默病（AD）的早期症状阶段（Carrillo等人，2011年）。AD是一种进行性和不可逆的神经退行性疾病，主要表现为认知功能、记忆和情绪的持续下降，最终导致患者无法独立生活（世界卫生组织，2025年）。全球有超过5000万人患有痴呆症（AD占60%-70%）（世界卫生组织，2025年），预计随着人口老龄化，这一数字还将上升，对公共卫生构成重大挑战（Patterson，2018年）。尽管目前尚无AD的治愈方法，但研究表明，早期准确的诊断对于延缓疾病进展和改善患者生活质量至关重要（Xiang和Zhang，2023年；Luo等人，2023年）。MCI代表了从认知正常（CN）到AD的过渡阶段。它并不是均匀的，分为进行性MCI（pMCI，将在几年内发展为AD）和稳定型MCI（sMCI，认知功能相对稳定）。因此，准确区分pMCI和sMCI对于识别高风险个体和实现早期干预至关重要。虽然一些近期研究探索了动态时间序列推理框架来捕捉个体化的进展模式（Xu等人，2025年），但三模态基线数据的有效融合和尺度鲁棒特征提取仍然是最基本和最实用的临床诊断基础。

结构性磁共振成像（sMRI）是AD和MCI的主流无创诊断工具。其高空间分辨率和软组织对比度能够清晰显示病理变化，如AD引起的脑萎缩。在临床实践中，医生还依赖其他模态，包括正电子发射断层扫描（PET）来检测功能代谢下降，以及脑脊液（CSF）来检测淀粉样蛋白和tau蛋白的生化证据。

不幸的是，手动解释这些数据耗时、成本高昂且容易受到临床医生主观性的影响。为了解决这个问题，大规模生物医学数据集的可用性推动了基于深度学习（DL）的计算机辅助诊断（CAD）系统的发展。从卷积神经网络（CNN）到大型语言模型（LLM）的各种DL技术在生物医学数据分析中展现了巨大潜力（Lan等人，2025b）。DL模型，如CNN，可以从高维sMRI数据中自动学习人类肉眼无法察觉的细微病理特征，从而实现自动和客观的AD诊断。AD分类的深度学习（DL）从分析sMRI切片（破坏空间连续性并可能导致数据泄露的2D-CNN）发展到3D-CNN。3D-CNN处理整个体积数据，更好地保留了空间信息。然而，早期AD病理本质上是多尺度的，从细微的海马体萎缩（微观）到广泛的代谢下降（宏观）。传统的3D-CNN受固定感受野的限制，难以捕捉这些跨尺度模式，导致特征尺度鲁棒性不足。这是精细区分pMCI和sMCI任务中的核心挑战，如图1所示。

尽管取得了显著进展，但处理多模态数据仍存在不同程度的复杂性。由于CSF生物标志物的低维向量特性，其特征提取相对直接，而高维神经影像数据（sMRI和PET）的处理则面临更大挑战。因此，我们关注与精细区分pMCI和sMCI任务相关的三个主要障碍：

• 1.
  特征尺度鲁棒性不足：现有方法难以处理成像数据中AD病理的异质性尺度和空间分布。大多数3D-CNN使用固定大小的核，导致它们偏向于局部细节（牺牲全局上下文）或对细微病变进行过度平滑（使用过大的感受野）（Chen等人，2018年）。
  复杂的多模态相关性：与简单的串联不同，有效融合高维影像特征与生化标志物需要捕捉非线性的模态间相关性。尽管近期研究探索了基于图的一致性（Lan等人，2024b）或缺失感知注意力（Liu等人，2026），现有框架仍常常缺乏专门的对称通道动态融合机制，以鲁棒的方式适应性地权衡sMRI、PET和CSF的互补信息（Chen等人，2023）。
• 2.
  特征边界不明确：pMCI和sMCI之间的高病理相似性导致特征空间边界不明确。现有方法无法有效优化这些难以分类的样本，限制了模型的区分能力（Lin等人，2017年）。

为了解决这些问题，本文提出了三模态注意力鲁棒网络（TASNet），这是一个创新的多模态和特征尺度鲁棒框架。我们的主要贡献包括：

• 1.
  先进的特征提取：我们提出了一个新颖的3D ResNeXt（Xie等人，2017）框架，结合了三维平行轴向融合注意力（PAFA）和分布可变孔洞空间金字塔池化（DV-ASPP），以自适应捕获不规则病变和多尺度特征。
• 2.
  三模态动态融合：我们引入了一种三模态动态融合策略，使用对称动态通道注意力自适应融合sMRI、PET和CSF的特征。
• 3.
  目标优化：我们提出了硬度感知混合损失（HAHL）函数，结合了焦点损失和监督对比损失，以提高对模糊案例的区分能力。

最后，在公开的ADNI数据集上对所提出的框架进行了全面评估。实验结果表明，该方法在多个分类任务中的表现优于现有的最先进模型。此外，该框架提供的视觉解释与临床病理知识高度一致，展示了其在计算机辅助诊断中的巨大潜力。

相关工作

相关工作

本节回顾了基于深度学习的AD诊断的最新进展，重点关注三个关键方面：特征提取方法、多模态信息融合策略和损失函数设计。

方法

本文介绍了TASNet，以解决第2节中概述的挑战，提供了四个主要维度的针对性解决方案：

• 1.
  对于特征提取，我们设计了PAFA机制，用于无偏的三维病变依赖性捕获，并结合DV-ASPP进行自适应多尺度特征整合，如图2所示。
• 2.
  关于多模态融合，我们执行了sMRI、PET和CSF的端到端融合，使用动态通道注意力自适应融合图像特征，以实现全面的诊断

数据集和预处理

实验使用了阿尔茨海默病神经影像倡议（ADNI）数据集，选取了ADNI1和ADNI2队列中的受试者，这些受试者具有基线T1加权sMRI、FDG-PET和CSF生物标志物（Abeta42、TAU、PTAU）。根据36个月的随访标准，受试者被分为四组：AD、CN、进行性MCI（pMCI）和稳定型MCI（sMCI）（Zhang等人，2022年）。我们使用了sMRIPrep 0.18.0（Esteban等人，2025）进行sMRI校正和标准化，随后进行PET配准

结论

我们提出了TASNet，这是一个特征尺度鲁棒的三模态框架，用于早期AD诊断。通过整合PAFA机制和DV-ASPP模块，TASNet有效解决了固定感受野在捕获多尺度不规则病变方面的局限性。此外，我们引入了对称动态通道注意力机制，自适应融合多模态特征，并引入了HAHL函数，显著提高了模型对复杂、模糊案例的区分能力

CRediT作者贡献声明

朱宏亮：撰写——原始草稿、可视化、验证、软件、方法论、数据整理。张丽梅：撰写——审阅与编辑。杨璐：撰写——审阅与编辑、资金获取。郝凡昌：撰写——审阅与编辑、概念化。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了山东省自然科学基金（资助编号ZR2022MF272）的支持；同时得到了国家自然科学基金（资助编号62476155）、山东省自然科学基金（资助编号ZR2024MF063）以及泰山学者计划（资助编号tsqn202211182）的部分支持。