一种结合对抗性对比学习的半监督多模态融合框架，用于阿尔茨海默病的诊断

《Engineering Applications of Artificial Intelligence》：A semi-supervised multimodal fusion framework with adversarial contrastive learning for Alzheimer's disease diagnosis

半监督多模态学习框架通过对抗对比学习与双相位注意力融合解决阿尔茨海默病诊断中的标注稀缺与模态异质性难题，在ADNI数据集上达到92%的准确率。

　　

刘豪文|史磊|史玉成|张亚萌|赵国华|高宇飞

中国郑州大学计算机与人工智能学院

摘要

多模态神经影像数据为阿尔茨海默病（AD）的诊断提供了互补的结构和功能信息。然而，获取具有精确注释的大规模多模态数据集需要大量资源，并且成本高昂。有效地融合不同模态之间的相关信息仍然是一个重大挑战。现有方法通常局限于分别建模模态内特征和模态间共享信息，忽略了它们之间的关键交互作用。此外，模态间的异质性也是实现可靠跨模态特征对齐的主要障碍。为了解决这些问题，我们提出了一个端到端的半监督多模态融合框架，该框架结合了对抗性对比学习。具体来说，我们设计了一种伪标记策略，通过设置阈值来调节伪标记的质量，从而充分利用未标记数据。为了在保留模态内独特特性的同时自适应地捕捉模态间共享特征，我们设计了一个双阶段模态内-模态间注意力融合单元（Dual-phase Inter-Intra Attention Fusion Unit），该单元有效利用了不同模态之间的交互作用。此外，为了在特征和受试者层面实现多模态数据的高效对齐，我们基于对抗性对比学习开发了一种分层对齐策略。该策略将特征映射到一个共享的潜在空间中，促进该空间内模态对样本的接近，从而同时减轻分布差异并解决跨模态的语义不一致性问题。在两个独立的公共数据集上进行的广泛实验表明，与现有方法相比，所提出的框架在AD诊断方面表现优异，特别是在仅有40%标签的ADNI1数据集上，准确率达到了92.00%（±1.00%）。

引言

阿尔茨海默病（AD）是一种常见的神经退行性疾病，影响着全球数百万人（Marcella等人，2022年）。AD的进展逐渐导致不可逆的脑萎缩和认知功能障碍，严重影响患者的生活质量（Long Justin和Holtzman David，2019年）。早期诊断对于有效治疗患者和减缓疾病恶化至关重要。因此，准确识别AD及其前驱阶段——轻度认知障碍（MCI）受到了广泛关注（Ning等人，2021年）。先进的神经影像技术已成为辅助诊断不可或缺的工具。结构磁共振成像（sMRI）（Frisoni Giovanni等人，2010年）在AD诊断中起着关键作用，因为它对脑结构的形态变化非常敏感，并且能够检测到脑萎缩等病理特征。另一方面，正电子发射断层扫描（PET）（Agneta等人，2010年）能够测量葡萄糖代谢率，通过放射性18-氟脱氧葡萄糖（FDG）的摄取和代谢反映大脑活动，从而为诊断提供功能性的见解。然而，基于单模态数据的诊断方法（Liang等人，2023年；Mendoza-Léon等人，2020年；Zhu等人，2021年）无法提供足够的信息。因此，越来越多地倾向于使用多模态神经影像数据，因为它们可以同时捕捉结构和功能异常，为AD诊断提供更全面的基础。

目前，已经探索了多种利用多模态数据进行AD诊断的方法。如图1所示，这些诊断方法可以分为三类：统计方法、机器学习方法和深度学习方法。在基于统计的方法中，典型相关分析（CCA）（Du等人，2020年；Lei等人，2016年；Zhou等人，2023a）是一种重要的方法，用于探索不同模式之间的最大线性相关性，以发现潜在的诊断联系。然而，这些方法受到线性假设的限制，而复杂的神经影像数据往往表现出非线性和异质性特征。在传统的机器学习中，一种流行的方法是特征选择（Chen等人，2025年；Huang等人，2025年；Jiang等人，2023年；Jiang等人，2024年），其目的是选择最具代表性和区分性的特征子集，同时消除冗余。然而，这些方法依赖于手动特征工程，可能会导致重要信息的丢失。与上述范式相比，深度学习为诊断提供了强大的替代方案（Jiao等人，2024年；Zhang等人，2023年；Zhou等人，2023b）。基于神经网络的架构可以近似复杂的非线性函数，并捕捉多模态数据中的复杂模式。此外，这些方法能够自动提取复杂特征，并探索不同模态之间的深层语义关联。

尽管深度学习基准有所进步，但之前的方法仍然面临几个主要挑战。首先，显著的性能在很大程度上依赖于大量数据的精确手动注释。获取专家注释的难度严重限制了这些研究的可扩展性。因此，人们越来越关注开发减少对监督依赖的模型。其次，当前的多模态融合方法仅限于独立建模模态内的特定特征或不同模态间的共享特征，常常忽略它们之间的本质交互作用，未能充分利用互补信息。第三，不同模态之间的固有异质性导致分布差异，这阻碍了跨模态特征的整合和分析，对跨模态信息对齐构成了重大挑战。由于缺乏足够的上下文信息，早期对齐无法考虑全局语义信息。相反，后期对齐则缺乏特征层面的交互作用，而这些交互作用对于实现细粒度对齐至关重要。

在这项工作中，我们提出了一个端到端的半监督多模态AD诊断框架，称为对抗性对比学习多模态融合（ACL-MF）。该框架旨在解决三个关键挑战：标签依赖性、融合过程中模态特定信息与互补信息之间的不足交互作用，以及不同模态对齐的固有难度。首先，引入了一种基于阈值的伪标记策略来过滤噪声伪标签，使未标记样本能够提供监督信号，从而减少对大量手动注释的依赖。通过利用少量标记数据和大量未标记数据，该模型受益于半监督学习的优势，从而提高了泛化和诊断性能。其次，我们设计了双阶段模态内-模态间注意力融合（DIIAF）单元，以减轻模态独特特征和跨模态互补表示的建模不足。在第一阶段，该单元在潜在空间中捕捉模态间共享信息，减轻语义不对齐和较强模态的主导地位。在第二阶段，它选择性地将模态内特定特征注入这个共享表示中，保留每种模态中病理信号的独特性。此外，为了解决模态间数据分布的显著差异，我们提出了对抗性对比分层对齐策略（ACHA）。对抗阶段产生了一个更清晰的特征空间，用于对比学习，从而加强了对齐效果，确保从特征层面到受试者层面的全面一致性。为了验证我们提出方法的有效性，我们在两个独立的数据集（ADNI1和ADNI2）上进行了广泛实验。

我们工作的贡献可以总结如下：

1.

我们开发了一个半监督多模态AD诊断框架，通过引入基于阈值的伪标记策略来抑制噪声标签，使未标记样本能够提供可靠的监督，从而缓解了标记数据的稀缺问题。

2.

为了克服特征融合中模态主导的常见缺陷，我们设计了一种新颖的双阶段模态内-模态间注意力融合单元（DIIAF），以促进模态间的互补性和每种模态内的独特特性。

3.

我们建立了一种对抗性对比分层对齐策略（ACHA），用于处理异构数据，这是首次同时解决模态间的分布差异和个体受试者之间的语义不一致性问题。

4.

在公共数据集上的实验结果表明，我们提出的方法在分类任务中的表现优于当前的最先进方法。

章节片段

基于多模态放射组学数据的AD诊断

近年来，多模态放射组学数据逐渐出现，并在医学图像分析领域受到了广泛关注。与单模态方法相比，使用多模态数据的方法可以反映多样的生物学和组织特征，补偿缺失的信息，并实现更全面的疾病诊断。Zhou等人开发了一种注意力深度典型相关分析（ADCCA）方法用于AD诊断，该方法结合了深度神经网络

方法

如图2所示，所提出的ACL-MF框架由三个主要部分组成：分层对齐策略（图2a和c）、特征融合单元（图2b）和基于阈值的伪标记策略（图2d）。具体来说，利用编码器和鉴别器进行对抗性训练，将不同模态的特征拉入共享空间，实现特征层面的对齐。在特征融合阶段，我们设计了双阶段模态内-模态间注意力融合

数据集和预处理

我们在阿尔茨海默病神经影像倡议（ADNI）研究（Petersen等人，2010年）上评估了我们的ACL-MF。该数据集（https://adni.loni.usc.edu）是一个纵向的多中心研究项目，旨在开发临床、影像、遗传和生化生物标志物。在实验中，分别从ADNI1和ADNI2中选择了630名和423名受试者。人口统计细节总结在表2中。

所有受试者都包含了sMRI和PET数据，这些数据已经过预处理

讨论

所提出的ACL-MF方法通过基于阈值的伪标记策略解决了注释数据有限的挑战。不同阈值的分析表明，0.7的阈值在标签可靠性和样本利用率之间提供了最佳平衡，从而提高了模型性能。基于注意力的双阶段融合模块有效地捕捉了模态内特征和跨模态交互特征，增强了模态间的互补性

结论

在这项工作中，我们提出了一个对抗性对比学习多模态融合框架ACL-MF，用于半监督阿尔茨海默病诊断。之前的方法仅关注模态内或模态间的独立建模，忽略了它们之间的交互作用以及全局语义信息和细粒度信息的对齐。这些挑战对半监督AD诊断构成了重大障碍。端到端的ACL-MF框架不仅减少了

CRediT作者贡献声明

刘豪文：撰写——原始草案、可视化、方法论、研究。史磊：监督、资源。史玉成：撰写——审稿与编辑、监督、资源。张亚萌：验证、监督。赵国华：监督、研究。高宇飞：撰写——审稿与编辑、资源、研究。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

本工作部分得到了国家自然科学基金（62006210、62406293）、河南省关键科学技术项目（241110210200）、河南省关键研发计划（251111212100）、河南省自然科学基金（262300421812）、河南省医学科技研发合作计划（LHGJ20250037）和河南省研究生联合教育基地项目的支持