用于阿尔茨海默病分期的隐私保护多模态融合：一种结合可解释人工智能的联邦视觉变换器框架

《Computerized Medical Imaging and Graphics》：Privacy-preserving multimodal fusion for Alzheimer’s staging: A federated vision transformer framework with explainable AI

阿尔茨海默病（AD）多模态联邦学习框架融合3D MRI、放射学、认知评估和血浆生物标志物，通过参数高效的Swin-UNet架构与LoRA、动态令牌门控降低通信开销99%，采用分层注意力融合和模糊粗糙可解释性机制，在ADNI队列中达到80.7%平衡准确率，接近集中式模型性能，并验证跨站点可解释性。

　　

马尔瓦·本·加拉·阿里 | 阿比尔·斯米蒂

拉罗德克（LARODEC），突尼斯大学管理高等研究所，自由大道41号，突尼斯，2000，突尼斯

摘要

阿尔茨海默病（AD）的准确、早期分期对于治疗干预至关重要，但受到数据隐私法规、多模态数据异质性以及复杂人工智能（AI）模型“黑箱”性质的阻碍。为了解决这些相互关联的挑战，我们提出了一种新的、保护隐私的联邦学习框架，以实现稳健且可解释的AD分期。我们的方法整合了四种具有临床意义的数据类型：3D结构磁共振成像（MRI）、符合图像生物标志物标准化倡议（IBSI）的放射组学、认知评估以及美国食品药品监督管理局（FDA）认可的血浆生物标志物，并将其整合到一个参数效率高的Swin-UNet变换器架构中。主要创新包括：（1）低秩适应（LoRA）和动态令牌门控技术，与标准联邦平均方法相比，通信开销减少了99%（降至每轮140 KB）；（2）一种基于预测不确定性的分层注意力融合机制；（3）一种模糊粗糙的混合可解释性流程，能够在不共享原始数据的情况下，将客户端特定的显著性图合成一致性的临床解释。在来自阿尔茨海默病神经影像学倡议（ADNI）队列的分层四客户端联邦网络上进行评估后，我们的框架实现了80.7%的先进平衡准确率，接近集中式方法的最高准确率（82.1%），同时表现出对模拟领域变化的卓越鲁棒性和跨站点的一致可解释性（Dice相似度：0.84）。这项工作为下一代医疗AI系统奠定了基础，这些系统既准确高效，又能保护隐私，并支持分布式临床网络之间的可扩展协作。

引言

阿尔茨海默病（AD）是一种进行性神经退行性疾病，也是导致痴呆的主要原因，预计到2050年其患病率将增加两倍（Smith和Ownby，2024年；世界卫生组织等，2017年）。从正常认知（NC）到轻度认知障碍（MCI）再到重度痴呆的精确分期对于患者管理和新兴疾病修饰疗法的有效应用至关重要（Cummings等，2023年）。早期和准确的诊断能够在疾病进展可能被减缓的治疗窗口期内及时进行干预（Sims等，2023年）。

人工智能（AI），特别是应用于神经影像学的深度学习（DL），在自动化AD分期方面显示出巨大潜力，先进的架构如视觉变换器在集中式数据集上取得了最佳性能（Cao等，2022年；Hatamizadeh等，2021年）。然而，这些进展在实际临床应用中受到数据隐私法规（例如《健康保险可移植性和责任法案》（HIPAA）、《通用数据保护条例》（GDPR）等法规的阻碍，这些法规禁止跨机构集中患者数据（Rieke等，2020年）。这使得传统的集中式AI模型在多医院合作中无法合法使用。

联邦学习（FL）作为一种关键范式应运而生，它能够在不共享原始患者信息的情况下，在分散的数据站点上进行模型训练（McMahan等，2017年；Xu等，2021年）。虽然对于单模态任务来说有效，但标准FL方法在应用于多模态AD分期的复杂问题时面临三个相互关联的挑战，这需要整合互补的数据来源，如结构磁共振成像（MRI）、基于血液的生物标志物和认知评分，以达到最佳准确率（Li等，2023年）。

首先，通信效率低下严重限制了可扩展性。在每次FL轮次中传输大型模型（如视觉变换器）的完整权重会给临床网络带来巨大的带宽负担（Li等，2020年）。尽管像低秩适应（LoRA）这样的参数高效技术提供了希望（Hu等，2022年），但它们在联邦多模态医疗框架中的整合仍需进一步探索。

其次，保护隐私的多模态融合是一个未解决的架构问题。有效的AD分期依赖于高维、异构数据的合成。使用注意力机制的集中式融合方法表现出更好的性能（Zhang等，2023b），但它们在FL中的应用仍处于起步阶段。现有的联邦方法通常依赖于简单的聚合或单独的模态训练，无法模拟不同模态的阶段依赖性预测重要性，而在早期检测中血液生物标志物至关重要，而在后期阶段则成像特征占主导地位（Li等，2023年）。

第三，去中心化的可解释人工智能（XAI）对于临床信任和法规合规性至关重要，但目前仍大部分未解决（Amann等，2020年）。临床医生需要AI决策的一致性和可信解释（Din等，2025年）。在FL中，标准解释方法如梯度加权类激活映射（Grad-CAM）或SHapley加性解释（SHAP）产生的属性在联邦范围内缺乏一致性，从而影响了它们的协作诊断效用（Zhang等，2023a）。

为了弥合通信效率、隐私保护和一致可解释性之间的差距，本研究旨在开发和验证一个全面、用于准确、高效且可信的AD分期的联邦学习框架。所提出的方法结合了参数高效的适应机制、分层多模态融合机制和基于共识的可解释性流程，以实现在实际临床网络中的实际部署。

方法概述

提出的方法

我们提出了一个模块化且保护隐私的FL框架，用于使用多模态临床数据进行AD的临床分期。该框架涵盖了四种相互关联且具有临床意义的数据类型：3D结构脑MRI、手工制作的放射组学、认知评估以及美国食品药品监督管理局（FDA）认可的血浆生物标志物，并通过基于分布式变换器的架构进行融合。我们的设计基于三个目标：（i）利用不同模态之间的互补信息

实验设置

为了严格验证所提出的框架，我们设计了一个全面的评估方案，使用了当前的基线和多方面的评估指标。本节详细介绍了实验方案，包括FL轮次、实施细节和消融研究。

实验结果

我们全面评估了我们的联邦多模态框架在AD分期方面的性能，与最先进的联邦和集中式基线进行了对比。我们的评估涵盖了分类性能、对客户端异质性的鲁棒性、通信效率、模型校准以及所有AD阶段的可解释性。值得注意的是，所有结果均来自一个外部测试客户端（客户端D），模拟了在不进行微调的情况下在陌生临床站点上的部署，以严格评估泛化能力

讨论

本研究表明，联邦多模态深度学习能够在保护机构数据隐私的同时，实现接近集中式方法的性能（80.7% vs. 82.1%的准确率）。我们的框架在性能上接近集中式方法的最高水平，仅损失了1.4%的效率，同时将通信开销减少了99%。

研究局限性和未来验证

尽管方法表现优异，但在临床应用之前仍需解决几个关键限制。

结论

本研究提出了一个用于多模态AD分期的FL框架，它在诊断准确性、通信效率和可解释性之间取得了平衡。通过LoRA适应的Swin-UNet框架整合了3D MRI、放射组学、认知评分和血浆生物标志物，实现了80.7%的平衡准确率，接近集中式方法的性能，同时将通信开销减少了99%。我们引入了一种基于熵的自适应分类器和一种基于共识的可解释性流程，以实现资源意识推理

CRediT作者贡献声明

马尔瓦·本·加拉·阿里：撰写——原始草案，项目管理，方法论。阿比尔·斯米蒂：撰写——审阅与编辑，验证，监督。

伦理批准

本研究遵循了伦理指南进行。

写作过程中生成式AI和AI辅助技术的声明

在准备本研究期间，作者使用了ChatGPT（Open AI）来完善英文文本。使用该工具后，作者根据需要审查和编辑了内容，并对出版物的内容负全责。

资金支持

本研究未获得公共、商业或非营利部门的任何特定资助。

数据来源：本研究使用的数据来自阿尔茨海默病神经影像学倡议（ADNI），由NIH资助（Grant U01 AG024904）和DOD（W81XWH-12-2-0012）提供。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。