《Scientific Reports》：Secure yet fragile: adversarial vulnerabilities of federated vision–language models in medical AI
编辑推荐：
本研究针对联邦学习框架下医学视觉-语言模型（VLM）对抗鲁棒性缺失的关键问题，系统评估了四种联邦优化策略（FedAvg、FedProx、FedPer、FedBN）在多种对抗攻击（FGSM、PGD、BIM、MI-FGSM）下的脆弱性，揭示了客户端对抗扰动通过联邦聚合传播导致模型性能严重下降的机制，并证明了无训练测试时防御方法（TTC、CLIPure）的有效性，为分布式临床AI系统的安全部署提供了重要实证依据。
在医学人工智能（AI）蓬勃发展的浪潮中，一个看似完美的技术组合正在崭露头角：一边是能像人类一样综合理解图像与文本的视觉-语言模型（Vision-Language Models, VLMs），它在解读X光片、CT扫描等医学影像并生成诊断报告方面展现出巨大潜力；另一边是能够保护患者隐私的分布式协作范式——联邦学习（Federated Learning, FL），它允许多家医院在不共享原始敏感数据的前提下，共同训练一个更强大的AI模型。这个组合被誉为打破医疗数据“孤岛”、实现普惠AI的利器。然而，当安全性遇上安全性，结果就一定坚不可摧吗？一个被普遍忽视的阴影正潜伏其中：对抗性攻击。在图像中刻意添加人眼难以察觉的微小扰动，就足以让最先进的AI模型做出完全错误的判断。那么，在更为复杂的“联邦学习+视觉-语言模型”场景下，特别是在人命关天的医疗领域，这个组合的“盔甲”究竟有多厚？它是否能抵御恶意攻击，守护诊断的可靠性？这正是当前研究的一大空白。
为了回答这个紧迫的问题，一组研究人员在《Scientific Reports》上发表了一项开创性研究，系统性地揭示了联邦医学视觉-语言模型令人担忧的脆弱一面。他们的工作如同一场精心设计的“压力测试”，旨在探究：当基于CLIP架构的医学VLMs在联邦学习框架下被训练时，它们面对各种对抗性攻击时的表现如何？不同联邦优化算法（如FedAvg、FedProx等）的鲁棒性有无差异？是否存在有效的防御手段来加固这个系统？通过一系列严谨的实验，他们得出了既有警示意义又指明方向的结论。
研究人员开展这项研究主要运用了以下几个关键技术方法：首先是基于CLIP（Contrastive Language-Image Pre-training）框架构建视觉-语言模型，作为研究的核心模型架构。其次，采用了四种主流的联邦学习优化策略进行模型训练与聚合，包括联邦平均（Federated Averaging, FedAvg）、联邦近端（FedProx）、个性化联邦学习（Federated Personalized, FedPer）以及联邦批归一化（Federated Batch Normalization, FedBN）。攻击评估方面，研究使用了四种经典的对抗攻击算法在不同强度（ε）下生成对抗样本，包括快速梯度符号法（Fast Gradient Sign Method, FGSM）、投影梯度下降（Projected Gradient Descent, PGD）、基本迭代法（Basic Iterative Method, BIM）和动量迭代快速梯度符号法（Momentum Iterative Fast Gradient Sign Method, MI-FGSM）。在防御方面，则重点评估了两种无需重新训练的测试时防御技术：测试时反攻击（Test-Time Counter-Attack, TTC）和CLIPure。所有实验在多个公开的医学影像数据集上进行。
研究结果部分通过多个维度的实验，清晰地呈现了模型的脆弱性与防御措施的效果。
联邦医学VLMs普遍存在严重的对抗脆弱性。无论采用FedAvg、FedProx、FedPer还是FedBN这四种联邦优化策略中的哪一种，训练得到的CLIP-based VLM在面对FGSM、PGD、BIM和MI-FGSM等对抗攻击时，其分类准确率均出现灾难性下降。攻击强度（由扰动预算ε控制）越大，模型性能下降越剧烈。特别值得注意的是，强大的迭代攻击（如PGD和MI-FGSM）即使在较小的ε值下，也能几乎完全“瘫痪”模型，使其准确率接近随机猜测水平。这证明联邦学习框架并未赋予医学VLMs内在的鲁棒性。
客户端对抗扰动可通过联邦聚合有效传播并放大破坏效果。研究的一个重要发现是，攻击者无需侵入中央服务器，只需“毒害”一个或多个客户端（参与联邦训练的医院节点）的本地数据，注入对抗性扰动。在后续的联邦聚合轮次中，这些恶意扰动会被整合到全局模型中，进而影响所有参与方的模型性能。这意味着分布式部署不仅带来了隐私优势，也可能引入新的、分布式的安全威胁入口。
不同联邦优化策略的鲁棒性存在差异。对比四种策略，FedBN在不同攻击和数据集上表现出了相对更好（但依然脆弱）的稳健性。而个性化的方法如FedPer，在某些情况下可能因为局部模型的特异性而略微改变脆弱模式，但并未从根本上解决问题。这表明，联邦聚合算法的设计本身会影响模型对对抗扰动的敏感度。
无训练测试时防御可有效缓解攻击。面对严峻的威胁，研究评估了两种无需重新训练模型、仅在推理（测试）阶段起效的轻量级防御方案。测试时反攻击（TTC）通过轻微修改输入图像来尝试“抵消”对抗扰动，而CLIPure则通过优化输入图像的嵌入表示来使其更贴近干净的文本-图像对齐空间。实验表明，两种方法均能显著提升被攻击模型在各种攻击强度下的准确率，其中CLIPure在不同数据集和攻击设置下提供了更一致、更稳健的性能提升，展现出作为实用化防御工具的潜力。
归纳研究与讨论，本研究的结论明确指出，将强大的视觉-语言模型与隐私保护的联邦学习结合用于医疗AI，并未能规避对抗性攻击这一核心安全挑战。相反，联邦设置可能引入新的风险传播路径。四种主流联邦优化策略训练出的模型均表现出高度的脆弱性，尤其是在面对迭代攻击时。这一发现为急于部署分布式医疗AI系统的机构和研究者敲响了警钟，突显出在模型性能之外，对抗鲁棒性必须成为系统设计和评估的关键指标。
然而，研究也带来了希望，即通过算法层面的改进（如采用更鲁棒的聚合策略）和实施轻量级的测试时防御（如CLIPure），可以在不牺牲隐私或大幅增加计算开销的前提下，有效提升系统的安全性。这项工作的意义在于首次系统性地绘制了联邦医学视觉-语言模型在面对对抗性威胁时的“风险地图”，并验证了可行的初期防御方案。它不仅推动了医疗AI安全领域的研究，更对未来在真实世界医院网络中安全、可靠地部署分布式诊断辅助系统具有直接的指导价值。在人工智能日益深入医疗核心的今天，这项研究强调，安全必须是贯穿从算法设计到临床部署全过程的基石。
