没有遗漏任何模态：通过知识蒸馏技术适应缺失的模态，以实现脑肿瘤分割

《Medical Image Analysis》：No modality left behind: Adapting to missing modalities via knowledge distillation for brain tumor segmentation

　　朱圣浩|陈一飞|陈伟红|蒋铄|周冠宇|王远汉|秦飞伟|王长苗|田启元
中国杭州杭州电大

摘要
准确的脑肿瘤分割对于术前评估和个性化治疗至关重要。多模态MRI因其能够捕捉不同序列下的互补肿瘤特征而被广泛使用。然而，在临床实践中，缺失的模态很常见，这限制了依赖完整输入的现有深度学习方法的鲁棒性和泛化能力，特别是在非主导模态组合下。为了解决这个问题，我们提出了AdaMM，这是一种为缺失模态场景量身定制的多模态脑肿瘤分割框架，它由三个协同工作的模块组成。图引导的自适应细化模块明确地模拟了通用特征和模态特定特征之间的语义关联，增强了了对模态缺失的适应性。双瓶颈蒸馏模块通过全局风格匹配和对抗性特征对齐将结构和纹理知识从教师模型传递给学生模型。病变存在引导的可靠性模块通过辅助分类任务预测病变类型的先验概率，有效抑制了在输入不完整情况下的假阳性。在Pretreat-MetsToBrain-Masks和BraTS 2018、2024数据集上的广泛实验表明，AdaMM的表现始终优于现有方法，在单模态和弱模态配置下的分割准确性和鲁棒性更优。此外，我们对六种缺失模态策略进行了系统评估，支持了知识蒸馏的优势，并为方法选择和未来研究提供了实用的指导。我们的源代码可在https://github.com/Quanato607/AdaMM上找到。

引言
随着脑肿瘤发病率的增加，来自神经影像的精确分割已成为有效诊断、个性化治疗策略和长期结果预测的基本前提（Havaei等人，2017年；Rasool和Bhat，2025年）。磁共振成像（MRI）能够高分辨率地显示软组织病变，并在多种成像模式下捕捉丰富的互补肿瘤特征。具体来说，T1加权成像（T1）擅长描绘亚急性中风中的解剖结构和血管水肿，而T2加权成像（T2）能有效显示组织水肿和病变边界（Verhaert等人，2011年；Kolokythas等人，2024年）。增强型T1加权成像（T1Gd）通过钆增强揭示肿瘤内血管和血脑屏障破坏，而液体衰减反转恢复（FLAIR）可全面显示与中风和肿瘤侵袭相关的异常信号（Sarkaria等人，2018年）。这些模态不仅反映了不同的病理特征，还对肿瘤的不同亚区（如增强核心、水肿（ED）和坏死区域）表现出不同的敏感性。这些模态提供的信息是高度互补的；它们的结合为脑肿瘤的准确定位、形态学特征描述和细粒度分割提供了关键证据。因此，多模态MRI已成为脑肿瘤视觉分析和自动分割的首选方法（Bauer等人，2013年；Zhou，2024年）。

近年来，自动化脑肿瘤分割算法的进步大大减少了手动划分的工作量并提高了分割精度（He等人，2025年；Lu等人，2025年）。然而，在临床实践中，MRI的获取往往受到限制，通常只能获得一部分模态数据。相比之下，大多数现有算法严重依赖完整的多模态输入，当任何模态缺失时，性能会显著下降。因此，需要一种对模态缺失具有鲁棒性并适应多种模态组合的脑肿瘤分割方法。传统的通用分割模型缺乏针对特定模态组合的专用建模，经常在不同子集间表现出明显的不稳定性（S. Wang等人，2024年；Chen等人，2024年）。例如，T1Gd模态在增强肿瘤（ET）分割方面具有很强的能力，即使在单模态输入下也能取得满意的结果，而T1和T2模态在各自的单模态设置中效果较差，即使联合推断时性能也有限（Zhang等人，2024年；Chen等人，2025年）。这些观察表明，通用模型倾向于优化具有明显分割线索的模态的参数，从而在主导模态上表现优异，但无法适应较弱的组合，从而影响整体性能。因此，在模态缺失或非主导模态组合下，通用策略受到限制，需要更具有针对性的、结构自适应的机制来提高多模态设置中的一致性和鲁棒性（Zhang等人，2025年）。

为了解决这一挑战，我们提出了一个基于适配器的缺失模态（AdaMM）网络，包括图引导的自适应细化模块（GARM）、双瓶颈蒸馏模块（BBDM）和病变存在引导的可靠性模块（LGRM）。在GARM中，基于适配器库的轻量级3D残差模块捕获特定于组合的特征，而图卷积网络取代了传统的卷积，以解决其在建模不规则和长距离依赖性方面的弱点，从而在模态完成路径中模拟结构化的语义一致性，这是现有缺失模态分割方法中尚未系统探讨的目标。在BBDM中，全局风格匹配模块（GSME）和教师-学生鉴别器结合对抗性特征对齐和均值平方误差损失，实现了教师模型和学生模型之间瓶颈特征的精确匹配和融合，保留了缺失模态和完整模态路径之间的结构信息和纹理细节，显著提高了模态缺失情况下的鲁棒性和准确性。在LGRM中，轻量级的辅助分类分支预测病变类型的存在概率，为分割和蒸馏提供先验，并在缺失模态条件下有效抑制空洞区域的假阳性，同时首次引入了一个显式的病变存在鉴别分支，通过定制的损失公式将病变存在先验注入主分割任务中。

在初步研究中，我们发现Zhou等人（2024年）系统地将现有的缺失模态学习方法分为基于插补和无插补两类。基于插补的方法通过生成数据、创建特征或检索样本来补偿缺失的模态。数据生成方法使用生成对抗网络（GANs）（Goodfellow等人，2020年）或变分自编码器（VAEs）（Kingma和Welling，2013年）在现有模态条件下合成缺失图像；然而，合成输出往往缺乏临床真实性和解剖学准确性。特征生成方法通过聚合机制预测缺失模态的特征，但严重依赖于现有模态，无法恢复缺失模态的关键诊断线索。样本检索策略选择相似的完整模态案例来补充缺失信息，但受到数据库质量的限制，并涉及高计算成本。无插补方法避免数据合成，而是通过多任务学习、知识蒸馏或面向鲁棒性的策略来提高性能。多任务学习引入辅助任务以促进鲁棒的共享表示，但需要仔细的权重平衡；知识蒸馏通过教师-学生架构传输知识，提高准确性，但存在丢失深层语义信息的风险，并涉及复杂的设计；鲁棒性增强利用数据增强或对抗性训练来提高对模态缺失的容忍度，但其效果取决于精细的策略和参数选择。

这些见解促使我们进行了全面的比较研究，分析了缺失模态场景下的脑肿瘤分割。准确划分关键肿瘤区域对于指导术前计划和放疗剂量设计至关重要，因此在临床上缺失模态的情况下需要高性能。在Pretreat-MetsToBrain-Masks（Ramakrishnan等人，2024年）和BraTS 2018（Menze等人，2014年；de Verdier等人，2024年）数据集上的实验表明，知识蒸馏方法表现出优异的性能。通过从完整模态模型传输知识，蒸馏有效地保留了关键特征，并在模态丢失的情况下保持了高的分割精度。基于插补的方法可以合成缺失的模态，但生成图像的临床相关性仍然具有挑战性。相比之下，鲁棒性增强和多任务学习提高了适应性，但在复杂的缺失模态场景中仍面临限制。这些发现证明了知识蒸馏的优势，并为未来研究提供了新的视角。

本文的主要贡献如下：
1. 我们设计了BBDM，结合了全局风格匹配和对抗性对齐，实现了教师模型和学生模型瓶颈特征的精确匹配，显著提高了模态缺失情况下的分割鲁棒性和准确性。这种设计确保了即使在关键模态缺失的情况下，也能忠实保留全局结构模式和细粒度纹理线索。
2. 我们提出了GARM，它通过图结构明确模拟了通用特征和模态特定特征之间的语义关联，实现了跨模态组合的自适应增强和精细融合。通过利用基于图的讯息传递，该模块能够自适应地强调信息丰富的模态并补偿较弱的模态，产生更加平衡和鲁棒的表示。
3. 我们引入了LGRM，它通过预测病变存在的先验概率来指导分割，有效减少了缺失模态下的错误分割，并提高了跨模态的一致性和可靠性。病变感知的先验在推理过程中起到软约束的作用，引导网络朝着解剖学上合理的预测方向发展，提高了分割的可靠性。
4. 我们对六种缺失模态脑肿瘤分割方法进行了全面评估，涵盖了15个代表性模型和15种模态组合。这项大规模研究支持了知识蒸馏在维持多样化和具有挑战性场景下的分割精度方面的一致性优势，同时为算法选择和未来方法发展提供了有价值的参考。

**方法片段**
**基于插补的方法**
在多模态分割任务中，基于插补的方法明确地补充缺失的特征或数据，以恢复完整的多模态语义。通过这种方式，模型可以在模态缺失时保持甚至显著提高其性能，并可以通过生成模型（如GANs（Goodfellow等人，2020年）或VAEs（Kingma和Welling，2013年）将新的、更真实的样本引入数据集；某些特征生成策略既适用于同质模态也适用于...

**我们的方法**
我们提出了一个基于知识蒸馏的多模态3D UNet分割框架。教师分支使用完整的多模态输入进行高质量分割，而学生分支则结合轻量级的适配器模块在模态缺失时学习补偿策略，并使用GARM模块来增强特征表示。两个分支共享LGRM模块，该模块利用病变存在概率来抑制假阳性，并应用 voxel级别的BraTS 2024（de Verdier等人，2024年）数据集包含来自1350名患者的多模态MRI扫描，每个案例包括T1、T2、FLAIR和T1Gd。所有图像均已重采样到1 mm3的各向同性分辨率，注册到标准解剖模板，并进行了颅骨剥离等相关预处理。经验丰富的放射科医生手动注释了每个案例；分割目标包括三个区域：整个肿瘤（WT）、肿瘤核心（TC）和ET。我们将数据集分为80% / 20%的训练集和测试集...

**结论**
本文提出了AdaMM，这是一种为缺失模态场景设计的多模态脑肿瘤分割框架，解决了临床设置中不完整MRI输入导致的鲁棒性和泛化挑战。AdaMM以知识蒸馏为中心，集成了三个互补模块：GARM明确模拟了通用特征和模态特定特征之间的语义关联，以提高适应性；BBDM实现了教师模型和学生模型之间精确的瓶颈特征传输...

**作者贡献声明**
朱圣浩：撰写——原始草稿、可视化、方法论。
陈一飞：撰写——原始草稿、方法论、概念化、撰写——审稿与编辑。
陈伟红：可视化、验证。
蒋铄：可视化、验证。
周冠宇：可视化、验证。
王远汉：可视化、验证。
秦飞伟：撰写——审稿与编辑、监督。
王长苗：撰写——审稿与编辑。
田启元：撰写——审稿与编辑、项目管理。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报道的工作。

**致谢**
本工作得到了中国国家自然科学基金（编号82302166）、清华大学启动基金、浙江省属高校基本科研业务费（编号GK259909299001-006）、安徽省智能教育设备和技术联合重点实验室（编号IEET202401）以及广东省基础与应用基础研究基金（编号2025A1515011617）的支持。