一种基于跨模态特征融合的轻量级脑肿瘤分割网络

《Engineering Applications of Artificial Intelligence》：A lightweight brain tumor segmentation network based on cross-modality feature fusion

针对多模态MRI脑肿瘤分割任务，提出四分支编码器结合临床注意力机制和轻量级跨模态特征融合模块的3D网络。通过各模态专用注意力机制提取区分性特征，采用CMFF模块实现高效多模态融合，减少卷积层数量以防止过拟合。实验表明在BraTS2021数据集上，模型参数仅366万，却取得全肿瘤Dice93.12%、核心区89.50%、增强区85.92%的优异性能，较现有方法显著提升效率。

　　

范亚文|黄晨子|王翔|王超远|周全|陈建新

中国南京邮电大学通信与网络国家工程研究中心，南京 210003

摘要

在临床诊断和治疗中，使用多模态磁共振成像（MRI）对脑肿瘤进行分割至关重要。由于不同模态对肿瘤区域的敏感度不同，有效利用来自不同模态的信息具有挑战性。为了解决这个问题，我们提出了一种四分支编码器结构，为每种模态引入了不同的注意力机制，从而能够学习到具有区分性的特征。此外，我们引入了一种新颖的轻量级跨模态特征融合（CMFF）模块来增强特征表示。同时，我们减少了卷积层的数量以防止过拟合。在Brain Tumor Segmentation (BraTS) 2021挑战赛上的实验结果表明，我们的框架在参数数量显著减少的情况下实现了更优越的分割性能。具体来说，我们的方法仅使用了3.66 M个参数，就获得了整个肿瘤93.12%的平均Dice分数、肿瘤核心89.50%的分数以及增强肿瘤85.92%的分数。这些结果突显了该模型与现有基线和最先进方法相比的强大性能和效率。

引言

脑肿瘤是一种由大脑细胞癌变引起的危及生命的疾病。因此，准确的脑肿瘤分割（BTS）对于改善脑肿瘤的诊断和预后评估至关重要。这一过程涉及使用医学成像技术识别和分割肿瘤区域（Biratu等人，2021年；Litjens等人，2017年；Liu等人，2023年；Ranjbarzadeh等人，2023年；Zhu等人，2023年）。如今，磁共振成像（MRI）（Di Ieva等人，2021年；Mohammed等人，2023年）已成为常规检查方法，因为它具有高分辨率、强烈的软组织对比度和非侵入性。MRI通常包括四种模态：T1、T1C、T2和T2Flair，如图1所示。T1图像有助于观察解剖结构，尽管它可能无法清晰显示病变；T1C需要在MRI前将对比剂注入血液中，使活跃的血流区域在成像中更加明显，这对于增强肿瘤检测非常重要；T2序列可以显示病变，从而判断整个肿瘤的情况，而T2Flair是一种流体衰减反转恢复（FLAIR）序列，由于含有更多的水分而更亮，可用于识别肿瘤周围水肿区域。在评估脑癌时，放射科医生通常会结合所有四种模态的数据，其中T1C序列通常能为脑肿瘤核心提供更高的诊断效果。这些临床见解可以大大帮助脑肿瘤的分割。

与常见的图像语义分割相比，基于MRI的肿瘤分割任务面临三个主要挑战。首先，医学图像数据集的规模往往有限，这对有效训练深度神经网络构成了挑战。其次，MRI不仅是多模态的，还是三维的体积数据，需要考虑不同模态之间的关联以及三维空间信息。最后，由于脑肿瘤的形状和大小各异，准确定位和分割它们是一项复杂且困难的任务。

近年来，许多深度神经网络被应用于脑肿瘤分割，并取得了显著的成功（Jyothi和Singh，2023年；Rehman等人，2023年；Allah等人，2023年；Chukwujindu等人，2024年；Bougourzi和Hadid，2025年）。特别是全卷积神经网络（FCN）（Zhao等人，2018年）因其能够实现像素级语义分割而受到广泛关注（Long等人，2015年）。基于FCN，Ronneberger等人（2015年）提出了U-Net，它特别适合数据要求较低的医学图像分割任务，并已成为脑肿瘤分割领域的主流算法（Zhu等人，2023年）。然而，这些2D模型没有利用三维空间信息。因此，三维全卷积神经网络，如3D UNet（Ahmad等人，2021年）和nnU-Net（Isensee等人，2021年），由于能够从三维MRI中自动学习高维特征表示而在体积脑肿瘤分割中获得了普及（Dolz等人，2017年）。此外，基于视觉变换器（ViT）架构的方法也应用于脑肿瘤分割，包括TransUnet（Chen等人，2021年；Zhu等人，2024a）；TransBTS（Wenxuan等人，2021年）；Transsea（Liu等人，2024年）和GH-UNet（Wang等人，2025年）。然而，尽管提出了各种优化方法，它们仍然具有较高的复杂性和计算成本，以及对数据的要求。

从多模态融合的角度来看，大多数现有方法直接将不同模态连接在一起并输入模型，而没有考虑它们之间的显著差异（Ahmad等人，2021年；Isensee等人，2019年；Wenxuan等人，2021年；Fang和Wang，2022年；Ali等人，2022年）。与这些早期的融合策略不同，特征融合方法利用与模态或组相对应的多个卷积分支，然后使用不同的策略融合学习到的特征（Syazwany等人，2021年；Tseng等人，2017年；Zhao等人，2022年；Menze等人，2010年）。例如，Ding等人（2021年）提出了一种区域感知融合网络来融合可用的模态特征。Zhuang等人（2022年）设计了一个跨模态特征交互模块，在编码阶段融合多模态特征。然而，这些方法的架构复杂，且不易适应特定的模态要求，尤其是在区分多模态特征表示方面存在困难。

为了克服上述限制，本研究旨在提出一种基于跨模态特征融合的新型轻量级3D网络，用于从多模态MRI中分割脑肿瘤。采用U形结构和多分支编码器来学习特定于模态的特征，根据模态特性使用不同的注意力机制。为了有效且高效地融合多模态特征，我们设计了一个跨模态特征融合模块。总体而言，本研究的主要贡献有三个方面：

• •
  我们提出了一个轻量级的3D多模态脑肿瘤分割模型，考虑了不同模态的独特性和它们之间的相关性。我们的模型采用四分支编码器结构，允许根据临床知识结合特定于模态的注意力机制。这种设计确保了在模态缺失或不可用时仍能适应。
• •
  我们基于轻量级注意力机制设计了一种新颖的跨模态特征融合模块。具体来说，不同模态的特征在每一层进行融合，然后输入解码器。
• •
  我们在BraTS2021基准测试上进行了实验。实验结果表明，所提出的框架在保持较少参数的同时，实现了比最先进方法更优越或相当的准确性。

本文的其余部分组织如下。第2节我们回顾了与所提出方法相关的研究。第3节提供了所提出网络结构和损失函数的概述。第4节介绍了实现细节、评估指标、实验结果和可视化分析。第5节我们总结了主要贡献，讨论了其局限性，并概述了未来工作的方向。

相关工作

相关工作

在本节中，我们简要回顾了来自三个关键方面的现有方法：分割模型架构、跨模态融合方法和注意力机制。

方法

所提出的脑肿瘤分割模型如图2所示。它基于一个3D U形结构，是一个端到端的全卷积编码器-解码器网络。采用特征级融合策略来彻底探索和利用MRI序列四种模态内的信息。为了从不同模态中提取独立特征，我们采用了具有三层卷积的四分支编码器结构。

数据集

实验是在MICCAI提供的公开BraTs2021数据集上进行的，该数据集包含1251名患者。数据集被分为三组，训练集、验证集和测试集的比例为8:1:1。数据集包括大小为155×240像素的3D扫描图像，包含四种模态的MRI图像（T1、T1C、T2、T2Flair），如图1所示。肿瘤区域被分割为三个不同的子区域，分别用绿色、蓝色表示。

结论

在本文中，我们提出了一种用于从多模态MRI中分割脑肿瘤区域的新颖轻量级3D网络。为了学习特定于模态的特征，采用了受临床知识启发的多分支编码器。通过简单地在T1C模态中引入通道注意力，可以获得明显的改进。为了高效且有效地实现模态融合，我们提出了一种基于轻量级注意力的跨模态特征融合（CMFF）模块。

CRediT作者贡献声明

范亚文：撰写 – 审稿与编辑，撰写 – 原始草稿，方法论，形式分析。黄晨子：撰写 – 原始草稿。王翔：数据管理。王超远：方法论。周全：方法论。陈建新：软件，概念化。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：范亚文、黄晨子、王超远和陈建新拥有一项与本研究中提出的方法论相关的已授权专利（CN116740513B）。这一潜在的利益冲突已按照期刊政策进行了披露。其余作者声明没有利益冲突。

致谢

本研究部分得到了国家自然科学基金（62476139）的支持。

范亚文分别于2003年和2005年在南京河海大学获得学士和硕士学位，2014年在上海交通大学获得电子工程博士学位。2018年12月至2019年12月，她在美国亚利桑那州立大学担任访问学者。她目前是南京邮电大学的助理教授。她的研究兴趣包括计算机