综述：基于Transformer的MRI脑肿瘤分割架构：综述

《Computerized Medical Imaging and Graphics》：Transformer-based architectures in MRI brain tumor segmentation: A review

Transformer模型在胶质瘤MRI自动分割中的应用及优化策略研究。通过分析Swin Transformer等架构变体、自注意力机制设计及CNN-ViT混合模型的优势，总结当前模型在数据集性能评估中的表现差异，并探讨临床应用中的局限性及未来方向。

　　

作者：程程·金（Chengcheng Jin）、诺尔·萨菲拉·埃莱娜·莫赫德·努尔（Nor Safira Elaina Mohd Noor）、西姆·富·吴（Theam Foo Ng）、莫赫德·沙赫里米·莫赫德·阿萨里（Mohd Shahrimie Mohd Asaari）、海迪·易卜拉欣（Haidi Ibrahim）

马来西亚科学大学电气与电子工程学院，工程校区，尼邦泰巴尔（Nibong Tebal），14300，槟城，马来西亚

摘要

最近，变压器在深度学习领域得到了广泛应用。作为计算机视觉领域的重要应用之一，视觉变压器（Vision Transformer，简称ViT）在自动胶质瘤MRI图像分割方面展现出巨大潜力。由于变压器具有较大的高效感知区域，它能够同时关注肿瘤及其周围组织和器官。因此，基于Transformer架构开发了许多用于医学图像分割的变体模型。有效的模型架构能够显著提升分割性能，而Swin Transformer就是一种典型的结构优化方案。另一方面，由于Transformer和U-Net在医学图像分割中都有重要应用，并且可以无缝集成，因此它们的结合已成为主流的设计策略。此外，有效的自注意力机制具有强大的特征捕捉能力，补丁的大小和位置也会显著影响ViT的效果。本文从模型架构设计、高效自注意力机制和补丁获取策略三个方面分析了Transformer变体算法的应用。

引言

胶质瘤是由胶质细胞不受控制地增殖引起的，约占所有脑肿瘤的28%和恶性脑肿瘤的80%（Wacker等人，2020年）。世界卫生组织（WHO）根据生长速度和侵袭性将胶质瘤分为两类：低级别胶质瘤（LGG）和高级别胶质瘤（HGG）（Louis等人，2007年）。其中，HGG指的是III-IV级，具有高度恶性且预后较差；而LGG指的是I-II级，通常生长较慢，预后较好。胶质母细胞瘤（GBM）是最常见且最致命的高级别胶质瘤之一，据报道其生存率为6.8%（Pellerino等人，2022年）。最大限度地安全切除肿瘤（EOR）仍然是改善胶质瘤患者生存结果的最有效临床干预措施（De Feo等人，2024年）。神经影像学提供了覆盖整个肿瘤体积的表型数据（Mitra，2023年），为手术计划提供了客观参考（De Feo等人，2024年）。

磁共振成像（MRI）是诊断脑肿瘤最有效的方法（Ranjbarzadeh等人，2023年），能够精确描绘解剖结构并区分不同的软组织（Rajeena和Sivakumar，2023年）。常用的MRI序列包括T1加权（T1）、T2加权（T2）、含钆对比剂的T1加权（T1Gd或T1ce）以及流体衰减反转恢复（FLAIR）（Drevelegas和Papanikolaou，2011年）。胶质瘤MRI图像主要显示四个关键区域：肿瘤核心（TC）、增强肿瘤（ET）、整个肿瘤（WT）和正常组织（Bakas等人，2019年）。脑肿瘤分割的主要目标是亚区域语义分割，即将正常脑组织（白质、灰质、脑脊液）与异常组织（活动性肿瘤、水肿、坏死肿瘤）区分开来（Mohammed等人，2023年）。

从MRI图像中分割胶质瘤是一个复杂但至关重要的过程，直接影响治疗计划和预后评估。胶质瘤具有多样的形态特征，在不同患者中的表现也各不相同，加之其靠近关键脑结构，给传统影像分析带来了巨大挑战。浸润性肿瘤超出可见边界后，更使得精确分割变得困难，需要强大而精确的分割技术。最近的模型越来越多地适应这些肿瘤特异性特征，提供了具有临床意义的见解。

手动分割MRI扫描耗时且不适用于大规模临床实践（Baid等人，2021年）。因此，许多研究人员采用基于深度学习（DL）的计算机辅助诊断（CAD）系统进行自动胶质瘤分割。这些系统在提高肿瘤诊断准确性、早期检测、分类以及预测复发和患者生存方面取得了显著进展（Ranjbarzadeh等人，2023年）。早期的方法主要依赖于卷积神经网络（CNN），虽然效率很高，但在捕捉图像中的长距离空间关系方面存在局限性。

Transformer是一类突出的DL模型，具有广阔的有效感知区域，能够实现整个图像的全局上下文学习（Vaswani等人，2017年；Li等人，2023年）。虽然CNN在局部空间层次结构方面表现出色，但它们往往无法捕捉到区分肿瘤与周围健康组织所需的更广泛上下文信息。Transformer利用多头注意力（MHA）和位置依赖的前馈网络，以自注意力为核心机制，从而实现强大的特征表示和长距离依赖性建模。视觉变压器（ViT）在自动胶质瘤MRI分割方面尤其具有前景。本综述探讨了自注意力机制、MHA和ViT流程，以及相关的网络变体，包括Swin Transformer和混合CNN-ViT架构。

本文的主要贡献如下：

• (1)
  对基于Transformer模型的胶质瘤MRI分割进行了全面回顾。
• (2)
  总结了来自公共数据集的当前脑肿瘤分割结果（例如，表3）
• (3)
  总结了基于Transformer的脑肿瘤分割的主流研究方向，并对各种模型架构进行了分类和分析。
• (4)
  最后，列出了基于Transformer的方法在临床应用中的局限性（例如，表4、表5），并提出了未来的研究方向。

本综述表明，通过使用Swin Transformer、高效的自注意力机制和补丁获取策略对模型架构进行修改可以提高模型的分割性能。这目前是Transformer在胶质瘤MRI分割领域的主要进化方向。本文的独特之处在于它与以往基于Transformer的医学图像分割研究不同（Li等人，2023年；Bahdanau等人，2014年）。Swin Transformer架构在胶质瘤MRI分割中的日益广泛应用凸显了一个重要的研究空白。尽管之前的研究已经强调了各种DL方法的潜力，但像Swin Transformer这样的专用Transformer模型所带来的改进往往没有得到充分探索。鉴于胶质瘤特征的复杂性不断增加以及医学图像分割对准确性的迫切需求（见图2），这一研究空白尤为突出。

此外，许多研究结合了CNN和Transformer方法来提高胶质瘤分割的准确性，特别是在边缘和细节方面。CNN由于其卷积层而擅长提取详细的局部特征，而Transformer层则通过自注意力机制来建模全局上下文关系。这种结合使模型能够识别胶质瘤图像中的复杂模式，这是单一模型难以实现的。CNN捕捉详细边缘和纹理的能力补充了Transformer理解更广泛空间关系的能力，大大提高了分割准确性。所回顾的研究根据可比较的分类标准进行了组织，其概览见图1。

本文的结构如下：第2节描述了综述方法和关键发现。第3节解释了基于Transformer的DL方法细节，分析了自注意力机制和ViT的原理。第4节详细介绍了相关的网络算法变体。第5节基于基于Transformer的方法进行了讨论。第6节指出了这些分割方法当前面临的挑战。第7节阐述了未来趋势。第8节对本文进行了总结。

部分摘录

综述方法

对2021年至2025年的研究论文进行了调查，以研究基于Transformer的方法在胶质瘤MRI分割中的应用。此次文献搜索使用了多种搜索引擎，包括Web of Science、Google Scholar、IEEE Xplore、PubMed、arXiv和Scopus，关键词包括：transformer、vision transformer、glioma、MRI、brain tumor segmentation。作者独立审查了标题和摘要，以确定每篇论文是否符合既定的纳入标准。

Transformer中的自注意力

本节描述了Transformer中自注意力和多头注意力的基本原理。

Transformer的变体

Transformer的独特优势促使人们创建了相关的变体模型，以提高医学图像的分割性能（Yun等人，2021年；Zhang等人，2021b年；Zhu等人，2023年）。这些变体算法的核心在于模型架构设计和高效自注意力（SA）模块的开发。前者显著提升了分割性能，其中Swin Transformer代表了一种显著的结构优化。

讨论

在本节中，我们分析了广泛采用的胶质瘤MRI分割数据集（见表2）。此外，我们还在表3中研究了不同模型架构的性能差异，揭示了它们的优势和局限性。

当前挑战

尽管用于胶质瘤的MRI分割算法在性能上取得了显著提升，但仍存在一些固有问题，这些问题的存在阻碍了它们在临床实践中的广泛应用。

未来趋势

因此，未来算法开发的方向应聚焦于三个方面：

结论

本综述总结了基于Transformer的胶质瘤MRI分割架构的快速演变。尽管已经取得了显著进展，但在数据集多样性、计算效率、可解释性和多模态集成等方面仍有很大的优化空间。未来的研究应致力于改进这些Transformer模型，弥合创新技术和实际临床应用之间的差距。

CRediT作者贡献声明

程程·金：撰写——原始草稿、可视化、方法论、调查、概念化。 诺尔·萨菲拉·埃莱娜·莫赫德·努尔：撰写——审稿与编辑、监督、方法论。 西姆·富·吴：撰写——审稿与编辑。 莫赫德·沙赫里米·莫赫德·阿萨里：撰写——审稿与编辑。 海迪·易卜拉欣：撰写——审稿与编辑、监督、方法论。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

无。