一种用于3D MRI医学图像分割的选择性记忆网络

《Biomedical Signal Processing and Control》：A selective memory network for medical image segmentation in 3D MRI

三维医学图像分割中器官形态复杂和病灶边界模糊问题导致现有模型性能不足。本文提出基于选择性记忆的编码器-解码器架构模型，通过轴向门控模块提取关键空间信息，视觉长短期记忆模块建模三维长程依赖，选择性记忆模块动态优化特征存储，结合多尺度聚合模块提升分割精度。实验表明，模型在ACDC、Hippocampus和BraTS2021数据集上相比现有方法更有效保持目标结构形态并精确界定边界。

　　

赵立全|包西平|徐聪|贾彦飞

教育部现代电力系统仿真与控制及可再生能源技术重点实验室，东北电力大学，吉林132012

摘要

在复杂的临床场景中，三维医学图像分割常常受到器官形状多样和病变边界模糊等因素的影响。这些问题导致现有模型在保持结构和定义边界方面的性能不佳。为了提高分割质量，本文提出了一种基于编码器-解码器架构的三维医学图像分割模型。在编码器中，首先设计了一个轴向门控模块，用于提取沿空间轴的关键边缘和结构信息。接着引入了视觉长短期记忆模块，以模拟三维空间中的序列特征依赖性并捕捉整体器官形状。随后，设计了一个选择性记忆模块，用于动态过滤和存储代表性全局特征，检索相关记忆项以改进复杂病例的表示。在解码器中，设计了一个多尺度聚合模块，有效融合多尺度特征，从而进一步提高复杂解剖结构的分割性能。将该模型与四种代表性的医学图像分割模型在ACDC、Hippocampus和BraTS2021数据集上进行了比较。仿真结果表明，与其他方法相比，所提出的模型更有效地保留了目标结构的整体形态，并实现了更精确的边界划分。

引言

医学图像分割对于精准医疗以及智能诊断和治疗系统至关重要[1]。近年来，深度学习在医学图像分析领域取得了快速进展，在肿瘤检测、器官功能评估和定量分析等临床应用中显示出显著优势[2]。分割结果的准确性直接影响后续步骤（如计算机辅助诊断、治疗计划和手术导航）的有效性。因此，高精度的自动化分割方法在临床实践中具有很高的价值。然而，3D医学图像通常具有高维数据和复杂的解剖结构，病变边界模糊或不规则。现有方法在捕捉长距离空间依赖性和建模复杂拓扑特征方面仍面临挑战[3]。提高3D分割精度可以增强病变定位和器官量化能力，支持个性化诊断和治疗策略，并辅助临床决策[4]。因此，研究高质量的3D医学图像分割方法在理论上有重要意义，并在临床应用中具有广阔前景。

随着深度学习技术的发展，各种计算机视觉任务都取得了进展，包括图像分割[5]、对象检测[6]和图像增强[7]。深度学习已成为医学图像分析的主要方法。基于深度学习的三维医学图像分割模型大致可分为三类：基于卷积神经网络（CNN）的方法、基于Transformer的方法以及结合多种技术优势的混合架构。传统的CNN架构在建模局部特征和检测空间相关性方面具有明显优势，但由于其局部感受野的固有限制，在处理长距离依赖性时表现较差。基于Transformer的模型可以明确捕捉全局上下文关系，但其训练过程对数据质量和数量非常敏感，当临床数据有限时容易导致过拟合。混合架构通常结合了CNN的局部敏感性和Transformer的全局建模能力，这种组合通常会产生更稳健的特征表示和更好的泛化能力。然而，大多数混合架构模型在处理复杂病例时难以调用相关的先验知识，从而影响3D医学图像的分割质量。

为了解决这些问题，我们提出了一种基于编码器-解码器框架并带有选择性记忆机制的3D医学图像分割模型。该模型采用分层特征处理流程，通过分层变换逐步细化特征表示。在编码阶段，模型通过连续的下采样构建多尺度特征表示，逐渐将低级纹理转换为高级语义结构。在深度特征处理阶段，设计了一个轴向门控模块，以增强沿空间轴的关键响应区域。接下来，视觉长短期记忆模块模拟三维空间域中的长距离依赖性，提高模型整体捕捉复杂形态结构的能力。此外，设计了一个选择性记忆模块，用于动态存储和检索关键解剖特征，提高模型对复杂病例或罕见表型的适应性。在解码阶段，模型采用具有跳跃连接的对称上采样路径，将高级语义信息与低级空间细节相结合，实现准确的结构重建。最后，多尺度聚合模块结合不同尺度的特征，生成具有更好结构连贯性和边界精度的分割结果。

本工作的主要贡献如下：

• •
  我们设计了一个轴向门控模块，以增强3D医学图像中的特征。该模块捕捉沿三个轴的空间连续结构，提高器官轮廓和边界细节的分割精度。
• •
  我们设计了一个选择性记忆模块，用于动态存储和检索跨样本的特征。采用年龄-分数联合剪枝策略优化记忆条目，实现跨样本知识传递和特征增强，从而在复杂的3D医学图像中获得更好的分割效果。
• •
  我们设计了一个多尺度聚合模块，有效融合多级解码器特征。该模块增强沿空间轴的结构完整性，提高边界一致性，从而提高3D医学图像分割的整体质量。

相关工作

相关工作

随着深度学习的快速发展，三维（3D）医学图像分割在精准医疗中的重要性日益增加[8]。然而，3D医学成像由于体素体积大、解剖结构复杂以及器官形态变化多样而面临独特挑战。传统的分割方法往往难以在全局上下文理解和局部边界精度之间取得平衡，导致分割结果不一致或关键信息丢失

方法

为了实现高精度的3D医学图像分割，我们提出了一种基于选择性记忆的3D分割模型。所提出的网络架构如图1所示，其中数字表示特征图的通道维度。首先，网络使用编码器从输入的3D医学图像中提取初始特征。然后对这些特征图进行多次下采样，降低其空间分辨率并提供语义表示

数据集和评估指标

为了评估所提出方法的有效性，本研究使用三种不同类型的数据集进行评估。这些数据集包括ACDC心脏电影MRI分割数据集[26]、MSD海马体数据集[27]和BraTS2021脑肿瘤分割数据集[28]。ACDC用于验证薄壁结构边界分割，海马体用于验证复杂小目标分割，BraTS 2021用于验证多模态和病理分割。

结论

我们提出了一种基于选择性记忆的3D医学图像分割模型。该模型采用分层编码器-解码器架构，通过逐步特征变换实现高精度分割。我们通过在ACDC心脏MRI数据集和BraTS2021多模态脑肿瘤数据集上的实验验证了该方法的有效性。我们从准确性和边界一致性方面定量评估了每个模型的分割结果。

CRediT作者贡献声明

赵立全：撰写 – 审稿与编辑、监督、软件开发、资源管理、项目规划、概念构思。包西平：撰写 – 审稿与编辑、初稿撰写、可视化、验证、监督、软件开发、项目规划、方法论研究、数据分析、概念构思。徐聪：撰写 – 审稿与编辑、监督、概念构思。贾彦飞：撰写 – 审稿与编辑、项目规划、概念构思。

利益冲突声明

作者声明没有已知的财务利益或个人关系可能影响本文报告的工作。