GL-Net：一种融合全局与局部感知的多尺度皮肤病变分割网络

《Digital Signal Processing》：GL-Net: A Multiscale Skin Lesion Segmentation Network Fusing Global and Local Sensing

针对皮肤黑色素瘤分割中多尺度特征融合不足的问题，提出GL-Net模型。该模型通过Cross-Scale Residual Bridge（CSRB）模块利用解码器生成的阶段式掩码引导特征融合，减少语义偏差；结合Global-Local Co-awareness（GLM）模块，整合CNN局部细节与Mamba全局语义，通过通道混洗实现高效信息交换。实验表明，GL-Net在ISIC2017、ISIC2018和PH2数据集上DSC分别达到89.86%、90.24%和93.36%，显著优于现有方法。

　　

高俊波|王春宇|孙伟|王工

上海海事大学信息工程学院，上海，201306，中国

摘要

准确分割皮肤病变区域对于皮肤黑色素瘤的早期诊断和定量分析至关重要。高精度分割依赖于病变区域的精确定位和边界的详细勾勒，这突显了整合多尺度局部和全局特征的重要性。然而，现有方法在高效整合这两种特征方面面临挑战。为了解决这个问题，我们提出了一种名为GL-Net的新分割网络。该网络在解码器中引入了局部-全局协同细化机制，将全局语义建模和局部细节增强分为两个专门的路径，并通过通道混合促进跨路径信息交换。此外，我们设计了一个模块，该模块使用解码器生成的阶段性掩码来指导特征融合，从而抑制背景噪声并增强跨尺度跳跃连接中的语义一致性。在三个公开数据集（ISIC2017、ISIC2018和PH²）上的比较实验表明，GL-Net分别取得了89.86%、90.24%和93.36%的DSC分数，显著优于现有方法，从而验证了所提设计的有效性和鲁棒性。

引言

皮肤黑色素瘤起源于黑色素细胞的恶性转化，也可能发生在黏膜和内脏器官中。根据美国癌症协会的数据，预计2025年美国将有大约105,000例新的侵袭性皮肤黑色素瘤病例和超过107,000例原位黑色素瘤病例被诊断出来，导致超过8,400人死亡[1]、[2]。早期诊断对于缓解其不良预后至关重要[3]、[4]。皮肤镜检查是一种非侵入性成像技术，可以提供皮肤病变的高分辨率可视化，帮助皮肤科医生进行黑色素瘤诊断。然而，由于专业皮肤科医生的短缺，依赖视觉检查和手动检查既耗时又容易误诊。利用深度学习技术的计算机辅助诊断（CAD）系统能够自动分割病变，从而提高诊断效率和准确性，便于早期发现并减轻临床医生的工作负担。

然而，如图1所示，皮肤病变通常具有模糊的边界、多样的形态、高类间相似性、毛发遮挡和伪影干扰，使得准确分割极具挑战性。因此，整合多尺度局部和全局特征对于准确分割至关重要，一个鲁棒的自动化分割框架在临床上对于快速和精确地诊断黑色素瘤具有很高的价值。

深度学习的最新进展显著提高了医学图像分割的性能[5]。在这一领域，卷积神经网络（CNN）已成为一种特别有效的方法。值得注意的是，U-Net架构[6]采用了带有跳跃连接的编码器-解码器框架，减少了空间信息损失，因此在医学图像分割中得到了广泛应用。然而，其跳跃连接往往会引入无关噪声。改进的变体如Attention U-Net通过注意力机制抑制了多余区域[7]，但未能有效整合多尺度特征。MSCA-Net引入了MSB模块来融合多尺度信息[8]，但它仍然存在特征冗余和语义不一致的问题，这限制了其处理皮肤病变分割复杂性的能力。

此外，由于边界模糊和病变形态多样，仅依赖局部或全局信息不足以实现精确和鲁棒的分割。最近的研究探索了使用变换器（Transformers）和状态空间模型（SSMs）来建模长距离关系。例如，TransUNet将CNN与视觉变换器（ViT）结合在一个级联框架中，便于全面提取全局上下文[9]。同样，TransFuse采用双路径设计同时学习细粒度的局部细节和整体的全局表示[10]，从而利用了两种方法的优点。然而，ViT严重依赖于大规模数据集，使其难以适应医学成像中常见的小样本和弱标注场景；其静态融合方法可能导致语义碎片化和特征冗余，限制了准确描绘边界细节的能力。基于Mamba的方法（如U-Mamba和VM-UNet）提高了长序列建模效率和全局依赖性表示，但主要关注全局信息[11]、[12]，忽略了丰富和细粒度的局部特征表达。

更值得注意的是，先前的研究表明，编码器的改进存在性能极限，跳跃连接中的语义不一致和解码器建模能力不足是影响分割准确性的关键因素[13]。因此，我们提出了GL-Net，这是一种通过优化解码器设计来改进皮肤病变分割的新网络，它通过掩码引导和全局-局部协同建模来实现这一目标。首先，我们提出了跨尺度残差桥模块（CSRB），该模块利用粗粒度预测掩码来指导跳跃连接中的语义融合，减少语义偏差并抑制背景噪声，从而增强特征一致性。为了解决皮肤病变形态变化和解码器建模能力不足的问题，我们提出了局部-全局协同意识模块（GLM）。该模块结合了CNN的细粒度细节提取能力（局部感受野建模）和基于SSM的Mamba的高效长距离依赖性建模能力[14]，并通过通道混合实现全局和局部表示之间的适应性交互。这种设计不仅提高了特征互补性和语义一致性，还增强了模型在描绘模糊病变边界和理解复杂病变结构方面的准确性。GLM嵌入到所有解码器层中，以协同建模多尺度全局和局部特征，有效补充了CSRB，提高了整体鲁棒性和分割准确性，同时保持了高效的推理。

我们的主要贡献总结如下：

•

我们重新设计了解码器，提出了一种基于GLM的解码器，它将特征建模分为基于CNN的局部空间分支和基于Mamba的全局分支，两者进一步细化互补特征，从而提高皮肤病变分割的边界准确性。

•

我们提出了CSRB模块，该模块利用解码器生成的阶段性预测掩码来指导跳跃连接中多尺度特征的融合，从而有效抑制背景噪声并增强语义一致性。

•

在ISIC2017、ISIC2018和PH²数据集上的广泛评估表明，GL-Net在分割准确性和泛化能力方面超过了现有方法。消融研究进一步证实了CSRB和GLM之间的协同作用，强调了它们在提高整体模型性能中的关键作用。

相关工作

相关工作

U-Net及其变体在医学图像分割中表现出出色的性能。在此基础上，许多研究引入了创新策略来改进其跳跃连接设计。首先，许多研究专注于跳跃连接的结构改进。Zhou等人[15]提出了UNet++，它引入了密集连接和深度监督来优化多尺度特征传输路径。随后的SK-VM++将Mamba结构集成进来

方法

为了有效整合多尺度局部和全局特征信息并优化解码器设计，我们提出了跨尺度残差桥（CSRB）和全局-局部协同意识（GLM）模块。以下部分详细描述了GL-Net的总体架构及其关键组成部分。

数据集

为了评估所提模型的性能，我们在三个公开可用的数据集上进行了实验：国际皮肤成像协作挑战数据集（ISIC2017 [32]和ISIC2018 [33]、[34]），以及小规模的皮肤镜数据集PH² [35]。具体来说，ISIC2017、ISIC2018和PH²数据集分别包含2,150、2,694和200张皮肤镜图像，每张图像都配有相应的二值掩码。由于ISIC2017和ISIC2018数据集没有提供

局限性和未来工作

尽管GL-Net的性能很有前景，但仍存在一些局限性。如表8所示，GL-Net在推理时间上的效率与代表性的最新技术分割网络相当。然而，在模型参数数量或计算复杂性方面，它并没有显示出显著的优势。表6中的消融分析显示，GL-Net的大部分参数来自ResNet34骨干网络，而不是GLM和CSRB模块

结论

为了解决皮肤病变分割中多尺度局部和全局特征建模不足的问题，并进一步优化解码器设计，我们提出了一种新的分割网络GL-Net。该网络在解码阶段引入了局部-全局协同意识模块（GLM），整合了CNN和Mamba的结构优势，并利用通道混合实现高效的特征融合。此外，所提出的跨尺度残差桥（CSRB）模块指导

作者声明

高俊波：撰写 – 审稿与编辑，撰写 – 原稿，方法论，概念化。王春宇：撰写 – 原稿，方法论，调查，数据管理，概念化。孙伟：方法论，概念化。王工：数据管理，可视化。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。