一种用于皮肤病变分割的显著性到边缘网络

《Displays》：A saliency-to-edge network for skin lesion segmentation

　　

彭宇环|朱文清|张香芬|孟春莉|袁飞牛

上海师范大学人文学院，中国上海200234

摘要

视觉皮肤病变分割有助于皮肤科医生快速检测恶性皮肤肿瘤。现有方法通常侧重于聚合多层显著性特征以减少空间细节的丢失，有些方法结合边界信息来增强特征。然而，很少有方法探索显著性特征与边缘特征之间的潜在关联。受到实际标记皮肤病变过程的启发，以及边缘图在分割任务上的潜在能力，我们提出了一种新的显著性到边缘网络（S2E-Net）用于皮肤病变分割。为了同时捕捉多层显著性和边缘特征，我们设计了一个双流解码架构，包括显著性增强解码器（SED）和边缘引导解码器（EGD）。SED生成多尺度显著性图和相应的边缘图。显著性图被反馈到SED中以逐步细化特征图，而边缘图被发送到EGD中，以指导S2E-Net同时关注物体及其边界。为了最大化特征聚合，我们设计了一个组渐进聚合模块（GPAB），它有三个输入：来自编码器的低层特征图、来自高级GPAB的特征图以及SED解码器的低层显著性图。此外，我们还设计了一个边缘校正模块（ERB），它也接受三个输入，即来自解码器的低层特征图、SED解码器的低层边缘图和EGD解码器的高层预测。GPAB和ERB共同增强了显著性特征与边缘特征之间的关联。在皮肤病变分割数据集上的实验表明，我们的方法优于现有的最先进方法。

引言

皮肤癌是皮肤病学中一种常见的恶性肿瘤，具有高发病率和死亡率[1]。皮肤癌包括多种类型，其中黑色素瘤最具侵袭性。早期发现可以显著改善治疗效果。皮肤镜检查是一种非侵入性成像方法，能够早期诊断色素性或增生性皮肤病变，对于黑色素瘤的特异性可达到98%——高于临床检查[2]。然而，对于医学专家来说，手动标记和审查大量皮肤镜图像中的恶性皮肤病变仍然是一项费力且耗时的任务。皮肤病变分割对于分析皮肤镜图像和定位关键区域至关重要。它有助于可视化病变的形状和大小，从而帮助早期和及时发现和治疗皮肤癌。高精度病变分割仍然面临三个主要挑战。首先，区分病变区域和边界很困难，因为病变可能表现为边界模糊的浅表结节，与周围组织融合在一起（图1 a-c）。其次，皮肤病变在形状、空间位置、规模和颜色上存在很大变异（图1 d-f）。第三，图像质量经常受到气泡和体毛等遮挡物的影响而受损（图1 g-i）。

早期的皮肤病变分割主要集中在颜色空间分析和阈值方法[3]、[4]上，以提取边缘和颜色信息。传统方法严重依赖于手工制作的特征，这些特征无法充分捕捉皮肤病变的独特表现。深度学习已广泛应用于医学图像分割，全卷积网络（FCNs）如U-Net取得了显著成果[5]、[6]、[7]。许多基于FCN的皮肤病变分割方法表现良好[8]、[9]，但它们经常受到卷积固有的局部性偏置的影响。扩张卷积[10]、[11]提供了一种有效的方法来扩大感受野。Liu等人[12]将扩张空间映射模块与通道注意力结合起来，以模拟皮肤镜图像中的空间相关性和通道间的依赖性。最近，变压器[13]、[14]为视觉任务带来了强大的全局上下文建模能力。TransUnet[15]作为CNN和变压器的混合体，在多器官分割上表现得更好。然而，由于数据量有限（COCO 2017挑战赛中的118,000张图像相比仅有几千张），将变压器应用于皮肤病变分割通常需要复杂的设计，这限制了有效的时间编码并影响了准确性。

尽管取得了显著进展，大多数皮肤病变分割方法主要关注学习目标类别的显著性特征，而忽略了对象与背景之间的显式关联。图1显示，皮肤病变和周围组织可能具有相似的外观。在网络的深层，这种视觉相似性可能导致对病变及其周围皮肤的响应同样强烈，使得病变的语义理解变得模糊。因此，显著性预测可能会不准确，尤其是在边界附近。另一个问题是，重复的下采样和池化操作会减弱对象响应并模糊空间细节，使得难以完全恢复清晰的边缘并准确定位病变，尤其是在边界和小型物体处。为了解决这些问题，现有的代表性边缘感知方法通常通过辅助边缘监督来建模边界信息，并利用它来增强层次化区域特征，如图2所示。尽管这些策略在一定程度上提高了边界质量，但它们仍有局限性。特别是，主要从浅层特征（图2(a) (d)）派生边缘线索可能会将噪声低级细节引入最终预测。此外，边缘特征与显著性特征之间的相互作用仍然不足（图2(b) (c)），导致显著性特征的利用不够充分。开发一种加强边缘特征与显著性特征之间关联和相互作用的方法是可取的，以便更好地建模对象-背景相关性。

在这项工作中，我们提出了一种用于皮肤病变分割的显著性到边缘网络（S2E-Net）。该网络设计主要受到皮肤科医生实际标记皮肤病变过程的启发，即粗略定位病变区域并仔细勾勒轮廓。具体来说，我们提出了一个双流解码架构，包括一个显著性增强解码器和一个边缘引导解码器，分别用于学习显著性和边缘特征。显著性增强解码器生成多尺度显著性掩膜预测和边缘图，以提供皮肤病变的粗略位置和边缘信息。边缘引导解码器通过使用反向注意力和边缘线索来促进编码器与解码器之间的残差学习。具体而言，每个解码阶段都有一个边缘校正模块，指导网络关注缺失区域进行残差校正。考虑到病变大小和形状的变异性，获取多尺度信息是必不可少的[16]。为了改善编码器与显著性增强解码器之间的残差学习，我们提出了一种基于注意力机制和组聚合的组渐进聚合模块（GPAB），它逐步整合高级和低级特征，并利用掩码预测促进特征融合。为了应对训练数据有限的挑战，我们采用了预训练的编码器以实现更可靠的特征提取。我们的主要贡献可以总结如下：

(1)

我们提出了一种双流解码架构，用于提取显著性和边缘特征，以实现具有清晰边界的分割。设计的显著性增强解码器（SED）生成显著性图和相应的边缘图，而边缘引导解码器（EGD）指导网络同时关注显著对象及其边界。通过它们的相互作用，SED和EGD促进了不同层次之间的充分特征交流，并增强了显著对象与边缘之间的关联。

(2)

我们设计了两个三输入模块来增强特征聚合和边缘校正。第一个是组渐进聚合模块（GPAB），它整合了来自编码器的低层特征图、来自前一个GPAB的高层特征图以及来自SED的低层显著性图，旨在最大化特征聚合和表示。第二个是边缘校正模块（ERB），它接受低层编码特征图、来自SED的低层边缘图以及来自EGD的高层预测，以强调边界区域。GPAB和ERB共享编码器输入，但利用不同的解码器侧输入来加强显著性-边缘关联。

(3)

我们提出了一种新的显著性到边缘网络（S2E-Net）。实验结果表明，我们的S2E-Net在多个不同的皮肤病变数据集（ISIC 2016、ISIC 2017、ISIC 2018和PH2）上取得了最先进的结果，并且优于所有比较模型。

章节片段

多尺度上下文聚合网络

U-Net[6]架构通过跳过连接很好地适应了医学分割，减少了详细特征的稀释，这些连接在各种像素级预测任务中表现出色[17]、[18]、[19]。基于这一想法，许多研究试图通过改进多尺度上下文聚合和跨层次特征交互来增强分割能力。例如，引入了各向异性非局部注意力来捕捉上下文和空间信息

整体架构

所提出的网络由四个部分组成：特征提取编码器、显著性增强解码器（SED）、组渐进聚合模块（GPAB）和包含边缘校正模块（ERBs）的边缘引导解码器（EGD）。我们采用在ImageNet上预训练的ResNet50[54]作为特征提取器。它包含五个编码器块{E_i，i = 1, 2, …, 5}，这些块生成的特征图大小逐渐减小，通道数逐渐增加。具体来说，对于一个

数据集

我们使用了四个皮肤病学数据集来评估我们的方法：

1)

ISIC 2016数据集[59]。它包含1279张皮肤镜图像，其中900张用于训练，379张用于测试。

2)

ISIC 2017数据集[60]。它包含2750张皮肤镜图像。该数据集分为三组：2000张用于训练，150张用于验证，600张用于测试。

3)

ISIC 2018数据集[61]。它提供了2594张多样化的图像。我们随机分配了1815张

结论

在本文中，我们提出了S2E-Net，该网络包括一个编码器、一个带有SED和EGD的双流解码器，以及插入到跳过连接中的GPAB模块。该网络解决了皮肤病变分割中的关键挑战，如边界模糊和病变外观差异。通过预训练编码器提取的丰富特征，双流解码器研究了多种显著性和边缘线索，增强了S2E-Net的全面特征表示能力。通过特征

未引用参考文献

[29]。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作结果的财务利益或个人关系。

致谢

本工作得到了国家自然科学基金（62272308）的支持。