具有特征交互的多任务孪生网络，用于联合疤痕分类和严重程度评估

《Biomedical Signal Processing and Control》：Multi-task Siamese network with feature interaction for joint scar classification and severity assessment

疤痕分类与严重性评估多任务Siamese网络研究，提出MT-ScarNet通过图像对构建策略与跨注意力机制实现联合任务优化，在MT-Scar数据集上验证模型有效性，并与16位皮肤科医生临床评估结果对比。

　　

何晓宇|王颖|王勇|谢东城|袁永祥|何仁良|黄凯

中南大学芙蓉实验室，中国长沙410008

摘要

疤痕是创伤后常见的皮肤疾病。它们不仅影响患者的外貌，还会引起疼痛、瘙痒和挛缩等症状，给患者带来沉重的身体和心理负担。疤痕的分类和严重程度评估是临床实践中的两个关键任务。最近，深度学习促进了自动疤痕分类和严重程度评估方法的发展。然而，这些方法仍然面临以下两个问题：（1）高质量标注的疤痕数据缺乏，使得深度学习模型难以提取有效的病变特征；（2）大多数现有方法将疤痕分类和严重程度评估视为独立任务，忽略了它们之间的内在相关性。为了解决这些问题，本文提出了一种多任务孪生网络（MT-ScarNet）用于联合进行疤痕分类和严重程度评估。在MT-ScarNet中，首先设计了一种图像对生成策略来生成大量的有效图像对。以疤痕图像对作为输入，使用孪生网络生成图像嵌入，然后通过特征变换层将其转换为分类和严重程度特征。接下来，设计了一个具有交叉注意力机制的多任务特征交互模块，以探索两个任务之间的潜在相关性，从而提高整体多任务性能。此外，还开发了一个多任务度量学习损失模块，在疤痕分类和严重程度评估任务中进行度量学习，以增强多任务模型的判别表示能力。在MT-Scar数据集上的广泛实验证明了MT-ScarNet的有效性和优势。

引言

疤痕是一组常见的皮肤疾病，通常在创伤后出现。烧伤和手术是导致疤痕的两个主要原因[1]，[2]。疤痕不仅影响患者的外貌，还常常伴有疼痛、瘙痒和挛缩等症状，给患者带来沉重的身体和心理负担[3]。由于长期溃疡和感染，一些疤痕可能发展成疤痕癌，从而威胁人类生命[4]，[5]。

疤痕分类和严重程度评估是临床实践中的两个关键任务。根据解剖学，疤痕可以分为萎缩性疤痕、增生性疤痕、瘢痕疙瘩和疤痕癌[6]，[7]。不同类型的疤痕对应不同的治疗方法。例如，萎缩性疤痕可以在家中使用外用维甲酸进行治疗，而瘢痕疙瘩则需要使用硅胶片软化[8]。此外，增生性疤痕和瘢痕疙瘩在外观和症状上有很多相似之处。人们已经投入了大量精力来研究和治疗它们[9]，[10]，[11]。疤痕严重程度评估在指导临床治疗和评估治疗效果方面起着重要作用。它包括多种指标，如色素沉着、高度、血管性和柔韧性。温哥华疤痕量表（VSS）是一种国际公认的疤痕评估方法，仅依赖于视觉检查和手动触诊[12]，[13]，[14]。然而，使用该量表进行严重程度评估耗时较长，并且不同皮肤科医生之间的评分往往不一致[15]，[16]。因此，研究自动疤痕分类和严重程度评估方法具有重要的研究意义。

深度学习在医学图像分析方面的最新进展[17]，[18]，[19]使得自动疤痕分类和严重程度评估方法的发展成为可能。在自动疤痕分类领域，大多数现有研究关注与疤痕相关的疾病（例如寻常痤疮）[20]，[21]，[22]。只有一项研究专门用于分类不同的疤痕类型[23]。Shen等人[20]使用CNN对七种寻常痤疮进行了分类。Junayed等人[21]提出了基于深度残差网络的AcneNet来识别五种寻常痤疮类型。Bhadula等人[22]使用多种机器学习分类器来分类三种皮肤疾病：痤疮、扁平苔藓和中毒性表皮坏死松解症。Junayed等人[23]开发了ScarNet，这是一个19层的CNN，用于分类五种疤痕类型：三种萎缩性疤痕（冰锥形、滚动型和箱车型）、增生性疤痕和瘢痕疙瘩。关于疤痕严重程度评估，相关研究相对较少。Pham等人[24]提出了一种基于VSS的烧伤疤痕评估的机器学习方法，使用颜色和纹理特征的组合。Zhao等人[25]使用预训练的ResNet-152模型构建了一个面部痤疮疤痕分级系统，具有五个严重程度级别。然而，他们只进行了粗略的严重程度分级，无法得出具体的VSS分数。为了解决这个问题，Kim等人[26]结合临床数据和图像，使用MLP进行临床数据预测，使用ResNet-50和CBAM[27]进行图像处理，以输出总体VSS分数。最近，Fu等人[28]使用两个独立的残差网络模型来预测增生性疤痕的VSS基础色素沉着和血管性分数。

总之，上述方法可以实现疤痕分类或疤痕严重程度评估的目标。然而，它们通常面临以下两个问题。首先，高质量标注的疤痕数据稀缺，限制了深度学习模型提取有效病变特征的能力。现有方法直接应用这些深度学习模型进行特征提取，因此在这两个任务中的性能有限。其次，现有方法将疤痕分类和严重程度评估视为独立任务，忽略了它们之间的相关性。如图1所示，不同类型的疤痕表现出不同的严重程度分布，表明这些任务可以相互促进[29]。此外，没有现有方法能够同时输出分类结果和详细的VSS组成部分分数，而这对于临床决策至关重要。为了解决这一差距，需要一种临床-计算协同设计方法，同时处理离散分类和连续多目标回归。没有现有方法能够同时输出诊断分类和详细的VSS组成部分分数，这两者都对临床决策至关重要。

为了解决这些问题，我们提出了MT-ScarNet，这是一种用于联合疤痕分类和严重程度评估的多任务孪生网络。MT-ScarNet以一对疤痕图像作为输入，并使用两个共享权重的特征提取网络生成图像嵌入。为了获得有效的图像对，设计了一种图像对生成策略。每个特征提取网络之后，图像嵌入通过特征变换层转换为分类和严重程度特征。然后，设计了一个多任务特征交互（MTFI）模块，通过交叉注意力操作实现两个任务特征之间的交互。此外，提出了一个多任务度量学习损失（MTMLL）模块，用于计算分类的对比损失和严重程度评估的距离度量损失。该模块通过样本对之间的度量学习增强了模型的判别表示能力。本文的主要贡献可以总结如下：

• 我们提出了MT-ScarNet，它可以同时输出疤痕分类结果和详细的VSS分数。此外，带有交叉注意力机制的MTFI模块可以在疤痕分类和严重程度评估任务的特征之间传递有意义的信息，有效利用了两个任务之间的相关性，从而提高了多任务模型的整体性能。
• 我们在多任务框架内探索了孪生网络结构，并提出了MTMLL模块。MTMLL模块计算疤痕分类和严重程度评估任务中样本对的度量学习损失，可以提高识别细粒度疤痕类别和区分不同严重程度样本的能力。此外，设计了一种有效的图像对生成策略来选择合适的样本对，以丰富训练数据。
• 我们收集了一个名为MT-Scar的数据集，其中包含2150张带有详细VSS注释的临床图像。我们对该数据集上MT-ScarNet的有效性和优势进行了广泛评估。此外，我们还进行了临床诊断评估，将我们的模型与16位皮肤科医生的性能进行了比较。比较结果显示，我们的模型在疤痕分类和严重程度评估任务上的表现与资深皮肤科医生相当。

本文的其余部分组织如下。第2节介绍了MT-ScarNet的详细信息。第3节提供了实验设置。第4节报告了实验结果，并对MT-ScarNet进行了进一步分析。最后，第5节总结了本文。

部分片段

概述

MT-ScarNet是一个端到端的疤痕分类和严重程度评估网络。我们将基于VSS的疤痕严重程度评估建模为四个回归任务，可以输出色素沉着、高度、血管性和柔韧性的详细分数。如图2所示，以一对疤痕图像作为输入，使用包含两个共享权重特征提取网络的孪生网络来提取图像嵌入。为了选择适合孪生网络训练的图像对，我们提出了一种图像

数据集

本研究得到了中南大学湘雅医院医学伦理委员会的批准（批准编号：202504037），并遵循赫尔辛基宣言进行。由于研究的回顾性，免除了知情同意的要求，并且所有患者数据都经过严格匿名处理以保护隐私。由于缺乏带有严重程度注释的高质量疤痕图像数据集，我们创建了一个疤痕图像数据集来评估所提出方法的性能

与基线和单任务方法相比

首先，我们使用三种不同的主干网络（Swin-T/S/B）在MT-Scar数据集上比较了MT-ScarNet与基线和单任务方法的性能。基线方法是指使用共享主干网络提取特征，然后使用两个独立的网络进行分类和严重程度预测的简单多任务方法。分类和严重程度评估结果分别报告在表1和表2中。

从表1可以看出，更深的主干网络

结论

这项工作代表了一种临床-计算协同设计，解决了之前未解决的联合任务：从单一图像输入同时提供诊断分类和详细的VSS组成部分分数。我们的框架包括两个关键创新：（1）MTFI模块，通过交叉注意力建模任务相关性；（2）MTMLL模块，通过样本对上的度量学习增强表示能力。在MT-Scar数据集上的广泛实验表明，我们的

CRediT作者贡献声明

何晓宇：写作 – 审稿与编辑，写作 – 原稿撰写，可视化，软件，方法论，概念化。王颖：写作 – 审稿与编辑，验证，方法论，数据管理。王勇：写作 – 审稿与编辑，验证，方法论。谢东城：写作 – 审稿与编辑，监督，资源管理，数据管理。袁永祥：写作 – 审稿与编辑，监督，调查，数据管理。何仁良：写作 – 审稿与编辑，验证，监督，

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文所述的工作。

致谢

这项工作部分得到了国家重点研发计划（编号：2022YFC2504700）的支持，部分得到了国家自然科学基金（编号：82404186）的支持，部分得到了中国博士后科学基金（编号：2023M743947）的支持，部分得到了CPSF博士后奖学金计划（编号：GZB20240869）的支持，部分得到了湖南省自然科学基金（编号：2024JJ6697）的支持，以及芙蓉计算生物学和生物信息学中心的支持