1S-MambaMatch:一种半监督和一次性学习框架,结合多输入视觉状态空间模型用于皮肤病变分割

《Biomedical Signal Processing and Control》:1S-MambaMatch: A semi-supervised and One-shot learning framework with Multi-input Visual State Space Model for skin lesion segmentation

【字体: 时间:2026年02月21日 来源:Biomedical Signal Processing and Control 4.9

编辑推荐:

  皮肤病变分割中提出一种结合one-shot学习和Mamba模型的半监督框架1S-MambaMatch,通过Multi-input Visual State Space Model动态增强查询特征,并采用一致性正则化和自适应自监督损失函数。实验在ISIC 2018和PH2数据集上验证,仅用10%标注数据即达87.80%和92.29%的DSC,50%标注时接近全监督性能,参数仅3.7M,推理时间26.88ms。

  
Viet-Thanh Nguyen|Gia-Bao Truong|Van-Truong Pham|Thi-Thao Tran
越南河内科技大学电气与电子工程学院自动化工程系

摘要

训练高性能的深度学习模型以实现对皮肤病变的精确分割,这一过程从根本上受到标注数据稀缺的限制,因为高质量真实标注的工作既耗时又费力。为了解决这一挑战,我们提出了一种新颖的半监督学习方法,该方法在显著减少人工标注需求的同时实现了精确的分割。我们提出了1S-MambaMatch框架,它将一次性(1S)学习和基于Mamba的建模方法结合在半监督学习范式中。该框架的核心创新在于引入了多输入视觉状态空间模型,该模型通过交错扫描和序列化处理特征对应关系来动态增强查询特征。这一创新还通过一种具有自适应自监督损失函数的一致性正则化半监督学习方法得到了进一步加强,从而能够有效利用未标注的数据进行学习。综合实验表明,1S-MambaMatch在性能上优于现有方法,同时保持了显著的效率:对于峰值内存为79.5 MB的图像,仅需3.7M个参数和26.88毫秒的推理时间。仅使用10%的标注数据(ISIC 2018数据集为208个样本,PH2数据集为16个样本),该方法的性能依然出色,ISIC 2018数据集的DSC(Dice Similarity Score)达到了87.80%,PH2数据集达到了92.29%。当标注数据增加到50%时,模型的性能几乎与使用完整数据集的完全监督方法相当,ISIC 2018数据集的DSC达到了89.09%,PH2数据集达到了94.52%。源代码将发布在https://github.com/vietthanh2710/1S-MambaMatch

引言

深度学习的发展从根本上改变了皮肤病变分割领域,主要通过开发和改进新的网络架构推动了这一进步。U-Net [1]架构及其各种增强版本 [2], [3], [4], [5] 在皮肤病变分割研究中变得无处不在。此外,基于注意力机制和Transformer的模型 [6], [7], [8], [9] 也取得了显著突破,它们的关键优势在于能够捕捉长距离依赖关系,这使得它们在处理医学图像时特别有效。这些模型作为独立系统,完全通过监督学习进行训练。然而,当高质量标注数据稀缺时,这种方法变得不切实际,模型容易对有限的样本过度拟合,且无法泛化。这些限制促使人们开发出能够从有限标注数据和大量未标注数据中学习的高效标注技术。
少样本学习(Few-shot learning)通过从少量标注样本中学习泛化,为医学图像分割提供了一种有效的解决方案。通过元学习技术,这些模型可以从有限的辅助样本中提取可转移的知识,从而在推理过程中实现病变的准确分割。最著名的方法是原型学习 [10], [11], [12], [13],其中通过从辅助样本中提取特征来生成类别原型或先验掩码以分割查询图像。然而,这种方法存在局限性,因为由于不同数据集之间的分布差异,有时无法获得精细的原型。这一挑战推动了少样本领域泛化 [14], [15], [16], [17] 的重要研究进展,以增强模型对这类变化的鲁棒性。尽管有这些优势,少样本学习的有效性仍限于那些本质上无法利用未标注数据的特定任务。
半监督学习(SSL)作为一种可行的解决方案,利用丰富的未标注图像数据和有限的标注样本来弥补标注不足。这种方法在皮肤病变分割中非常有效,因为它提供了一种专门的训练范式,使模型能够从未标注数据中学习通用表示。一致性正则化确保模型预测在输入数据的各种扰动下保持稳定,例如变换、噪声添加等多种增强技术。基于这种方法的研究包括Li等人 [18]、Xie等人 [19]、Zhang等人 [20] 的工作。协同训练是一种半监督学习范式,它利用多个多样化的模型通过未标注数据相互监督。每个模型在未标注样本上生成伪标签,这些伪标签作为其他模型的训练目标,从而迭代提升它们的性能。使用这种策略的著名医学分割方法包括Deep Co-training [21]、UMCT-DA [22]、Cross-teaching [23] 和DME [25]。
状态空间模型(SSM)[26], [27] 的最新突破,特别是面向视觉的VMamba [28] 变体,在捕捉长距离依赖关系方面表现出色,同时保持了计算效率。这种范式转变现在正被积极应用于图像分割 [29], [30]、少样本学习 [31], [32] 和半监督学习框架 [33], [34] 中,以解决它们在建模全局上下文方面的固有局限。尽管VMamba [28] 及其变体在皮肤病变分割 [35], [36], [37] 中显示出有希望的结果,但这些方法通常需要大量的标注数据(完全监督方法)。另一方面,针对少样本或半监督学习的VMamba应用仍然有限。SSM在长序列建模和时间序列处理方面的固有优势使它们特别适合皮肤病变图像分析。利用这些特性,我们构建了一个基于多输入视觉状态空间模型(MIVSS)的少样本语义分割模型,并将其集成到基于U-Net的特征提取器中。这种设计旨在突出其利用融合的辅助-查询特征和辅助掩码嵌入来有效细化查询特征的能力。结合弱到强的不一致性正则化半监督方案,可以创建一个紧凑而有效的系统,既可以利用未标注图像进行训练,也可以利用少量标注图像进行推理。本研究的主要贡献如下:
  • 提出了一种创新框架,将一次性学习与弱到强的不一致性正则化半监督框架结合在一起,用于皮肤病变分割,称为1S-MambaMatch。
  • 引入了新的MIVSS瓶颈,利用从辅助图像和支持真实标注中提取的特征来增强查询图像的高级特征。
  • 通过自适应自监督损失函数增强了半监督策略。
  • 通过在著名的皮肤病学数据集ISIC 2018和PH2上的全面基准测试,证明了其卓越的性能。这是在非常高的效率下实现的,仅需要3.7M个参数和每张图像26.88毫秒的推理时间。
本研究的其余部分组织如下:第2节回顾了一致性正则化半监督图像分割和视觉SSM的相关工作。第3节详细介绍了我们提出的1S-MambaMatch的方法论,包括其架构和关键组件。第4节展示了实验结果和消融研究。最后,第5节总结了我们的贡献并提出了未来的研究方向。

方法论

本节介绍了用于皮肤病变分割的1S-MambaMatch框架,该框架结合了少样本学习和半监督学习。第3.1节提供了该框架的概述,强调了其双阶段设计,该设计融合了辅助-查询特征并实施了一致性正则化。第3.2节介绍了MIVSS,它通过结构化的状态空间建模来细化查询特征。第3.3节讨论了半监督学习

实验

为了评估我们提出的方法在半监督分割设置中的性能,我们在两个广泛使用的皮肤病变数据集上进行了实验:国际皮肤成像合作组织(ISIC2018)的数据集 [49] 和Pedro Hispano医院皮肤科收集的PH2数据集 [50]。这两个数据集共同为医学图像分割中的半监督学习提供了一个强大的基准,为相关研究提供了多样化和临床相关的基础

结论

总之,本研究提出了1S-MambaMatch,这是一个新颖且统一的框架,它无缝结合了一次性学习和半监督学习用于皮肤病变分割。我们设计的核心是多输入视觉状态空间模型(Multi-input Visual State Space Model),这是一个专门的少样本模块,能够有效利用辅助-查询关系来细化查询特征,并促进更清晰的语义分离。值得注意的是,该框架在不引入过多架构复杂性的情况下实现了这一目标

CRediT作者贡献声明

Viet-Thanh Nguyen:撰写——原始草案、软件开发、方法论、数据整理、概念构思。Gia-Bao Truong:软件开发、数据整理。Van-Truong Pham:可视化处理、验证、监督、资金获取、概念构思。Thi-Thao Tran:撰写——审稿与编辑、监督、方法论、资金获取、概念构思。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本研究由越南国家科学技术发展基金会(NAFOSTED)资助,资助编号为102.05-2025.22
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号