基于投影的令牌化技术结合伪特征学习,用于超声图像中卵巢病变的分割

【字体: 时间:2026年03月09日 来源:Neural Networks 6.3

编辑推荐:

  卵巢超声图像分割中,针对病灶大小形状多变及与背景纹理相似问题,提出基于Radon投影与伪特征学习的RPPLM模型。通过Radon变换获取全局结构投影特征,结合Transformer的全局建模能力,同时引入伪前景背景区域注意力机制增强 foreground特征提取,在多个数据集上验证优于现有SOTA方法,并具备跨器官泛化能力。

  
陈艳林|张宇涵|黄若冰|常翱|王健|周杰|倪东
国家区域关键医疗超声技术工程实验室,深圳大学生物医学工程学院,健康科学中心,深圳,518055,中国

摘要

在超声图像中准确分割卵巢病变对于早期癌症检测和有效的治疗计划至关重要。然而,由于病变大小和形状的巨大差异,以及病变与周围组织之间的强度或纹理相似性,这一任务仍然具有挑战性。为共同应对这些挑战,本研究提出了一种结合Radon投影和伪特征学习的卵巢病变分割模型。具体而言,Radon投影特征学习模块生成基于投影的标记化数据作为Transformer的输入,从而同时利用局部和全局信息,保持全局结构相关性,并提高对不同大小和形状病变的适应能力。此外,伪特征学习模块构建了伪前景和伪背景区域,并通过注意力机制探索这些区域内部和之间的语义相关性,从而增强特征区分能力,减轻由于强度和纹理相似性带来的挑战。在三个卵巢超声数据集和两个非卵巢超声数据集上的广泛实验表明,我们的方法具有优越的分割性能和强大的泛化能力。

引言

卵巢癌在女性生殖系统癌症中死亡率排名第二(Bray等人,2024年),对女性健康构成严重威胁。由于早期症状不明显,大约75%的患者在确诊时已处于晚期(Lengyel等人,2010年),导致治疗难度显著增加。及时识别卵巢病变对于早期干预和改善预后至关重要。在超声图像中准确分割卵巢病变是实现及时识别的关键步骤,因为它可以精确勾勒病变轮廓、测量病变大小并评估恶性风险(Strachowski等人,2023年),从而制定适当的治疗计划。由于手动分割耗时、劳动强度高且依赖于经验,开发自动卵巢病变分割方法对于临床诊断和提高工作效率具有重要意义。
随着深度学习方法的发展(Chandrasekar等人,2025年;LeCun等人,2015年;Subhashri等人,2025年),在这一领域取得了多项进展。例如,C-Rend Yang等人(2021年)利用点对点对比学习处理模糊边界,实现了卵巢和卵泡的精确分割。DS2Net Zhao等人(2022年)从灰度和增强对比度的超声图像中提取独特且通用的特征;这些特征随后被融合和解码,以实现卵巢病变的跨模态分割。Nguyen等人(2024a年)提出的基于SAM的方法结合了自动和手动提示来分割超声图像中的卵巢病变。然而,以往的方法并未专门针对超声图像中卵巢病变分割的复合挑战进行设计,包括病变大小和形状的变异性,以及病变与周围组织之间的强度或纹理相似性(如图1所示)。红色标记的病变具有多样的大小和形状。在第一行中,髂血管(用箭头指示)的强度与卵巢病变相似,而在第二行中,病变边界模糊,这使得精确界定其范围变得复杂。这些现象激发了我们的研究,旨在开发一种强大的方法来克服上述挑战并准确分割卵巢病变。
现有的分割方法可以分为基于卷积神经网络(CNN)的方法、基于Transformer的方法以及CNN-Transformer混合方法。基于CNN的方法在提取局部模式方面表现出色,但由于其接受域受限(Gu等人,2018年),难以捕捉长距离依赖性;而基于Transformer的方法在建模全局关系方面有效,但对局部细节的敏感性有限(Dosovitskiy,2020年)。因此,一些研究结合了CNN和Transformer架构以利用局部和全局信息(Gai等人,2023年;Zhang等人,2024年)。尽管取得了成功,但大多数基于Transformer和混合方法仍依赖于基于补丁的标记化作为输入,这存在一些固有的局限性。特别是,基于补丁的表示可能会破坏全局结构连续性,并限制模型对不同大小和形状病变的适应能力。因此,用另一种一维输入表示替换基于补丁的标记化是保持全局结构相关性和提高Transformer对不同大小和形状病变建模能力的关键步骤。然而,据我们所知,以前的方法尚未探索这种方法用于卵巢病变分割。
在生成此类一维表示的潜在方法中,Radon变换(Gordon等人,1975年)特别有吸引力。它通过聚合来自多个角度的投影提供全局线积分表示,有效捕获丰富的结构信息,同时保持不同方向上的空间相关性。尽管快速傅里叶变换(FFT)(Cochran等人,1967年)也可以捕获全局特征,但它将图像转换为频率域,使得空间和结构信息不易获取,从而阻碍了模型学习空间上下文关系的能力。因此,我们采用Radon变换生成基于投影的标记化数据作为Transformer的输入,有效避免了基于补丁的标记化引入的结构碎片化,同时提高了对不同大小和形状病变的适应能力。
为了解决卵巢病变与相邻组织具有相似纹理或强度的问题,提高模型区分前景特征的能力至关重要。已经提出了许多方法来促进前景-背景区分。例如,Xue等人(2021年)引入了多个边界检测模块,并结合了多个CNN层的额外监督损失,用于乳腺病变分割和边界检测,从而增强了前景-背景区分能力。Luo等人(2025年)提出了LGFFM,该方法利用标准化权重突出前景特征并抑制背景干扰,进一步提高了模型区分前景特征的能力。然而,这些方法没有考虑背景中包含的丰富纹理信息,未能利用背景特征来辅助前景分割。鉴于此,Ning等人(2021年)合成并利用了前景显著图和背景显著图来指导SMU-Net的学习过程,可能增强了模型区分前景和背景的能力,从而促进了乳腺病变分割。尽管SMU-Net取得了优异的性能,但它直接融合了前景显著特征和背景显著特征,而没有建模它们之间的依赖性,这可能会降低前景预测的准确性。此外,显著图依赖于手动标注的种子点,使得分割流程不够自动化。这些发现表明,需要探索一种自动方法,能够明确建模前景和背景特征之间的相互作用,从而增强前景区分能力并缓解由于强度和纹理相似性带来的挑战。
受到伪特征学习(Lu等人,2018年)的启发,我们应用这种方法主动推断模型认为的前景和背景区域。通过探索伪区域内部和之间的相关性,鼓励模型捕获更可靠的前景特征。具体来说,在伪前景区域内部应用自注意力进行特征探索。由于伪背景区域可能包含假阴性线索,因此使用交叉注意力来建模伪前景和伪背景区域之间的关系,从而可能使模型能够利用伪背景中的前景线索。
总之,本文提出了一种结合Radon投影和伪特征学习的模型RPPLM,用于超声图像中的卵巢病变分割。具体而言,为了解决卵巢病变大小和形状变化带来的挑战,在编码器路径中设计了一个Radon投影特征学习模块(RPrL),该模块包括潜在特征投影、特征提取和反投影块。Radon变换用于生成基于投影的标记化数据作为Transformer的输入,从而避免了图像分割造成的结构碎片化。特征提取块旨在捕获全局特征,这些特征随后被反投影到原始潜在空间并与局部信息融合。为了解决卵巢病变与相邻组织具有相似纹理或强度的问题,在解码器路径中引入了一个伪特征学习模块(PseL)。PseL模块构建伪区域并利用注意力机制来增强前景-背景区分能力。本工作的贡献总结如下:
  • 我们提出了一种新的分割模型RPPLM,它整合了上下文感知和区分信息,以准确分割超声图像中的卵巢病变。
  • 引入了RPrL模块,将潜在特征转换为多视图投影域,从而为Transformer提供全局特征表示,提高对不同大小和形状病变的适应能力。
  • 我们提出了一个PseL模块,它构建伪区域并在其中挖掘前景线索,有效解决了病变与周围组织具有相似纹理或强度的问题。
  • 在多个卵巢超声数据集上的广泛实验表明,我们的模型优于其他最先进(SOTA)模型。此外,在包含其他器官病变的两个数据集上的验证表明,RPPLM具有强大的泛化能力。
  • 本文的其余部分组织如下。第2节介绍了相关工作。第3节描述了我们的方法框架和细节。第4节提供了实验结果。最后,第5节对我们的工作进行了讨论,第6节给出了结论。

    部分摘录

    随机变换

    Radon变换通过线积分投影将2D特征映射到1D向量,最初应用于计算机断层扫描中的图像重建(Averbuch等人,2011年)。由于其强大的捕获全局结构信息的能力,Radon变换最近被纳入各种医学图像分析任务中。例如,Nguyen等人(2024b年)将其应用于眼底图像,其中得到的正弦图得到了改进

    方法

    所提出的RPPLM如图2所示。它由一个U形主干网络组成,其中包含RPrL模块和PseL模块。RPrL模块嵌入在编码器路径的底层,利用多角度投影提供全局空间信息。此外,Transformer提取多个维度空间中的上下文特征,并与局部特征融合。

    数据集和预处理

    为了评估我们提出方法的有效性,我们在两个内部数据集(OVUS1和OVUS2)和一个公共数据集(OTU_2d Zhao等人(2022年)上进行了实验。通过图像裁剪去除了患者可识别信息以确保匿名性。本研究得到了中国广州中山大学癌症中心的机构审查委员会批准(协议编号:B2024-050-Y01)。每个数据集的详细信息如下。
    OVUS1是一个私有的超声数据集

    讨论

    在临床实践中,及时检测卵巢病变对女性健康至关重要。然而,超声图像中的斑点噪声和病变边界模糊等问题给超声技师带来了显著的诊断挑战。开发一种自动化且有效的方法来分割卵巢病变在病变识别、大小测量和恶性风险评估中起着重要作用。在这项工作中,我们提出了一种新的分割

    结论

    在本文中,我们提出了一种用于超声图像中卵巢病变分割的新框架RPPLM。首先,设计了一个RPrL模块,将潜在特征转换为Radon投影域,为Transformer提供基于投影的标记化数据作为输入。此外,Transformer块提取的全局特征与局部信息融合,为模型学习提供了更全面的特征。为了进一步细化前景特征,还引入了一个PseL模块

    CRediT作者贡献声明

    陈艳林:写作——审稿与编辑,撰写原始草案,可视化,验证,方法论,数据管理,概念化。张宇涵:写作——审稿与编辑。黄若冰:资金获取,概念化。常翱:可视化,验证。王健:软件,项目管理。周杰:监督,概念化。倪东:监督,资源获取。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

    致谢

    本研究部分由中国国家自然科学基金(编号12326619、62171290、62471305、62101342)、广东省科技规划项目(编号2023A0505020002)、广东省基础与应用基础研究基金(编号2025A1515011448、2023A1515012960)以及江苏省前沿技术研发计划(编号BF2024078)资助。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号