深度特征与手动特征的融合,用于提升大尺寸、低分辨率功能性医学图像的生成质量

《Engineering Applications of Artificial Intelligence》:Fusion of deep and manual features for improved generation of large-size, low-resolution functional medical images

【字体: 时间:2026年03月05日 来源:Engineering Applications of Artificial Intelligence 8

编辑推荐:

  本文提出基于生成对抗网络的高频信息融合生成器HFIF-Gen,通过融合傅里叶变换的高频信息与空间/通道注意力机制,结合两阶段训练策略与融合强度因子,有效提升SPECT骨显像生成图像的结构细节与多样性。实验表明,HFIF-Gen的PSNR达38.75±0.97,SSIM为0.916±0.01,并显著提高下游诊断任务的准确率(3.04%-17.24%)、精确度(0.73%-21.02%)、召回率(7.14%-12.14%)及F1分数(4.50%-15.99%),为解决SPECT数据稀缺问题提供新方法。

  
作者:谢安|林强|曾贤武|曹永春|马正兴|刘彩红|蔡正奇|黄晓迪
中国教育部民族语言与信息技术重点实验室,西北民族大学,兰州,中国

摘要

深度学习在自动医学图像分析中非常有效,但它严重依赖于大规模和多样化的数据集。然而,单光子发射计算机断层扫描(SPECT)骨扫描图像的数据集尤为稀缺,这阻碍了模型的发展。当前的生成模型通常产生的样本结构细节有限且多样性不足,从而降低了它们在下游诊断任务中的有效性。为了克服这些限制,我们提出了一种高频信息融合生成器(HFIF-Gen),这是一种基于生成对抗网络框架的新型SPECT骨扫描图像生成模型。HFIF-Gen生成的样本在结构上忠实于原始图像,同时在特征上具有多样性,既保持了解剖结构的完整性,又增强了变化性。具体来说,我们的方法通过注意力机制整合了高频信息,以提高生成的解剖结构(如骨骼)的质量。为了进一步提高样本的多样性,我们采用了两阶段训练策略,并结合了融合强度因子(FIF),有效地将多视图特征融入生成样本中,以更好地支持实际诊断应用。使用276张真实临床患者SPECT图像进行的实验评估显示,HFIF-Gen的性能优于其他模型:峰值信噪比(PSNR)为38.75 ± 0.97(比MedGAN提高了2.38),结构相似性指数(SSIM)为0.916 ± 0.01(提高了6.28%)。我们使用多个下游模型进行了进一步验证。将这些生成的样本纳入诊断任务后,结果显示:准确性提高了3.04%-17.24%,精确度提高了0.73%-21.02%,召回率提高了7.14%-12.14%,F-1 分数提高了4.50%-15.99%。这些结果证明了HFIF-Gen在提高生成样本的质量和多样性方面的有效性。

引言

骨扫描是一种重要的功能性医学成像方式,被核医学医生广泛用于诊断癌症骨转移(BM)。单光子发射计算机断层扫描(SPECT)设备使用锝-99甲基二膦酸盐(99mTc-MDP)来准确检测和可视化骨扫描图像中的BM病变。这些病变通常表现为放射性药物的高吸收区域,称为“热点”。然而,BM的不可预测性极大地复杂化了诊断过程,因为病变在位置、大小和形状上存在显著差异,给人类专家的准确识别带来了挑战(Nathan等人,2012年)。这种变异性不仅延长了图像解读时间,还可能影响诊断质量。在高工作量的临床环境中,这种延迟可能会妨碍患者的及时治疗。
深度学习(DL)在各种计算机视觉任务中取得了显著的成功,例如图像分类、对象检测和图像分割(Litjens等人,2017年;Shen等人,2017年)。卷积神经网络(CNN)作为DL的基石,被广泛用于无需人工干预即可自动提取图像的关键特征(Roodman,2004年;Santini等人,2010年)。在SPECT BM扫描图像的自动分析领域,以往的研究主要集中在开发用于分类的特征性BM病变模型(Xie等人,2024年;He等人,2025a,2025b;Ma等人,2025年)。
尽管DL技术在表征BM和改善诊断方面具有巨大潜力,但其准确性在很大程度上取决于可用图像样本的数量和质量(Halevy等人,2009年;Sun等人,2017年;Chen等人,2020年)。由于该疾病的罕见性和患者隐私问题,获取大规模的SPECT BM扫描图像数据非常具有挑战性。因此,数据增强技术变得至关重要(Aslantas等人,2016年)。几何变换常用于数据增强,通常使用图像平移、旋转和镜像等操作。这种方法特别适合解决图像中的位置偏差问题。然而,在医学图像分析中,训练数据和测试数据之间的偏差比位置和位移变化更为复杂。通过几何变换生成的新样本与原始图像具有相同的空间分布,导致新图像与原始图像过于相似,缺乏多样性(Chen等人,2020年)。
生成对抗网络(GANs)(Goodfellow等人,2014年)提供了一种有效的方法,可以生成保留原始数据集特征的合成样本。GAN由两个主要部分组成:生成器,将潜在噪声转换为真实图像;鉴别器,区分真实样本和生成样本。这种对抗训练过程不断优化生成器,从而产生高质量的图像。GAN的优势在于其出色的生成能力和适应性,使它们能够有效捕获复杂的数据分布。在医学图像分析中,X射线、磁共振成像(MRI)和正电子发射断层扫描(PET)等模式的数据增强任务受到了广泛关注,GANs因其生成能力而被广泛应用(Yi等人,2019年;Kazeminia等人,2020年;Azam等人,2021年,2022a,2022b)。通过生成高质量图像,GANs不仅缓解了数据稀缺问题,还提高了模型的鲁棒性和泛化能力,从而提高了诊断准确性。
到目前为止,SPECT骨扫描图像的增强技术仍尚未得到充分探索。现有模型在生成高质量和多样化样本方面存在显著局限性。这一技术空白突显了迫切需要创新方法来提高样本质量和多样性,从而显著提升基于DL的自动诊断系统在BM诊断中的性能。
主要挑战有两个方面:首先,医学图像具有复杂的局部亚结构和组织纹理(Zhang等人,2021年),在SPECT骨扫描图像中,生成高质量的骨结构至关重要。然而,SPECT骨扫描图像的低空间分辨率成为从原始数据生成细粒度样本的重大障碍。这种低分辨率限制了细节的呈现,阻碍了对真实解剖结构的准确表示,尤其是骨边缘的表示。这使得基于DL的模型在处理低分辨率骨扫描图像时面临巨大挑战。其次,传统的生成模型通常通过改变噪声分布来实现样本的多样性,但往往更注重图像的准确性而非多样性。它们更关注生成图像是否满足输入条件的要求。因此,仅通过修改噪声生成的样本缺乏足够的多样性,无法满足实际应用需求(Zhang等人,2021年)。
为了解决这些挑战,我们提出了一种基于生成对抗学习架构的SPECT骨扫描图像生成模型HFIF-Gen。HFIF-Gen生成的样本在结构上与原始SPECT骨扫描图像相似,但又具有差异性。高频信息能够捕捉快速变化的图像成分,这些成分富含细节和纹理(Si等人,2024年)。在SPECT骨扫描图像中,高频信息尤为重要,因为骨骼结构和转移性病变主要表现为微妙的纹理变化和清晰的吸收边界,这两者对于准确生成SPECT骨扫描图像的组织结构至关重要。为此,我们提出了HFIF-Gen,其中集成了高频信息融合模块(HFIFM)。HFIFM结合了通过傅里叶变换得出的手工特征和通过空间和通道注意力增强的深度语义特征,从而增强了细纹理和边缘的表示。这种设计确保了生成样本能够更准确地捕捉骨骼细节。此外,HFIF-Gen采用了两阶段训练策略和融合强度因子(FIF)机制,进一步提高了生成样本的保真度和多样性,使其更适合实际应用。我们的消融研究证明了HFIF-Gen每个组件的有效性,并通过下游特征分析任务验证了其生成的样本优于竞争模型。
本文的贡献总结如下:
  • 据我们所知,这是首次自动生成无BM和含BM的全身前后视图扫描图像的研究。生成的样本提高了下游诊断模型的性能,填补了基于DL的医学图像分析中的一个关键空白。
  • 我们提出了一种基于GAN的新模型HFIF-Gen,它通过HFIFM将深度特征与手工设计的高频特征相结合,并利用两阶段训练策略和FIF技术生成高质量、多样化的SPECT骨扫描图像。
  • 我们使用一组临床SPECT骨扫描图像对所提出的模型进行了评估,生成质量评估以及下游诊断任务的增强效果均优于其他三种经典模型。
  • 为了有效验证生成样本的特征多样性,我们在低维特征空间分析了它们的多样性。特征可视化结果显示,HFIF-Gen生成的样本具有更丰富的特征,同时保持了原始图像的结构完整性。
  • 本文的其余部分安排如下:第2节回顾相关工作;第3节详细描述所提出的模型;第4节介绍临床SPECT骨扫描图像数据和实验评估;第5节讨论视觉结果;第6节总结本文并展望未来方向。

    相关工作

    使用GAN增强医学图像数据集已成为医学成像研究的一个重要领域。这些技术旨在解决各种医学成像模式(包括X射线、MRI、PET等)中数据集有限和不平衡的问题。通过生成合成医学图像来增强现有数据集,研究人员在疾病检测和各种分类任务中取得了更好的性能。本节回顾了基于GAN的医学图像研究

    问题阐述

    本研究旨在生成具有高质量和多样化视觉特征的合成SPECT骨扫描图像。传统的生成方法仅依赖于改变输入噪声,往往产生的样本多样性有限。为了克服这一限制,我们专注于双视图全身SPECT骨扫描图像,即从两个视角(例如,前后视图)对每位患者进行成像。我们的方法利用其中一个视图作为条件GAN的输入进行合成

    实验

    在本节中,我们展示了在临床SPECT骨扫描图像数据上进行的生成性能和下游任务的实验结果。

    讨论

    本节展示了模型架构和两阶段训练对样本生成效果的影响。我们还讨论了生成样本的特征级多样性,突出了我们方法相对于现有方法的优势。

    结论

    在本文中,我们提出了一个基于DL的SPECT图像生成模型,并通过广泛的实验和案例研究对其进行了彻底评估。实验结果表明,我们的模型在所有指标上均优于对比模型,显示出明显的优势。
    与传统的几何变换和早期的生成模型相比,我们的方法生成了大量高度多样化的SPECT图像。这不仅扩展了现有数据集,而且
    CRediT作者贡献声明
    谢安:撰写——原始草稿,可视化,验证,软件,方法论,研究,正式分析。林强:撰写——审稿与编辑,撰写——原始草稿,监督,资源管理,项目管理,方法论,研究,资金获取,正式分析,数据管理,概念化。曾贤武:验证,数据管理。曹永春:验证,正式分析。马正兴:可视化,软件。刘彩红:验证,方法论。蔡正奇:

    伦理批准和参与同意

    该研究得到了甘肃省癌症医院伦理委员会的批准(批准编号:A202106100014)。本研究中对人类参与者进行的所有程序均符合甘肃省肿瘤医院研究委员会的伦理标准以及1964年赫尔辛基宣言及其后续修订版或类似的伦理标准。在作者收到数据之前,使用的骨SPECT图像已经去标识化。完全匿名的图像数据
    出版同意
    数据及材料的可用性
    任何人都可以通过发送电子邮件给相应作者来获取验证子集,并说明数据仅用于研究目的。整个数据集将来将公开可用。
    资助
    本项工作部分得到了国家自然科学基金(项目编号:62362058和61562075)、甘肃省重点研发计划(项目编号:24YFGA048和21YF5GA063)、甘肃省重点人才计划(项目编号:2023RCXM56)、国家民族事务委员会青年和中年人才培训计划甘肃省自然科学基金(项目编号:20JR5RA511和22JR11RA236)以及基础研究基金的支持
    利益冲突声明
    所有作者都对本文做出了贡献,不存在利益冲突。
    致谢
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    知名企业招聘

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号