骨扫描是一种重要的功能性医学成像方式,被核医学医生广泛用于诊断癌症骨转移(BM)。单光子发射计算机断层扫描(SPECT)设备使用锝-99甲基二膦酸盐(99mTc-MDP)来准确检测和可视化骨扫描图像中的BM病变。这些病变通常表现为放射性药物的高吸收区域,称为“热点”。然而,BM的不可预测性极大地复杂化了诊断过程,因为病变在位置、大小和形状上存在显著差异,给人类专家的准确识别带来了挑战(Nathan等人,2012年)。这种变异性不仅延长了图像解读时间,还可能影响诊断质量。在高工作量的临床环境中,这种延迟可能会妨碍患者的及时治疗。
深度学习(DL)在各种计算机视觉任务中取得了显著的成功,例如图像分类、对象检测和图像分割(Litjens等人,2017年;Shen等人,2017年)。卷积神经网络(CNN)作为DL的基石,被广泛用于无需人工干预即可自动提取图像的关键特征(Roodman,2004年;Santini等人,2010年)。在SPECT BM扫描图像的自动分析领域,以往的研究主要集中在开发用于分类的特征性BM病变模型(Xie等人,2024年;He等人,2025a,2025b;Ma等人,2025年)。
尽管DL技术在表征BM和改善诊断方面具有巨大潜力,但其准确性在很大程度上取决于可用图像样本的数量和质量(Halevy等人,2009年;Sun等人,2017年;Chen等人,2020年)。由于该疾病的罕见性和患者隐私问题,获取大规模的SPECT BM扫描图像数据非常具有挑战性。因此,数据增强技术变得至关重要(Aslantas等人,2016年)。几何变换常用于数据增强,通常使用图像平移、旋转和镜像等操作。这种方法特别适合解决图像中的位置偏差问题。然而,在医学图像分析中,训练数据和测试数据之间的偏差比位置和位移变化更为复杂。通过几何变换生成的新样本与原始图像具有相同的空间分布,导致新图像与原始图像过于相似,缺乏多样性(Chen等人,2020年)。
生成对抗网络(GANs)(Goodfellow等人,2014年)提供了一种有效的方法,可以生成保留原始数据集特征的合成样本。GAN由两个主要部分组成:生成器,将潜在噪声转换为真实图像;鉴别器,区分真实样本和生成样本。这种对抗训练过程不断优化生成器,从而产生高质量的图像。GAN的优势在于其出色的生成能力和适应性,使它们能够有效捕获复杂的数据分布。在医学图像分析中,X射线、磁共振成像(MRI)和正电子发射断层扫描(PET)等模式的数据增强任务受到了广泛关注,GANs因其生成能力而被广泛应用(Yi等人,2019年;Kazeminia等人,2020年;Azam等人,2021年,2022a,2022b)。通过生成高质量图像,GANs不仅缓解了数据稀缺问题,还提高了模型的鲁棒性和泛化能力,从而提高了诊断准确性。
到目前为止,SPECT骨扫描图像的增强技术仍尚未得到充分探索。现有模型在生成高质量和多样化样本方面存在显著局限性。这一技术空白突显了迫切需要创新方法来提高样本质量和多样性,从而显著提升基于DL的自动诊断系统在BM诊断中的性能。
主要挑战有两个方面:首先,医学图像具有复杂的局部亚结构和组织纹理(Zhang等人,2021年),在SPECT骨扫描图像中,生成高质量的骨结构至关重要。然而,SPECT骨扫描图像的低空间分辨率成为从原始数据生成细粒度样本的重大障碍。这种低分辨率限制了细节的呈现,阻碍了对真实解剖结构的准确表示,尤其是骨边缘的表示。这使得基于DL的模型在处理低分辨率骨扫描图像时面临巨大挑战。其次,传统的生成模型通常通过改变噪声分布来实现样本的多样性,但往往更注重图像的准确性而非多样性。它们更关注生成图像是否满足输入条件的要求。因此,仅通过修改噪声生成的样本缺乏足够的多样性,无法满足实际应用需求(Zhang等人,2021年)。
为了解决这些挑战,我们提出了一种基于生成对抗学习架构的SPECT骨扫描图像生成模型HFIF-Gen。HFIF-Gen生成的样本在结构上与原始SPECT骨扫描图像相似,但又具有差异性。高频信息能够捕捉快速变化的图像成分,这些成分富含细节和纹理(Si等人,2024年)。在SPECT骨扫描图像中,高频信息尤为重要,因为骨骼结构和转移性病变主要表现为微妙的纹理变化和清晰的吸收边界,这两者对于准确生成SPECT骨扫描图像的组织结构至关重要。为此,我们提出了HFIF-Gen,其中集成了高频信息融合模块(HFIFM)。HFIFM结合了通过傅里叶变换得出的手工特征和通过空间和通道注意力增强的深度语义特征,从而增强了细纹理和边缘的表示。这种设计确保了生成样本能够更准确地捕捉骨骼细节。此外,HFIF-Gen采用了两阶段训练策略和融合强度因子(FIF)机制,进一步提高了生成样本的保真度和多样性,使其更适合实际应用。我们的消融研究证明了HFIF-Gen每个组件的有效性,并通过下游特征分析任务验证了其生成的样本优于竞争模型。
本文的贡献总结如下:
•据我们所知,这是首次自动生成无BM和含BM的全身前后视图扫描图像的研究。生成的样本提高了下游诊断模型的性能,填补了基于DL的医学图像分析中的一个关键空白。
•我们提出了一种基于GAN的新模型HFIF-Gen,它通过HFIFM将深度特征与手工设计的高频特征相结合,并利用两阶段训练策略和FIF技术生成高质量、多样化的SPECT骨扫描图像。
•我们使用一组临床SPECT骨扫描图像对所提出的模型进行了评估,生成质量评估以及下游诊断任务的增强效果均优于其他三种经典模型。
•为了有效验证生成样本的特征多样性,我们在低维特征空间分析了它们的多样性。特征可视化结果显示,HFIF-Gen生成的样本具有更丰富的特征,同时保持了原始图像的结构完整性。
本文的其余部分安排如下:第2节回顾相关工作;第3节详细描述所提出的模型;第4节介绍临床SPECT骨扫描图像数据和实验评估;第5节讨论视觉结果;第6节总结本文并展望未来方向。
相关工作
使用GAN增强医学图像数据集已成为医学成像研究的一个重要领域。这些技术旨在解决各种医学成像模式(包括X射线、MRI、PET等)中数据集有限和不平衡的问题。通过生成合成医学图像来增强现有数据集,研究人员在疾病检测和各种分类任务中取得了更好的性能。本节回顾了基于GAN的医学图像研究