基于空间感知的双区域图像编辑技术，结合潜在扩散算法生成合成图像，以辅助超声肿瘤诊断

《Expert Systems with Applications》：Spatial-aware dual-regional image editing with latent diffusion for generating synthetic images to augment ultrasonic tumor diagnosis

针对超声图像诊断模型受限于样本量小、类别不平衡及多样性不足的问题，提出基于空间感知双区域图像编辑的SALIA方法，通过编辑潜在空间中的肿瘤位置并融合背景，生成高质量多样合成图像，显著提升乳腺癌、甲状腺及肝细胞癌诊断的AUC值至0.984、0.877和0.800。摘要总字数98。

　　

孟王|陈浩波|刘涵|张伟斌|韩晓翔|丁宏|张琪

上海大学通信与信息工程学院SMART（智能医学与基于AI的放射技术）实验室，中国上海

摘要

针对超声图像的智能诊断模型的开发常常受到数据相关限制的阻碍，包括样本量有限、类别不平衡以及多样性不足，这些因素阻碍了训练出鲁棒且具有泛化能力的诊断模型。最近，扩散模型在自然图像生成领域取得了显著成功，这激发了我们研究其在解决这些限制和提升超声诊断能力方面的潜力。在这里，我们提出了空间-感知式扩散增强图像增强（SALIA）方法，该方法能够生成多样且高质量的合成超声图像，并提升肿瘤诊断的性能。我们通过在潜在空间中对图像进行编辑来确保生成高质量合成图像，包括在解剖学约束下重新定位肿瘤并限制肿瘤范围，并将其与背景无缝融合。此外，我们设计了一系列全面的方法来评估图像质量和逼真度，包括无参考图像质量评估和放射科医生进行的视觉评估，并构建了多种分类模型来验证通过合成编辑图像进行图像增强后肿瘤诊断性能的提升。在乳腺、甲状腺和肝脏三个超声数据集上的实验结果表明，我们的合成图像与真实图像非常相似，在这三个数据集上的接收者操作特征曲线（AUC）下的提升分别为0.984、0.877和0.800。我们的SALIA方法为生成高质量且逼真的合成超声图像提供了一个可靠的图像增强框架，从而提高了肿瘤诊断的准确性和可靠性。

引言

由于超声成像的非侵入性、可获取性和成本效益，它被广泛用于肿瘤诊断（Avola等人，2021年；Bi等人，2024年）。尽管具有这些优势，但基于超声开发准确可靠的诊断模型仍然是一个主要挑战。一个关键原因是标注图像的样本量有限，因为收集和标注高质量超声数据需要大量的临床专业知识和时间投入（Qin等人，2022年）。此外，类别不平衡是一个普遍问题，导致模型学习存在偏差，并且对关键病理状况的敏感性较差（Gong等人，2020年；Z. Yang等人，2022年）。此外，现有数据集中的多样性不足，通常是由于图像采集条件统一或扫描协议有限造成的，这会严重限制模型对未见案例的泛化能力。这些与数据相关的问题共同削弱了深度学习方法的性能，突显了需要有效的数据增强策略，特别是那些能够生成多样且临床真实的合成样本的策略。

为了解决这些问题，研究人员探索了多种数据增强技术。传统的方法如几何变换、强度调整和噪声注入被广泛用于扩展训练集（Maharana等人，2022年）。这些方法从原始图像生成额外的表示，但在多样性方面的提升有限。最近，生成模型，特别是基于扩散的方法，作为生成建模中的强大替代方案出现，在高保真图像合成、图像转换和去噪任务中表现出色。

扩散模型是一类强大的概率生成模型，旨在学习复杂的数据分布（Ho等人，2020年）。这些模型包括两个基本阶段：前向过程和反向过程。在前向过程中，逐渐向输入数据添加噪声，直到其接近纯高斯噪声。相反，反向过程从扰动状态重建数据的原始结构，有效地逆转了前向过程引入的退化。这种系统的扰动和随后的恢复使扩散模型成为高度灵活和易于处理的生成框架，能够从随机噪声开始准确建模复杂的数据分布。这些模型以其生成高质量和多样化图像样本的能力而闻名，在图像转换和去噪等不同应用中显示出巨大的价值（Rombach等人，2022年；Shin等人，2025年；Zhou等人，2024年）。

与其他生成模型相比，扩散模型提供了更好的训练稳定性和样本多样性，使其成为图像生成的吸引人的候选者。然而，扩散模型通常以全局和统一的方式运行，缺乏明确控制特定解剖区域生成的能力，这对于合成具有诊断意义的肿瘤变异至关重要。我们通过空间重新定位肿瘤区域并将其与背景无缝融合，从而提高了生成的精确度。在这里，我们提出了空间-感知式扩散增强图像增强（SALIA）方法，以生成多样且高质量的合成超声图像，不仅扩大了数据集的样本量和多样性，还提升了肿瘤诊断的性能。

在超声图像合成方面，临床医生不仅需要高质量的视觉输出，还需要改进下游临床应用的性能，如疾病诊断和分级。合成图像必须满足严格的视觉标准，才能在临床上具有相关性，并支持诊断过程和治疗决策。因此，我们设计了一系列全面的方法来评估图像质量和逼真度，包括自动图像质量评估和放射科医生进行的视觉评估。此外，我们使用不同的模型进行训练，以验证通过合成编辑图像进行图像增强后分类性能的提升。

我们SALIA的主要贡献包括：（1）我们提出了SALIA，一种具有潜在扩散的空间感知双区域图像编辑方法，用于超声图像增强。（2）我们的SALIA方法能够生成具有与真实超声图像高度相似的回声性和纹理特征的合成图像。（3）我们的SALIA方法将潜在扩散的用途扩展到了超声医学图像，提高了肿瘤诊断性能。在第2节中，我们回顾了生成模型的发展及其在医学图像合成中的应用。在第3节中，我们详细解释了我们的SALIA方法、评估方法和分类模型。在第4节中，我们展示了我们的数据集、实现细节以及来自自动和放射科医生进行的图像质量评估及肿瘤分类性能的定量结果的综合分析。在第5节讨论和第6节限制与未来工作中，我们讨论并总结了本文。

章节片段

医学图像合成的生成模型

在过去十年中，使用神经网络的生成建模已成为深度学习的基石，在医学图像合成方面产生了巨大影响。受对抗学习的启发，基于生成对抗网络（GAN）的方法在医学研究社区中引起了越来越多的兴趣，并已被用于合成医学上真实的图像（Dong等人，2025年；Goodfellow等人，2014年；Nie等人，2017年）。Yang等人（H. Yang等人，

方法

虽然直接使用潜在扩散模型在医学成像中可能无法获得最佳结果，因为自然图像和医学图像之间存在固有差异，但它们在增强数据集方面具有显著的潜力，最终有助于提高医学场景中的诊断性能。我们工作的关键点在于提出了一种具有空间感知能力的图像增强方法，该方法有助于超声图像的诊断。

数据集

我们在两个公共数据集上验证了SALIA的有效性，即乳腺超声图像（BUSI）数据集（Al-Dhabyani等人，2020年）和数字数据库甲状腺图像（DDTI）数据集（Pedraza等人，2015年），以及一个私有数据集，即B模式肝细胞癌（HCC-B）数据集。

BUSI数据集是一个广泛认可的针对乳腺肿瘤的超声图像集合。它包含了600名女性的数据，共计780张图像，平均分辨率为

讨论

我们提出了空间-感知式扩散增强图像增强（SALIA）方法，以生成多样且高质量的合成超声图像，这不仅扩大了数据集的样本量和多样性，还提升了肿瘤诊断的性能。为了合成图像，优化扩散模型以更好地捕捉医学成像数据的独特特征至关重要。提高合成图像的逼真度不仅会提升它们的实用性

限制与未来工作

在比较BUSI、DDTI和HCC-B数据集的图像合成时，自动评估和放射科医生进行的评估都显示，BUSI的合成图像与真实图像最为相似。相比之下，HCC-B数据集中的合成图像与真实图像之间存在明显差异。这些差异可能归因于HCC-B图像的视野（FOV）较大，它包含了更广泛的组织类型。

结论

我们提出SALIA作为一种有效的超声图像增强方法，它利用了空间感知的双区域图像编辑技术。我们的SALIA方法不仅增加了训练样本的数量和多样性，还确保了不同类别之间的更平衡表示。自动和放射科医生进行的图像质量评估均表明，使用SALIA生成的合成图像在亮度、对比度和其他视觉属性方面与真实图像相当

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了国家自然科学基金 [编号：62571309和82272017]、上海市自然科学基金 [编号：25ZR1401135]以及上海大学科学与工程计算技术服务中心的支持。