MedAugment：一款适用于医学图像分析的通用自动数据增强插件

《Knowledge-Based Systems》：MedAugment: Universal Automatic Data Augmentation Plug-in for Medical Image Analysis

医学图像分析中提出自动数据增强方法MedAugment，通过构建像素和空间增强双空间，排除可能破坏医学细节的操作，结合采样策略和超参数映射实现可控增强，实验证明其相比现有方法在分类和分割任务中表现更优且计算成本更低。

　　

刘兆山|吕秋杰|李一凡|杨子铎|沈雷

新加坡国立大学机械工程系，9 Engineering Drive 1，新加坡，117575，新加坡

摘要

数据增强（DA）在计算机视觉领域被广泛用于缓解数据短缺问题，然而其在医学成像中的应用面临诸多挑战。医学图像分析中常用的数据增强方法包括传统数据增强、合成数据增强和自动数据增强。然而，这些方法可能导致依赖经验的设计和较高的计算成本。在这里，我们提出了一种适用于医学图像的通用自动数据增强方法，称为MedAugment。我们定义了像素增强空间和空间增强空间，并排除了可能破坏医学细节和特征的操作。此外，我们提出了一种采样策略，从这两个空间中采样有限数量的操作。我们还建立了一个超参数映射关系，以产生合理的增强程度，并通过单个超参数使MedAugment完全可控。这些配置解决了自然图像与医学图像之间的差异。在四个分类数据和四个分割数据集上的广泛实验结果证明了MedAugment的优越性。与现有方法相比，所提出的MedAugment能够在几乎不增加计算开销的情况下防止颜色失真或结构改变。我们的方法可以作为插件使用，无需额外的训练阶段，为缺乏深度学习基础的社区和医学专家带来显著的好处。代码可在https://github.com/NUS-Tim/MedAugment获取。

引言

医学图像分析（MIA）利用各种成像方式来可视化创建体内图像表示，并辅助进一步的医学诊断。目前，MIA主要由医学专家进行，这一耗时且劳动密集的过程可能会导致解释和准确性的差异。为此，深度学习（DL）[1]、[2]、[3]已被引入MIA领域以提供帮助，特别是在主流的分类和分割任务中。尽管基于DL的MIA取得了有希望的结果[4]、[5]、[6]，但在数据稀缺的情况下确保DL模型的性能仍具有挑战性。与自然图像不同，MIA中的数据稀缺主要归因于两个因素。首先，收集医学图像需要专门的设备并需要专家注释。其次，收集到的图像分布受到患者隐私问题的限制[7]。在这种情况下，已经提出了多种技术来缓解数据短缺问题，而数据增强（DA）是最普遍和有效的方法[8]、[9]。DA通过增加数据的多样性和丰富性来提高模型的性能和泛化能力，其在MIA领域的应用包括传统数据增强、合成数据增强和自动数据增强。

传统数据增强是最常见的数据增强方法之一[10]、[11]、[12]。它包括旋转、翻转和平移等各种数据增强操作[8]，以组成不同的数据增强流程。尽管这些方法简单有效，但流程设计（如操作选择、顺序调整和幅度确定）在很大程度上依赖于经验。这使得传统数据增强不适合没有扎实DL基础的人员，并可能导致增强多样性不足。利用生成对抗网络（GAN）[13]、[14]、[15]、[16]、[17]是最常见的合成数据增强方法之一。GAN由生成器和判别器组成，它们进行对抗性游戏，能够在像素级别合成结果。然而，基于GAN的方法耗时且数据需求量大[18]、[19]，并且可能产生质量参差不齐的合成结果。与GAN相比，扩散模型[20]、[21]、[22]、[23]是一种合成替代方案。然而，其应用面临采样速度低和计算成本高的问题[22]。自动数据增强[24]、[25]、[26]的性能最近得到了很好的证明。自动数据增强包括一个带有传统操作的增强空间，输入通过从该空间中采样的不同操作进行增强[27]、[28]、[29]、[30]。尽管这些方法可以增加数据的多样性和丰富性，但它们要么引入额外的开销，要么不适用于医学成像。

为了解决数据短缺[16]、[31]、[32]以及遇到的增强挑战，我们提出了一种适用于医学图像分析的通用自动数据增强方法MedAugment。与具有单一增强空间的现有方法相比，我们提出了两个增强空间，即像素增强空间A_p和空间增强空间A_s，并排除了可能破坏医学图像细节和特征的操作。这可以防止严重的颜色失真或结构改变，确保诊断价值。此外，我们提出了一种操作采样策略，限制从这两个空间中采样的操作数量。我们还建立了一个超参数映射关系，以产生合理的增强程度，并通过单个超参数使MedAugment完全可控。这些设计有效地解决了自然图像与医学图像之间的差异。在四个分类数据和四个分割数据集上的广泛实验结果证明了所提出的MedAugment的领先性。与现有方法相比，所提出的方法在几乎不增加计算开销的情况下防止了颜色失真或结构改变。MedAugment可以作为插件使用，无需任何额外的训练阶段，为缺乏深度学习基础的MIA社区和医学专家带来好处。总结来说，我们的主要贡献包括：

•

我们提出了一种适用于医学图像分析的通用自动数据增强方法MedAugment。

•

我们定义了像素增强空间和空间增强空间，以及一种采样策略和超参数映射关系。

•

我们在八个数据集上进行了全面实验，结果证明了MedAugment的优越性。

本文的其余部分组织如下。第2节“相关工作”介绍了自动数据增强和医学图像分析中数据增强的最新进展。第3节“方法”讨论了所提出的MedAugment的方法论。第4节“实验”介绍了使用的数据集和实验设置。我们在第5节“结果与分析”中展示了结果、分析和消融研究。我们在第6节“结论”中总结了我们的工作并指出了未来的研究方向。

章节片段

自动数据增强

已经开发了许多自动数据增强方法来组合传统操作。2019年，Cubuk等人[27]开发了AutoAugment，其中搜索空间中的策略由多个子策略组成，每个子策略为每张图像随机选择。每个子策略包含从十六个操作中选择的两个数据增强操作。尽管AutoAugment取得了有希望的性能，但数据增强策略是通过强化学习方法搜索的，因此计算成本可能较高。

MedAugment

我们在图1中展示了所提出的MedAugment的实现。MedAugment包括$N=4$个增强分支和一个保留输入特征的分支。我们设计了像素增强空间A_p和空间增强空间A_s，并排除了可能破坏医学细节和特征的操作。这导致A_p中有六个操作，A_s中有八个操作。此外，我们开发了一种操作采样策略Π来限制从这两个空间中采样的操作数量

数据集

我们使用四个数据集来评估分类性能。乳腺超声（BUSI）数据集[49]来自600名25至75岁的女性患者，包含780张图像，其中437张、210张和133张分别为良性、恶性和正常图像。BUSI的平均图像分辨率为约500×500。超声鼻胃管（UNGT）数据集[50]是从SNGT[51]扩展而来的鼻胃管放置确认数据集，包含493张图像

分类

我们在表2和表3中展示了ResNet和SwT的分类结果。可以看出，所提出的MedAugment在所有模型中的表现都优于现有最佳方法。对于ResNet，MedAugment在24个指标中排名第一。在BUSI数据集上，MedAugment的准确率（ACC）达到了76.00%。GSDA的表现并不理想，准确率为61.57%。在UNGT数据集上，MedAugment在六个指标上达到了最佳效果，准确率为84.00%。类似的情况也出现在其他数据集上

结论

在这里，我们提出了一种适用于医学图像分析的通用自动数据增强方法MedAugment。我们定义了像素增强空间和空间增强空间，并排除了可能破坏医学图像细节和特征的操作。这可以防止严重的颜色失真或结构改变，从而维护医学诊断价值。此外，我们提出了一种采样策略，限制从所提出的空间中采样的操作数量。此外，我们制定了

CRediT作者贡献声明

刘兆山：撰写——审阅与编辑，撰写——原始草稿，可视化，验证，方法论，调查，形式分析，数据整理，概念化。吕秋杰：撰写——审阅与编辑，可视化，验证，方法论，调查，形式分析。李一凡：撰写——审阅与编辑，可视化，验证。杨子铎：撰写——审阅与编辑，可视化，验证。沈雷：撰写——审阅与编辑，监督，软件，资源，项目

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。