面向长尾医学图像分类的隐式增广对比学习

《Biomedical Signal Processing and Control》：Implicit Augmentation Contrastive Learning for long-tailed medical image classification

　　

现实世界中的医学图像数据通常呈现长尾分布，尾部类别样本稀少而头部类别样本丰富。尽管基于监督对比学习（SCL）的方法在长尾医学图像分类中取得了良好结果，但其学到的表示往往判别能力有限。在本文中，研究人员提出隐式增广对比学习（IACL），通过优化一种新颖的损失函数将特征增广融入对比学习。因此，所提出的IACL框架能够学习更具判别性的特征表示。具体而言，研究人员首先将每个原始样本的语义增广变体建模为以该样本本身为中心的高斯分布。其次，提出一种协方差矩阵估计方法，包括一个协方差矩阵预测网络和一个后处理协方差矩阵校准技术。与现有方法在类内样本间共享相同协方差矩阵不同，该协方差矩阵预测网络捕获样本特定信息，从而为每个样本生成专属的协方差矩阵。后处理协方差校准技术能够校准尾部类别的协方差矩阵，从而缓解样本稀缺导致的不可靠预测。最后，通过将分布采样的增广与对比学习相结合，推导出一个计算高效的对比损失闭式上界。所提出的IACL在五个长尾医学图像分类数据集上取得了竞争性性能，分别达到0.882、0.861、0.874、0.899和0.834的top-1准确率。代码见https://github.com/LTMIC-Hub/IACL。

**论文解读：面向长尾医学图像分类的隐式增广对比学习**

**研究背景与问题**
在医学图像分析中，深度神经网络（DNN）已广泛应用于疾病诊断和病灶检测，通常依赖大规模且类别平衡的数据集。然而，真实临床场景中疾病样本往往远少于非疾病样本，导致采集的数据集呈现长尾分布：头部类别（如常见疾病或非疾病）样本数量庞大，而尾部类别（如罕见疾病）样本极为稀缺。直接在该类不平衡数据上训练的深度模型会偏向头部类别，在尾部类别上性能显著下降。现有应对策略包括重采样、重加权损失和数据增广。重采样通过欠采样头部或过采样尾部来平衡数据，但过采样易导致尾部过拟合，欠采样则可能丢失关键信息。重加权方法（如Focal Loss、LDAM）调整损失权重以强化尾部重要性，但可能加剧尾部过拟合。数据增广分为图像级和特征级，图像级混合方法（如Mixup、CutMix）在医学图像中可能引起关键病变区域的失真或信息丢失；特征级增广中的隐式方法（如ISDA、MetaSAug）将增广特征建模为高斯分布，但类条件协方差矩阵估计在长尾场景下存在偏差。另一方面，监督对比学习（SCL）通过拉近正样本、推远负样本学习判别表示，但在长尾分布下同样偏向头部类别。现有方法（如ProCo、ECL）通过构造类原型引入额外信息，但尾部类别的原型信息不足，且多样性受限。因此，亟需一种既能有效增广特征又能结合对比学习，且适用于长尾医学图像分类的框架。

**研究内容与意义**
针对上述问题，研究人员提出隐式增广对比学习（Implicit Augmentation Contrastive Learning, IACL），通过优化一种新颖损失函数同时实现特征增广和对比学习，从而学习更具判别性的表示。该方法将每个样本的语义增广变体建模为以该样本自身特征为中心的高斯分布，并设计协方差矩阵预测网络（CMNet）和后处理协方差矩阵校准（CMC）技术，为每个样本生成专属协方差矩阵，尤其缓解尾部类别样本稀缺导致的不可靠估计。最终推导出对比损失的闭式上界，避免显式采样带来的计算开销。IACL在五个长尾医学图像数据集（ISIC2018、ISIC2019、HAM10000*、Hyper-Kvasir、APTOS2019）上均取得领先性能，验证了其有效性和效率。论文发表在《Biomedical Signal Processing and Control》。

**主要技术方法**
1. **协方差矩阵预测网络（CMNet）**：由两个卷积层（3×3核，步长1，填充1）、平均池化层和Tanh激活函数组成。输入为嵌入向量a_i∈R^k×1，通过计算a_i与自身转置的乘积并除以维度k得到特征矩阵，再经卷积和池化处理，最后与自身转置相乘并通过Tanh激活，输出样本特定协方差矩阵Σ_i=M_iM_i^?，确保半正定性。
2. **协方差矩阵校准（CMC）**：根据样本所属类别（头部H、中部M、尾部T）对预测的样本特定协方差矩阵进行校准。对于头部类别，直接使用CMNet输出；对于中部类别，加入类条件协方差矩阵；对于尾部类别，额外加入当前批次中语义最相似（余弦相似度）的异类样本的协方差矩阵，以缓解样本稀缺导致的偏差。校准仅在训练后期（epoch≥E_t=40）启用。
3. **隐式增广对比损失（IACL）**：基于平衡对比学习（BCL）框架，对每个锚点样本a_i建模其隐式增广变体为高斯分布N(a_i, λΣ_i)，通过Jensen不等式和矩生成函数推导出对比损失的上界，该上界可直接优化且无需显式采样。最终总损失为交叉熵损失、BCL损失和IACL损失（权重α=(e/E)²）的加权和。
样本队列来源：ISIC2018（7类，不平衡比58.30）、ISIC2019（8类，53.87）、HAM10000*（7类，51.93）、Hyper-Kvasir（23类，191.33）、APTOS2019（5类，9.13）。所有数据集按3:1:1随机划分为训练、验证和测试集，使用ImageNet预训练ResNet-50作为骨干网络。

**研究结果**
1. **消融实验（第4.3.1节）**：通过逐步添加CE、BCL、CMNet+ IACL、CMC到完整IACL，在四个数据集上验证各组件的贡献。完整IACL在所有数据集上取得最佳Top-1准确率（ISIC2018: 0.882, ISIC2019: 0.861, HAM10000*: 0.874, Hyper-Kvasir: 0.899），证明CMNet、CMC和IACL损失均显著提升性能。
2. **计算资源消耗（第4.3.2节）**：与GPaCo、ECL、BPaCo对比，IACL在ISIC2018、ISIC2019和Hyper-Kvasir上以较少的模型参数（23.93M~23.97M）、GPU内存消耗（约13.4~13.9 GiB）和每轮训练时间（31~74秒）取得最高准确率。尤其当类别数增加时，ECL因构造大量可学习原型导致训练不可行（Hyper-Kvasir上不收敛），而IACL保持高效。
3. **与最先进方法比较（第4.3.3节）**：在五个数据集上，IACL在Top-1准确率和macro F1-score上均超越CE、Focal Loss、LDAM、SCL、TSC、BCL、GPaCo、ECL、BPaCo。例如，在ISIC2018上，IACL准确率0.882（第二0.875），F1 0.793（第二0.781）；在Hyper-Kvasir上准确率0.899（第二0.889）。
4. **细粒度比较（第4.3.4节）**：按头部（H）、中部（M）、尾部（T）分组报告Top-1准确率。IACL在头部和中部类别上均优于或持平于其他方法，在尾部类别上虽略低于GPaCo（因其牺牲头部/中部性能），但整体准确率最高，表明IACL平衡了各类别性能，更适应实际临床测试集的长期分布。
5. **可视化分析（第4.3.5节）**：使用t-SNE对ISIC2018、ISIC2019、HAM10000*测试集上的特征嵌入进行二维投影。与CE（边界模糊、类内分散）、ECL和BPaCo（尾部类分离改善但仍有重叠）相比，IACL的类间边界更清晰、类内紧凑性更强，说明其学习了更具判别性的特征表示。

**总结讨论与结论**
论文在讨论部分指出，现有对比学习方法在长尾医学图像中面临尾部信息不足和表示判别能力受限的问题。IACL通过隐式特征增广和样本特定协方差估计，在不增加推理成本的情况下有效缓解了类不平衡。实验表明，IACL在五个数据集上均取得最优或次优性能，且在计算资源消耗上优于多种原型类方法。**结论部分（第5节）**翻译如下：医学图像数据常受长尾分布影响，限制了深度学习模型在临床中的泛化能力。本文提出了一种面向长尾医学图像分类的隐式增广对比学习（IACL）。研究人员将每个样本的增广变体建模为以该样本自身为中心的独立高斯分布。为估计每个实例的样本特定协方差矩阵，提出协方差矩阵预测网络和协方差校准方法，以解决样本不足导致的尾部类别协方差不可靠估计。为降低计算成本，推导出对比损失的计算高效闭式上界，优化该上界等价于同时实现隐式增广和对比学习。因此，所提出的IACL有效缓解了长尾医学图像分类中的类别不平衡。在五个临床数据集上的全面验证表明，IACL优于所有现有方法。未来，研究人员将系统研究精确生成建模技术以实现更高效的增广范式，并最终发展一种计算高效的对比学习架构，在提升诊断性能的同时降低计算开销。