M BP:从多二元视角重新思考类别不平衡的半监督学习

《Neurocomputing》:M BP: Rethinking class-imbalanced semi-supervised learning from the multi-binary perspective

【字体: 时间:2026年03月15日 来源:Neurocomputing 6.5

编辑推荐:

  类不平衡半监督学习(CI-SSL)中传统方法易产生多数类主导的伪标签,影响少数类性能。本文提出MBP(多二进制视角),将多类任务分解为K个OVA二分类子任务,通过双调整策略优化损失函数和动态阈值机制,有效缓解伪标签偏置,在CIFAR-10-LT、CIFAR-100-LT和STL-10-LT数据集上达到SOTA性能。

  
叶晨涛|孟青艺|欧阳继红
吉林大学计算机科学与技术学院,长春,130012,吉林,中国

摘要

类不平衡半监督学习(CI-SSL)在现实世界应用中发挥着关键作用。然而,由于数据分布的不平衡,传统方法通常会产生偏向多数类的伪标签,从而降低对少数类的性能。我们发现CI-SSL的核心瓶颈在于传统多类框架中的全局优化范式无法适应特定类别的需求:多数类主导了优化过程,而忽视了少数类,现有的统一校正策略也无法实现精确的类别级偏差缓解。为了解决这一挑战,我们提出了MBP(多二进制视角)方法,该方法从多二进制分类的角度重新定义了CI-SSL。MBP将多类不平衡任务分解为K个一对所有(OVA)的二进制子任务,从而实现对极端类别不平衡的针对性优化。在这个框架中,我们设计了一种调整损失(ADL)并结合了双重调整策略(DAS)来保护少数类的表示。此外,还引入了类别级动态阈值(CWDT)来自适应地设置生成高质量伪标签的阈值。在结合了线性和多二进制分类器的双分支架构中训练的MBP,在CIFAR-10-LT、CIFAR-100-LT和STL-10-LT数据集上取得了最先进(SOTA)的性能。这项工作为CI-SSL提供了一个轻量且稳健的解决方案,同时为缓解伪标签偏差提供了一种新的范式。

引言

作为计算机视觉的核心驱动力,深度学习在各种关键任务中取得了突破性应用。例如,基于编码器-解码器和注意力机制的图像修复方法[1]、[2]有效地解决了传统网络中信息丢失导致的模糊和边缘伪影问题。在超分辨率中结合变换器和通道注意力[3]在轻量级架构内实现了重建质量和计算效率之间的良好平衡。同样,结合差分卷积和混合注意力[4]精确地解决了分割细小、不规则裂纹的挑战。此外,多模态跟踪框架[5]、[6]利用跨模态特征增强和融合策略充分利用了RGB和热红外数据之间的互补性,显著提高了复杂场景下的跟踪鲁棒性。尽管这些模型表现优异,但它们对大规模、高质量标注数据的依赖仍然是一个重大瓶颈,在实际应用中,标注往往耗时、劳动密集且成本高昂。
半监督学习(SSL)旨在通过利用丰富的未标记数据来增强模型训练,以缓解标签稀缺问题。SSL中最常见的两种范式是伪标签[7]、[8]和一致性正则化[9]。伪标签技术基于自我训练原则,将高置信度的模型预测作为未标记样本的人工目标。这些样本随后被纳入训练流程中,以迭代地改进模型。相反,一致性正则化约束模型在相同输入的不同扰动版本上产生稳定的预测,从而提高泛化能力。
在这些基础上,Mean Teacher[10]引入了教师-学生框架,以强制模型变体之间的一致性,显著提高了鲁棒性。MixMatch[11]随后统一了伪标签、一致性正则化和数据增强,为SSL设定了新的基准。FixMatch[12]进一步改进了这一范式,利用弱增强和强增强视图之间的跨一致性,以显著的效率实现了最先进(SOTA)的结果。最近,SoftMatch[13]使用截断高斯加权和分布对齐(DA)优化了伪标签的数量-质量权衡。
尽管取得了这些进展,但大多数主流SSL方法都是在类分布平衡的理想化假设下运行的。然而,在实践中,真实世界的数据本质上是长尾的,类不平衡现象普遍存在。在这种情况下,SSL模型容易生成偏向多数(头部)类的伪标签,导致少数(尾部)类的性能严重下降[14]、[15]。这项工作解决了更为实际和具有挑战性的类不平衡半监督学习(CI-SSL)问题。
为了缓解这些偏差,已经提出了几种CI-SSL框架。DARP[16]将伪标签细化视为一个凸优化问题,以使预测与估计的真实分布对齐。LA[17]基于类别先验应用逻辑回归调整来扩大稀有类的边际。ABC[18]引入了一个通过均匀采样训练的辅助平衡分类器来抵消标签偏斜。FGBC[19]结合了基于图的传播和灵活的阈值以及类感知的MixUp来减轻尾部类的过拟合。LCGAD[20]使用残差偏差吸引子将分布偏差与表示学习解耦。CDMAD[21]使用中性输入估计每个类别的偏差以消除预测偏差,而LCGC[22]采用一致性梯度冲突学习进行逻辑回归细化。最后,MW-FixMatch[23]结合了一个元加权网络来适应不平衡场景中的损失重新加权。
尽管在类不平衡半监督学习(CI-SSL)方面取得了显著进展,现有方法仍然面临关键限制。大多数方法以整体、类不可知的方式生成伪标签,仅依赖全局预测分数而不考虑特定类别的特征。这种全局分配加强了多数类的主导地位,而少数类则代表性不足,导致累积的监督偏差和特征学习效果下降。为了解决这个问题,我们提出从多二进制视角重新概念化CI-SSL,将多类任务分解为K个一对所有(OVA)的二进制子任务。通过隔离每个目标类的偏差,该框架实现了有针对性的偏差缓解,并增强了尾部类的表示学习。
我们的框架首先将CI-SSL任务分解为个不同的二进制不平衡子任务。我们采用了一个多二进制分类头,其中每个类别都映射到一个专用的OVA子分类器。对于这些分类器的优化,我们受到了非对称损失(ASL)[24]的启发——这是一种对Cross-Entropy(CE)的稳健替代方案,它通过不对称地调整类别权重来解决对易样本的过度敏感性和对难例的忽视。具体来说,我们为每个二进制子任务的正面和负面组件分配了不同的关注参数。ASL的详细实现细节将在第3.1节中进一步阐述。然而,这种架构仍然存在两个主要挑战。
首先,原始数据集的固有不平衡在每个二进制子任务中被放大,特别是当未标记数据分布未知时。在这种情况下,静态权重因子是不够的,极其稀有的类别很难从未标记数据中提取出区分性特征。其次,模型的伪标签仍然本质上偏向多数类,这个问题在难度不同的多二进制子任务中更加严重。如图1所示,虽然ASL的性能优于标准CE,但在纠正分布级偏差方面的效果仍然有限。
为了克服这些障碍,我们引入了多二进制视角(MBP)。在训练多二进制头时,我们用一种新的调整损失(ADL)替换了标准的二元交叉熵(BCE)。ADL结合了双重调整策略(DAS),该策略利用标记的类别先验和模型对未标记数据的经验预测来校准逻辑值。此外,我们通过伪标签计数估计未标记分布,并分配一个类别级动态阈值(CWDT)——该阈值来自分布估计和模型置信度的组合——来过滤高质量的伪标签。这些精细的标签反过来有助于更准确地迭代估计未标记分布。最后,多二进制头与标准分类器结合在双分支架构[25]、[26]中。如图1所示,与CE和ASL相比,MBP在分布匹配和不匹配的情况下都显著提高了少数类的召回率,同时没有牺牲多数类的性能。在CIFAR-10/100[27]和STL-10[28]上的广泛实验表明,MBP在各种不平衡配置中始终优于最先进的CI-SSL方法。
为了解决传统多类框架中全局优化范式的固有缺陷,即多数类主导过程且统一校正策略无法提供精确的类别级偏差缓解,我们提出了一种解耦的优化策略。本文的主要贡献如下:
  • 1.
    我们从多二进制分类的角度重新思考CI-SSL,将多类不平衡半监督任务分解为多个OVA二进制不平衡半监督子任务。这种分解有效地适应了每个子任务中正面和负面样本之间的极端不平衡。
  • 2.
    我们设计了一种调整损失(ADL),并结合了双重调整策略(DAS)。DAS利用标记的数据分布和未标记数据的经验预测概率来动态调整逻辑值,从而缓解由分布不匹配引起的伪标签偏差。
  • 3.
    我们提出了一种类别级动态阈值(CWDT)方法,该方法根据伪标签分布估计每个类别的未标记样本数量,并为每个类别设置自适应阈值。这确保了为多数类和少数类生成高质量的伪标签。
  • 部分摘录

    半监督学习(SSL)

    FixMatch[12]将伪标签与一致性正则化统一起来。它从弱增强的未标记图像生成one-hot伪标签,并通过交叉熵损失强制与强增强视图的一致性,采用固定的置信阈值和RandAugment进行强数据增强。在此基础上,后续方法调整了伪标签的阈值或加权策略,以提高它们的利用率和稳定性。FlexMatch[29]引入了课程

    非对称损失(ASL)的分析

    基于我们的多二进制框架,我们进一步研究了与此架构相匹配的损失函数设计。最近的一项研究[42]旨在通过分析和改进损失函数来解决CI-SSL问题。研究人员将特征表示学习与分类器训练分离。在特征学习阶段,他们采用了两轮伪标签生成策略来为未标记数据分配伪标签。在分类器训练阶段,他们进行了

    实验设置

    数据集。为了评估所提出的方法,在CIFAR-10 [27]、CIFAR-100 [27]和STL-10 [28]数据集上进行了实验。根据[54]、[55]中概述的实验设置,使用公式从CIFAR-10和CIFAR-100生成了长尾数据集(CIFAR-10-LT和CIFAR-100-LT),其中。此外,还从STL-10构建了一个长尾数据集(STL-10-LT),其中未标记数据的分布是未知的。
    基线。由于MBP

    结论

    在本文中,我们提出了一种名为MBP的新方法,以解决CI-SSL的核心挑战,即伪标签对多数类的偏差和少数类的低效利用——这两个都是现实世界SSL应用中的关键瓶颈。MBP通过多二进制范式重新概念化了CI-SSL,将多类不平衡任务分解为K个一对所有(OVA)二进制子任务。这种设计使得能够针对极端正/负

    CRediT作者贡献声明

    叶晨涛:写作 – 审稿与编辑,撰写原始草稿,验证,方法论,概念化。孟青艺:写作 – 审稿与编辑,撰写原始草稿,监督,方法论,概念化。欧阳继红:写作 – 审稿与编辑,监督,方法论。

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
    叶晨涛于2023年在中国吉林大学获得计算机科学与技术学士学位。他目前正在吉林大学计算机科学与技术学院攻读硕士学位。他的研究兴趣集中在半监督学习上。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    知名企业招聘

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号