PSR：一种用于长尾类别增量学习的主动软正交调节方法

《Pattern Recognition》：PSR: Proactive Soft-Orthogonal Regulation for Long-Tailed Class-Incremental Learning

长尾类增量学习中的主动软正交调节策略，通过PSP模块预留给尾类独立嵌入空间，SOBR模块结合语义连续性与软正交约束引导新类有序嵌入，有效缓解传统被动调整导致的尾类表示压缩问题，在CIFAR-100和ImageNet-Subset上显著提升尾类分类性能。

　　

付志翰|张志奇|廖世鹏|黄正宇|陈泽润|沈天宇

北京化工大学信息科学与技术学院，北京，100029，中国

摘要

长尾类别增量学习（LT-CIL）面临着数据流不平衡的挑战，这会由于对头部类别的固有偏见和灾难性遗忘的双重影响而削弱尾部类别的表示能力。现有方法通常采用被动调整特征空间的方式来缓解冲突，而尾部类别往往在学习能力上存在不足，尤其是在极端不平衡的情况下。为了解决这一限制，本文提出了一种主动的软正交调节策略，在基础阶段为未来的类别预留嵌入空间，并在增量阶段引导新类别占据这些空间，同时保持类别间的清晰边界。与硬正交或刚性约束不同，我们提出的软正交策略在保持特征空间语义连续性的同时，强制实现旧类别和新类别之间的必要分离，从而促进尾部类别的自然嵌入。该方法在多个基准测试中表现出先进的性能，显示出显著的鲁棒性、强大的泛化能力和对不同任务复杂性的适应性。

引言

类别增量学习（CIL）已成为机器学习和计算机视觉领域的热门话题[1]。这是因为对AI系统在动态现实世界环境中运行的需求不断增加，例如人员搜索[2]、[3]、[4]、自动驾驶和医学成像[5]，在这些环境中数据不断演变，新的类别不断出现。传统的深度学习方法需要完全访问所有训练数据，但在这些场景中表现不佳，因为它们会受到灾难性遗忘[1]、[6]、[7]的影响，导致先前学习到的类别的性能严重下降。

为了解决这些问题，CIL旨在在保留对先前学习到的类别的识别的同时，纳入新的类别[1]。然而，大多数方法隐含地假设类别分布是平衡的。相比之下，现实世界的数据通常具有长尾结构，其中少数头部类别包含大量样本，而许多尾部类别则严重匮乏[8]、[9]、[10]。这种不平衡使模型偏向于头部类别[11]、[12]，而尾部类别缺乏足够的学习信号来形成稳定的特征表示，从而导致增量更新过程中类别间的性能差距较大。有效地处理CIL中的长尾分布仍然是一个关键挑战[13]。

早期的类别增量学习研究主要集中在基于回放的方法[14]、[15]、[16]、[17]、[18]上，这些方法通过存储和回放少量旧类别样本来减轻灾难性遗忘。然而，它们没有对模型参数或特征空间结构施加明确的约束，允许新类别侵入旧类别的表示区域，导致语义冲突和重叠。在长尾场景中，这个问题更加严重，因为尾部类别很容易被主导类别淹没。为此，引入了知识蒸馏和正则化方法[19]、[20]、[21]、[22]、[23]、[24]，以稳定参数或约束输出分布，从而保留先前的知识。这些方法比回放策略具有更强的抗遗忘能力，但仍忽略了特征空间几何的明确调节。因此，新类别，尤其是尾部类别，仍可能侵入旧类别区域或被推向边缘，阻碍了稳健表示的形成。

与回放、知识蒸馏和正则化策略相比，最近的研究转向了特征空间建模，明确地对旧类别和新类别的分布进行建模[25]、[26]、[27]、[28]、[29]、[30]。通过约束特征之间的关系或优化类别结构，它们有效地减少了语义冲突，并适度改善了尾部类别的表示。然而，仍存在两个关键问题。首先，尾部类别仍然会经历空间压缩或特征重叠。这是因为这些方法的核心机制本质上是被动的：它们的主要目标是在特征冲突出现后解决冲突，因此特征空间调节通常在新类别出现之后才进行（如图1(a)所示）。例如，sub-prototype方法[29]在冲突后协调子原型和复习空间，而GVAlign[30]在特征学习后通过协方差对齐调整分布。因此，在严重的长尾不平衡情况下，尾部类别仍然容易重叠和嵌入区域压缩，限制了它们的学习机会。其次，特征空间缺乏语义连续性。大多数方法，如OrCo[28]，强制实施硬正交性以严格分离旧类别和新类别的特征，忽略了类别之间的语义关系。结果，尾部类别通常被迫进入遥远区域，导致表示碎片化或边缘化。

基于这一理念，我们提出了一种称为主动软正交调节（PSR）的方法，用于长尾类别增量学习（LT-CIL），该方法包括两个核心模块。首先，引入了主动空间提供（PSP）模块，提前为即将到来的类别预留潜在的嵌入空间，解决了未来类别是否有足够的表示空间的问题，从而减轻了由空间竞争引起的特征冲突。其次，设计了软正交性和边界调节（SOBR）模块，灵活地引导新特征进入预留空间，确定它们应该如何插入，同时保持语义连续性和清晰的类别边界。在CIFAR-100和ImageNet-Subset上的实验表明，我们的方法与多个基线相比，整体性能始终更优，特别是在尾部类别上取得了显著改进。这表明我们的方法可以有效地在特征空间中对旧类别和新类别的表示进行建模，同时显著提高尾部类别的表示质量和分类鲁棒性。

总之，我们的贡献有三个方面：

•

提出了一种用于LT-CIL的主动软正交调节策略，通过主动特征空间调节实现旧知识和新知识的协调建模，为尾部类别提供足够的学习空间。

•

引入了两个关键模块：PSP和SOBR。PSP模块主动预留潜在的嵌入区域，以减轻旧类别和新类别之间的冲突，而SOBR模块引导新类别灵活地嵌入预留空间，确保语义连贯性和清晰的类别边界。

•

通过PSP和SOBR的协同效应，我们的方法在高度长尾的增量场景中显著增强了尾部类别的特征鲁棒性，在尾部类别的平均准确率和整体平均增量准确率方面都取得了良好的性能。

章节片段

类别增量学习

CIL是持续学习[31]的一个特定分支，旨在在模型学习新知识时减轻灾难性遗忘[1]。现有方法分为三类：基于回放的方法[13]、[15]、[16]、基于正则化的方法[19]、[20]、[22]和特征空间建模方法[26]、[28]。基于回放的方法通过存储或生成旧类别样本或特征的子集，并在增量阶段与新数据一起回放它们来保留知识。典型的工作包括

问题表述

LT-CIL专注于在长尾分布下顺序学习新的类别任务，同时保留对先前学习到的类别的知识。具体来说，模型学习一系列任务，训练数据流表示为$D_{\text{train}}^t=\{D_{\text{train}}^1,D_{\text{train}}^2,?,D_{\text{train}}^T\}$。对于每个任务t，可访问的数据是$D_{\text{train}}^t={\left\{(x_i^t,y_i^t)\right|y_i\in C^t\}}_{i=1}^{N_t}$，其中C^t表示任务t的类别集，N_t是样本总数。不同任务的类别集是不相交的，即$C^i\cap C^j=?$

数据集

根据之前的工作[25]、[29]、[30]，在CIFAR-100和ImageNet-Subset上进行了实验，使用了100个类别和相同的任务划分。对于这两个数据集，基础阶段包括50个类别。在5任务设置（T = 5）中，每个增量任务依次引入10个新类别，形成50 + 5 × 10的划分。在10任务设置（T = 10）中，每个增量任务依次引入5个新类别，形成50 + 10 × 5的划分。这两个数据集的更多细节是

额外开销分析

PSP和SOBR模块引入的开销很小。PSP通过类内凝聚力和类间分离为未来的类别预留空间，通过最近邻居生成的标记引导新类别特征，仅涉及小的向量或矩阵操作，与主干卷积和全连接层相比。SOBR使用轻量级的AutoencoderSigmoid构建投影空间，其简单的结构使前向和后向传递速度很快，同时保持语义

结论

总之，这项工作通过引入一种主动的软正交调节方法，解决了LT-CIL中尾部类别表示不足的关键挑战。与2024/2025年强制全局特征空间对齐或刚性几何正交性的方法相比，我们的方法在增量学习过程中主动预留空间并精细调节新类别特征，最大限度地保持了语义保留，同时保持了灵活性和连续性。通过协同效应

CRediT作者贡献声明

付志翰：撰写——原始草案、可视化、验证、方法论、调查、形式分析。张志奇：可视化、验证。廖世鹏：可视化、验证。黄正宇：可视化、验证。陈泽润：可视化、验证。沈天宇：撰写——审稿与编辑、监督、项目管理、资金获取、概念化。

利益冲突声明

沈天宇报告称获得了北京自然科学基金的支持。沈天宇报告称获得了国家自然科学基金的支持。沈天宇报告称获得了西安交通大学混合人机增强智能国家重点实验室的支持。如果有其他作者，他们声明没有已知的竞争性财务利益或个人关系可能影响

致谢

本工作得到了北京自然科学基金（项目编号4252048）；国家自然科学基金（项目编号62302047）；以及西安交通大学混合人机增强智能国家重点实验室（项目编号HMHAI-202416）的支持。