用于解析类增量学习的局部自适应补偿方法

针对类增量学习中的灾难性遗忘和稳定性-可塑性权衡问题，本文提出基于局部自适应补偿的LACL方法，在解析类增量学习（ACIL）框架中引入邻域感知的特征精炼补偿机制，通过动态利用局部邻域特征增强表示鲁棒性，有效缓解欠拟合问题。实验表明LACL在CIFAR-100、ImageNet-100和ImageNet-Full上显著优于现有无示例方法，并随增量阶段增加优势增强。

　　

陈浩远|史诺贝|陈玲|李 Raymond S.T.

中国珠海：北京师范大学-香港浸会大学数据科学跨学科研究与应用广东省重点实验室

摘要

类增量学习（Class-Incremental Learning, CIL）任务具有特殊性挑战性，因为缺乏历史数据，这通常会导致严重的灾难性遗忘，并使得模型在稳定性和可塑性之间难以找到平衡。最近的分析型类增量学习（Analytic Class-Incremental Learning, ACIL）方法通过封闭形式更新来应对遗忘问题，但仍然容易过拟合且表示灵活性有限。为了克服这些限制，我们提出了局部自适应补偿学习（Locally Adaptive Compensation Learning, LACL）框架，该框架通过引入邻域感知的补偿机制来增强ACIL的效果。通过利用局部邻域表示，LACL增强了补偿过程，从而提高了表示的鲁棒性，减少了过拟合现象，并更好地管理了稳定性和可塑性之间的权衡。整个方法以封闭形式的递归方式构建，保持了可解释性和理论严谨性。在CIFAR-100、ImageNet-100和ImageNet-Full数据集上的实验表明，LACL在无样本方法中实现了最先进的性能，并且随着增量阶段的增加，其优势越来越明显。我们的代码可访问于：https://github.com/origi6615/lacl。

引言

类增量学习（Class-Incremental Learning, CIL）是由Rebuffi等人（2017年）和Zhang等人（2020年）提出的一种学习范式，其中模型通过多个阶段逐步进行训练，每个阶段引入一组新的、不相交的类别。这种设置因其实际应用价值而受到越来越多的关注，尤其是在模型需要不断适应新类别而无需从头开始重新训练的情况下。CIL减少了重复访问整个数据集的需求，使得学习更加高效和可持续。它特别适用于数据和标签以时间或空间分布方式出现的现实世界环境。从概念上讲，CIL类似于人类的学习过程，即个体在保留先前所学知识的同时逐步获取新知识。

尽管CIL具有许多优势，但它面临两个根本性挑战：灾难性遗忘（Belouadah等人，2021年）和稳定性-可塑性困境（Zhuang等人，2024年）。灾难性遗忘指的是模型在学习新任务后迅速丢失先前获得的知识，导致性能显著下降。稳定性-可塑性困境则是指在有效适应新信息的同时保持先前知识的难度。

现有的类增量学习方法可以根据其主要缓解灾难性遗忘的机制进行分类。大致上，这些方法可以分为三类：基于偏差校正的方法、基于正则化的方法和基于重放的方法。基于偏差校正的方法主要通过输出校准或分类器重新平衡来减轻由于增量阶段间类别不平衡造成的任务新鲜度偏差。基于正则化的方法限制了对过去任务中重要参数或激活值的更新，从而优先考虑稳定性。然而，这些限制不可避免地限制了学习新任务的灵活性，降低了模型的可塑性。基于重放的方法会存储一部分过去样本（示例），并在训练过程中重新使用这些样本以强化先前知识。虽然有效，但它们引入了额外的内存开销和潜在的数据隐私风险。

最近，分析型类增量学习（Analytic Class-Incremental Learning, ACIL）作为一种有前景的替代方案被提出。ACIL将CIL重新构建为封闭形式的递归更新，无需存储历史数据即可解决灾难性遗忘问题。具体来说，ACIL首先使用反向传播（Backpropagation, BP）在基础阶段训练一个主干网络，然后通过递归范式逐阶段逐步训练线性分类器。这种递归范式利用了Guo等人（2001年）和Zhuang等人（2021年）提出的分析学习方法，这些方法使用封闭形式解训练网络，并具有权重不变性。这意味着每个阶段递归训练的权重与同时使用全部数据训练的权重相同。然而，现有的分析方法仍然存在过拟合问题，并且仍然受到稳定性-可塑性困境的制约，主要是因为它们仅依赖于静态的线性投影和映射。

在这项工作中，我们提出了局部自适应补偿学习（Locally Adaptive Compensation Learning, LACL），它是分析型CIL的扩展，增加了邻域感知的特征细化作为额外的补偿机制。通过利用每个阶段内的局部特征结构，LACL增强了表示的鲁棒性，减轻了过拟合现象，并通过同时提高稳定性和可塑性来解决稳定性-可塑性困境。

本工作的主要贡献如下：

1. 我们提出了LACL，这是一种结合了局部自适应补偿的分析型CIL框架。

2. 引入了基于邻域的补偿机制来解决分析学习中的稳定性-可塑性困境。

3. 通过结合局部结构信息，缓解了封闭形式分析方法的过拟合问题。

4. 在CIFAR-100、ImageNet-100和ImageNet-Full数据集上的实验表明，LACL在无样本方法中实现了最先进的性能。

部分内容摘录

类增量学习

持续学习（Continual Learning, CL）指的是模型能够以顺序方式获取知识的能力，从而模拟了人类学习的某些方面。它包括几种范式，如类增量学习（Class-Incremental Learning, CIL）、任务增量学习（Task-Incremental Learning, TIL）和领域增量学习（Domain-Incremental Learning, DIL）。其中，CIL被认为是最具挑战性和研究最广泛的范式，因为模型必须在没有先前任务数据的情况下不断学习新类别。

方法论

所提出的LACL方法的框架如图1所示。在基础数据集上进行传统的基于反向传播（Backpropagation, BP）的主干网络训练后，我们将局部自适应补偿学习（Local Adaptation Compensation Learning, LACL）整合到分析型类增量学习（Analytic Class-Incremental Learning, ACIL）过程中。这种整合为每个阶段的ACIL主流训练提供了更强大的表示能力，从而有效平衡了稳定性和可塑性之间的权衡。

数据集和实现细节

我们在三个广泛使用的基准数据集上评估了LACL的性能：CIFAR-100、ImageNet-100和ImageNet-Full。

网络架构。遵循Zhuang等人（2022年）在ACIL中的实验设置，我们对CIFAR-100使用ResNet-32，对ImageNet-Full和ImageNet-100使用ResNet-18。

基础训练。在传统的CIL协议下，我们使用随机梯度下降（Stochastic Gradient Descent, SGD）对ResNet-32进行160个周期的训练，对ResNet-18进行90个周期的训练。

超参数分析

为了进一步研究邻域大小对局部自适应补偿机制的影响，我们分析了k最近邻（Equation 14）中K的选择如何影响性能。我们在CIFAR-100、ImageNet-100和ImageNet-Full的不同增量阶段设置（分别表示为P5、P25和P50）中，将K的值从1变化到200，以考察其效果。

如图4所示，增加K通常会在早期阶段带来明显的性能提升，因为更大的邻域

结论

在这项工作中，我们提出了局部自适应补偿学习（Locally Adaptive Compensation Learning, LACL），这是一种新型的分析型类增量学习框架，旨在解决现有无样本方法的局限性。通过将邻域感知的特征细化纳入补偿流程，LACL增强了表示的鲁棒性，减轻了过拟合现象，并在稳定性和可塑性之间取得了更好的平衡。

在CIFAR-100、ImageNet-100和ImageNet-Full上的广泛实验表明

CRediT作者贡献声明

陈浩远：撰写——原始草稿、软件实现、方法论设计、数据分析、概念化。史诺贝：数据可视化、验证、资源管理、数据分析。陈玲：项目监督、项目管理、概念化。李 Raymond S.T.：撰写——审稿与编辑、项目监督、资金筹集、概念化。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本文部分得到了广东省重点实验室IRADS（2022B1212010006）的支持。