《IEEE Transactions on Big Data》：CEFCIL: Comprehensive Ensemble Framework for Exemplar-Free Class Incremental Learning
编辑推荐：
本研究针对无样本类增量学习（EFCIL）中存在的灾难性遗忘、稳定性与可塑性难以平衡及初始训练阶段维数崩溃等核心挑战，提出一种全面的集成框架CEFCIL。该框架融合了多样化基网络、基于马氏距离的集成最近类均值分类器、缓存根模型的双知识蒸馏策略以及维数崩溃预防策略，在不同实验条件下均展现出卓越性能，并具备强大的跨领域能力。
随着深度学习的快速发展，模型已广泛应用于视觉识别、自然语言处理等多个领域。然而，现实世界中的数据和知识是不断涌现和流动的，传统静态数据集训练模式已难以应对。在这种持续学习新知识的过程中，模型往往会“学新忘旧”，导致对先前已学任务性能的急剧下降，这一现象被称为“灾难性遗忘”。尤其是在用户隐私和设备容量等限制条件下，模型无法保存和回放旧任务数据的真实样本，即“无样本”学习场景，这使得缓解遗忘的任务变得更具挑战性。目前主流的解决方案各有侧重，例如基于原型的方法和基于知识蒸馏的方法，但它们通常在稳定性、可塑性和泛化能力之间存在难以调和的矛盾。为了解决这些交织在一起的难题，研究人员在《IEEE Transactions on Big Data》上发表了题为“CEFCIL: Comprehensive Ensemble Framework for Exemplar-Free Class Incremental Learning”的论文。
为了攻克这些难题，研究人员提出了一种名为CEFCIL的综合集成框架。其核心策略包括：设计一个由多个多样化基模型组成的集成体，以提高模型的可塑性和泛化能力；通过引入双知识蒸馏策略（包含传统的邻任务蒸馏和基于缓存的“根蒸馏”），有效缓解累积性遗忘；在基模型初始化阶段引入维数崩溃预防策略，以应对因类不平衡训练子集导致的表征能力退化问题；借鉴FeCAM方法，采用基于各向异性马氏距离的集成最近类均值分类器，以更好地适应特征分布差异大的数据。
3.1 问题定义
研究聚焦于无样本类增量学习任务，其目标是在无法访问旧类样本的条件下，让模型在连续学习包含不同类别集合的一系列任务时，能够对所见过的所有类别保持分类能力。训练数据流被定义为一系列任务的集合，每个任务有其独立的类别标签空间。
3.2 多样化基模型的初始化训练阶段
为增强基模型的多样性和异质性，研究人员设计了一种差异化基模型训练策略。首先，使用完整的初始训练集训练第一个基模型。随后，训练集分割器将初始训练集随机划分为K-1个子集，分别用于初始化剩余基模型。此过程确保了各基模型拥有共同的特征空间，同时通过子集内类比例的不同引入差异。为了防止子集类不平衡可能导致的特征表征维数崩溃，研究人员在初始化训练中引入了基于相关矩阵Frobenius范数的正则项。
3.3 基于双知识蒸馏策略的基模型微调阶段
为了对抗随着任务增加而加剧的累积性遗忘，研究人员设计了双知识蒸馏策略。该策略不仅利用前一任务的模型指导当前任务学习，还引入了一个在初始训练完成后缓存的、不再更新的“根模型”来共同指导学习。具体地，总的损失函数由交叉熵损失、邻任务知识蒸馏损失和基于根模型的知识蒸馏损失三部分加权组成。
3.4 新类分布信息构建阶段
在每个增量学习任务完成后，每个基模型会基于其提取的特征向量，计算并存储新学类别的原型（均值向量）和归一化的协方差矩阵。为了确保来自不同类别的马氏距离具有可比性，并对协方差矩阵进行归一化处理。当样本数量少于特征维度时，采用协方差收缩策略以确保矩阵可逆。
3.5 基于马氏距离的集成预测阶段
对于未知样本的预测，CEFCIL采用一种基于各向异性马氏距离的集成最近类均值分类器。每个基模型会计算该样本到所有已学类别的马氏距离，随后将所有基模型对同一类别计算的距离求和，最终将样本分配给总距离最小的类别。
研究结论与讨论
本研究提出的CEFCIL是一个首个旨在全面解决EFCIL中可塑性、稳定性、泛化能力平衡以及初始训练阶段维数崩溃问题的综合方法。该方法通过融合原型机制、双知识蒸馏策略、多样化基模型以及各向异性马氏距离度量，在不同实验场景下均表现出卓越的性能，并展现了强大的跨领域能力。具体而言，通过引入多样化的训练集划分策略和维数崩溃预防策略，显著增强了基模型的多样性和鲁棒性。提出的基于马氏距离的集成NCM分类器，在非平稳数据分布场景下极大地提升了预测性能。研究结果表明，相较于现有的EFCIL方法，CEFCIL在多个基准数据集上均达到了领先水平，有效缓解了灾难性遗忘，并在面对数据分布显著变化的跨域任务时保持了良好的适应性。这项工作为在严格的无样本约束下实现持续、稳定的学习提供了新的思路和有效的技术路径。
