《Knowledge-Based Systems》：Debiased Incremental Learning (DIL): A Novel Framework for Mitigating Bias in Incremental Learning
编辑推荐：
增量学习中的偏见累积问题，本文提出DIL方法，通过感知偏见的示例收集模块和差异化损失加权模块，平衡保留历史知识和消除数据偏见，在多个基准数据集上显著优于现有方法。
Shubham Bagwari | Pratik Mazumder
印度理工学院焦特布尔分校，印度拉贾斯坦邦焦特布尔，342030
摘要
在许多实际应用中，模型必须能够随着时间的推移适应新的类别，而无需从头开始重新训练。深度学习模型在这种情况下通常表现不佳。增量学习通过允许模型持续学习来解决这一问题。然而，当新数据包含虚假相关性形式的偏见时，模型有风险逐渐强化这些偏见，从而导致预测结果出现偏差或有害的结果。研究人员已经开始探索在增量学习环境中减轻基于虚假相关性的偏见的方法，但在性能方面仍有很大的提升空间。多种增量学习方法利用“群集”技术来保留之前见过的类别的样本。我们首次通过实验表明，在有偏见的数据集上使用标准群集技术会导致样本集出现严重偏见，从而进一步强化模型中的偏见。为了解决这些问题，我们提出了一种新的方法——去偏增量学习（Debiased Incremental Learning, DIL），该方法结合了一个具有偏见意识的群集模块和一个具有偏见意识的增量训练模块。所提出的方法确保样本集中的样本在偏见对齐和偏见冲突方面达到平衡，并在训练过程中分配不同的损失权重，以促进公平、稳健的表示。我们在多个基准数据集上评估了该方法，并证明其性能优于现有方法。在p=0.005的偏见冲突比率下，该方法在损坏的CIFAR10-Type0和Type1数据集上的表现分别优于最接近的方法6.48%和7.21%。在p=0.01的情况下，它在UTKFace和ImageNet9数据集上的表现也分别优于最接近的方法2.41%和2.36%。
引言
深度学习模型通常是在一个大型数据集上一次性训练完成的，用于进行预测。然而，在许多实际场景中，需要整合新数据或新类别时，从头开始重新训练往往效率低下。这时增量学习就显得很有用，它允许模型从新数据中持续学习，而无需重新开始。然而，当新数据包含虚假相关性形式的偏见时，模型会产生有偏见的预测[1]。在增量学习中，由于灾难性遗忘已经影响模型性能，这些偏见尤其成问题，因为它们会随着时间的推移被引入和累积，如图1所示。这导致模型在逐步训练过程中不断强化现有的偏见，从而产生越来越偏颇的预测。我们将这一挑战称为“具有偏见缓解的增量学习”（ILBM）问题。在这项工作中，我们提出了一种新的方法来解决这个问题。
研究人员提出了多种方法来处理增量学习问题。一些增量学习方法仅依赖于正则化来防止信息丢失或先前见过的类别被遗忘[2]。同时，其他方法依赖于保留之前类别中的一些代表性样本作为示例集，以减少对先前类别的遗忘[3]。研究人员还研究了偏见缓解问题，特别是数据中由虚假相关性引起的偏见。例如，在一个所有汽车图像都是红色的数据集中，红色与“汽车”类别之间的虚假相关性可能导致模型错误地将任何红色车辆识别为汽车。为了缓解这种影响，之前的研究探索了诸如数据选择等策略来打破虚假相关性[4]。然而，针对具有偏见缓解的增量学习问题的研究仍然有限。在[5]中，作者提出了一种对抗性去偏方法，通过调整编码学习表示所需的位数来解决这个问题。有一些研究将偏见消除作为其增量学习方法的一部分。然而，这些研究[6],[7]通常是通过减少新出现类别相对于先前见过的类别的偏见或真实数据相对于合成数据的偏见来提高模型性能的方法，这与我们在这项工作中处理的基于虚假相关性的偏见不同。具有偏见缓解的增量学习环境与这些环境有根本性的区别。
为了保留先前见过的类别的信息，增量学习方法使用了一种非常流行的技术，称为“群集”（herding），该技术通过选择最接近类别特征均值的样本来填充示例集。这个示例集用于减少模型对先前类别的遗忘。在有偏见的数据集中，类别特征均值往往偏向于具有偏见的样本，导致群集过程主要选择和存储这些样本，如图2所示。因此，具有偏见冲突的信息在示例集中严重不足，这进一步放大了虚假相关性，并在增量学习过程中传播偏见，损害了模型公平和稳健的性能（参见第4节）。这使得具有偏见缓解的增量学习问题更加难以解决。这就是我们提出这种方法的动机。我们在第3节中详细解释了这一环境以及偏见对齐和偏见冲突样本的概念。
我们提出了一种新的方法——去偏增量学习（Debiased Incremental Learning, DIL），来解决具有偏见缓解的增量学习问题。所提出的方法是一个框架，旨在在模型逐步学习的同时保留先前的知识并减轻偏见。DIL结合了两个关键组件：一个具有偏见意识的群集模块，用于处理示例集中重放样本的偏见；以及一个具有偏见意识的增量训练模块，用于减少偏见对逐步训练模型的影响。这两个组件共同确保模型在训练过程中强调偏见冲突样本，并保持示例集的平衡。这些技术非常轻量级，不需要辅助网络或复杂的调整，但在减少增量学习过程中的偏见积累方面非常有效。在多个有偏见的基准数据集上的广泛实验表明，DIL始终优于之前的方法，并为具有偏见意识的增量学习提供了实用且可扩展的解决方案。除了合成基准数据集外，我们还在UTKFace和ImageNet9等实际有偏见的数据集上评估了DIL，以证明其在复杂、多类别和自然存在的偏见场景下的适用性。
我们的贡献总结如下：
- •
我们通过实验表明，在具有偏见缓解的增量学习环境中应用标准群集机制会导致样本集也出现严重偏见。
- •
我们提出了一种新的具有偏见意识的群集模块，该模块采用了一种新的群集策略，明确选择偏见对齐和偏见冲突样本的平衡子集，从而促进随时间推移的公平表示。
- •
我们还提出了一种具有偏见意识的增量训练模块，使模型能够从初始任务开始学习更稳健和公平的表示。
- •
所提出的方法在包括合成和实际有偏见的数据集在内的多个基准数据集上的表现显著优于其他方法。
相关工作
相关工作
在本节中，我们回顾了与偏见缓解、增量学习以及具有偏见缓解的增量学习相关的前期工作。
问题设定
我们考虑了具有偏见缓解的增量学习（ILBM）问题，其中训练数据是按顺序提供给T个任务的：每个任务数据集包含Nt个样本，每个样本都带有目标标签和一个受保护的属性表示任务t中的所有类别标签。例如，在有偏的MNIST数据集中，y表示数字身份，h表示颜色。重要的是，标签
在具有偏见缓解的增量学习环境下的群集限制
几种增量学习方法明确依赖于群集[3]策略来保留先前见过的类别的知识。群集通过迭代选择最接近每个类别均值特征的样本来选择代表性样本，旨在近似整个类别分布。当数据集在偏见对齐和偏见冲突样本方面平衡时，这种方法有效，允许原型样本支持准确的复习并减轻灾难性遗忘
方法论
我们提出了一种新的方法——去偏增量学习（Debiased Incremental Learning, DIL），来解决具有偏见缓解的增量学习（ILBM）问题。我们的方法明确解决了ILBM设置中的关键挑战。所提出方法的概述如图3所示。表2提供了用于描述所提出框架的符号和符号的总结。我们方法的组成部分和方法论在以下小节中详细说明。
数据集和实现细节
我们在三个为具有偏见缓解的增量学习设计的基准数据集上评估了我们提出的方法：有偏的MNIST（BMNIST）、损坏的CIFAR10-Type0（CCIFAR10-Type0）和损坏的CIFAR10-Type1（CCIFAR10-Type1）。每个数据集都包含一个指定的目标属性，即要预测的主要类别标签，以及一个相应的受保护属性，该属性引入了虚假相关性，理想情况下应被忽略，以实现公平和无偏的表示学习。
计算复杂性和内存开销
我们分析了所提出的DIL框架引入的计算和内存开销。总体而言，与iCaRL相比，DIL只增加了很小的额外成本。BAIT模块在样本级别引入了简单的标量重加权，并且不添加辅助网络或对抗性优化，导致内存开销始终低于或约为1%。BAH模块仅在示例选择期间应用，并且是离线操作的，计算
在具有偏见意识的增量训练（BAIT）中对α值的消融研究
我们通过改变权重系数α来进行消融研究，该系数平衡了分类损失和具有偏见意识的正则化项在整体目标中的作用。具体来说，我们在CCIFAR10-Type0验证数据集上评估了一系列α值在不同的偏见设置下，这些设置由偏见比率p定义。在这项研究中，我们使用标准群集进行示例选择，以便评估
结论
在这项工作中，我们提出了去偏增量学习（Debiased Incremental Learning, DIL）框架，以解决在增量学习环境中从有偏见的数据中学习的关键挑战。虽然增量学习对于构建可扩展、适应性强的模型至关重要，但当面对数据流中的虚假相关性时，它变得特别脆弱。如果这些偏见得不到解决，它们会随着时间的推移而累积，导致性能下降和预测不公平。
CRediT作者贡献声明
Shubham Bagwari：撰写——审阅与编辑、撰写——原始草稿、方法论、调查。Pratik Mazumder：撰写——审阅与编辑、撰写——原始草稿、验证、监督、调查、概念化。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
