EARL：利用带有噪声标签的遗忘回放机制进行学习

《Pattern Recognition》：EARL: Embracing Amnesic Replay for Learning with Noisy Labels

标签噪声下持续学习优化方法及实验研究|Amnesic Replay|采样策略分析|NLP基准验证|持续学习改进

　　

莫妮卡·米伦齐（Monica Millunzi）|洛伦佐·博尼切利（Lorenzo Bonicelli）|安杰洛·波雷洛（Angelo Porrello）|雅各布·克雷迪（Jacopo Credi）|彼得·N·科尔姆（Petter N. Kolm）|西蒙娜·卡尔代拉拉（Simone Calderara）

意大利摩德纳-雷焦艾米利亚大学“恩佐·法拉利”工程系，摩德纳，41125，MO

摘要

现代深度神经网络在流式数据环境中难以保留知识，这常常导致在增量训练过程中出现遗忘现象。大多数持续学习（Continual Learning, CL）方法通过在获取新知识的同时复习存储在重放缓冲区（replay buffer）中的过去数据来解决这一问题。然而，在实际场景中，噪声标签可能会污染重放缓冲区，从而影响性能。本研究在之前的工作“愿遗忘与你同在”（May the Forgetting Be with You）的基础上进行了扩展，旨在解决带有噪声标签的持续学习问题。通过利用正确标记和错误标记示例之间的不同学习动态，该方法诱导有针对性的遗忘，以识别和过滤掉噪声标签。我们提出了EARL方法，它在以下几个方面进行了改进：i) 对存在噪声时的学习动态进行了详细分析；ii) 在更现实的噪声条件下进行了稳健性分析；iii) 使用预训练的模型骨干和现代基于提示的CL基线进行了性能评估；iv) 对不同采样策略的影响进行了详细研究；v) 在自然语言处理（NLP）基准测试上的实验。这项工作揭示了先前研究的动机和发现，阐明了其各组成部分在实现高性能和最小化遗忘方面的有效性。

引言

为了适应数据不断变化的特性，现代AI系统需要频繁地对所有先前见过的数据进行昂贵且耗时的重新训练，以避免灾难性遗忘现象[1]。这引发了人们对持续学习（CL）的兴趣。在这一领域，最有前景的解决方案之一是将少量数据存储在内存缓冲区中以供后续重放[2],[3]。这种策略通常被称为经验重放（Experience Replay）[4],[5]，它依赖于平衡且具有代表性的样本集来描述过去的知识。在这方面，错误标记的样本可能对基于重放的CL方法特别有害，因为噪声样本污染内存缓冲区可能会进一步削弱模型在旧任务上的表现。此外，由于边缘设备生成的数据量不断增加，手动标记每个传入样本或通过人工干预修正半自动注释变得不切实际。因此，注释噪声在许多大规模场景中变得普遍[6],[7],[8]。

尽管强大的、现实的终身学习至关重要，但只有少数初步研究关注了增量场景中的噪声标签[9],[10],[11],[12]。这些方法利用已建立的记忆效应[13],[14],[15]来检测最可靠的样本，并主要在训练中利用这些样本。这里的想法是在训练的早期阶段优先考虑最可靠的样本（即损失值最低的样本）。尽管可能存在一些错误，但通过分析损失值的分布可以检测到大多数干净样本。

在我们的研究中，我们在[9]的基础上进行了扩展，并认为利用记忆效应在持续学习中存在局限性。实际上，随着模型进行持续的微调，随着任务的进展，干净样本与噪声样本之间的损失差距会减小[16],[17]，这会随着时间的推移削弱样本检测的有效性。当前文献往往忽视了这个问题，因为它主要关注在线CL。在这种特殊设置中，每个任务只允许进行一次训练，模型始终远离最优状态，因此记忆效应持续存在（图1 – 左侧）。然而，我们警告这种实验设置的局限性，因为它无法适应需要多次训练才能达到满意性能的任务[18]（图1 – 右侧），或者那些数据量巨大的任务（例如，训练大型语言模型）。

因此，本文从离线持续学习的角度探讨了在噪声标签下的学习问题。根据我们的初步分析，我们提出了一种简单但激进的方法来克服干净样本与噪声样本之间损失差距消失的问题。

为此，我们从[17],[19]的杰出工作中获得灵感，这些工作从数学上证明了错误标记的样本表现出快速遗忘，而复杂或罕见的实例则会被保留更长时间（或根本不会被遗忘）。因此，我们的方法通过一种称为遗忘重放（Amnesic Replay）的策略有意诱导遗忘。标准经验重放会持续优化来自新任务和存储在内存缓冲区中的样本，而遗忘重放则定期暂停对内存缓冲区中样本的优化。在此期间，我们观察到与噪声样本相关的损失增加得比干净数据的损失更快，从而提供了一种定量方法来在训练过程中识别噪声样本。此外，这种直观的策略通过一个辅助标准（称为双倍损失感知采样）得到了改进，该标准旨在保留过去任务中最重要的样本。

通过几项深入研究，我们展示了我们的提案——Embracing Amnesic Replay for Learning with Noisy Labels（EARL）——在噪声标签下显著提高了CL模型的稳定性和性能。值得注意的是，EARL可以应用于任何基于重放的技术和不同类型的噪声，从合成生成的噪声到数据收集过程中出现的真实噪声。具体来说，我们评估了由人类注释者在注释过程中引入标签噪声的情况，以及通过自动注释过程（例如，通过爬取网络收集的数据）引入标签噪声的情况。为了模拟自动标注流程，我们进行了一项实验，其中数据是通过零样本CLIP（CLIP）的预测自动标注的。最后，与当前的最先进技术不同，我们的分析还涵盖了预训练模型的持续微调，这是AI领域的一个显著趋势。

总之，基于之前的工作，我们的扩展包括：i) 对在线和离线训练模式下记忆效应的分析；ii) 对来自不同真实来源的噪声的比较；iii) 证明EARL可以应用于各种持续学习方法，包括那些最初没有设计缓冲区的方法；iv) 对不同缓冲区大小的结果分析；v) 使用预训练的ViT模型进行性能评估；以及vi) 通过与其他方法的比较证明插入和采样策略的有效性。vii) 在一些NLP基准测试上测试EARL的适用性和有效性。

我们相信上述贡献增强了这种方法以及我们之前的工作[9]，提供了更深入的分析、更精细的方法论和更广泛的实验，可能会进一步推动CL社区的发展。

相关工作

在噪声标签下的学习。大多数处理噪声数据集的学习方法都基于记忆效应[13],[15]。在这种假设下，干净样本在训练初期产生的损失通常比错误标记的噪声样本小（小损失标准），因为它们通常更容易进行训练。然而，通常需要多个训练周期才能泛化到复杂的分布；因此，随着损失的增加，样本检测的可靠性会下降

问题设置

继[9]中的先前工作之后，我们专注于类增量持续学习（Class-Incremental Continual Learning, ClassIL），其中数据以一系列任务的形式出现$t\in \{0,?,T?\mathrm{1\}}$，每个任务被视为一个单独的分类数据集$D_t=\{X_t,Y_t\}$。在每个任务中，假设数据来自独立同分布（i.i.d.）分布，但对于所有任务i?≠?j，有$D_i\cap D_j=?$。在这种情况下，理想的模型f_θ(x)应该学会分类所有观察到的类别${?}^{t=0}$。设$L_{}$是一个分类损失（例如，交叉熵），那么目标是解决：${\theta }^{*}={arm}^{}$

实验

出于上述原因，我们遵循了已建立的离线ClassIL场景[18],[25],[28],[30]，其中每个任务允许多次训练周期。我们还采用了任务感知（task-aware）方法以便与其他工作进行比较。

模型分析

问题i) 采样策略如何影响EARL的整体性能？问题ii) 采样策略如何影响缓冲区的整体纯度和多样性？问题iii) 模型对$\alpha$和其他选择策略有多敏感？问题iv) EARL在低噪声或无噪声条件下是否仍然有效？

与其他采样技术的比较。为了评估我们采样策略的有效性，我们将其与一些最先进的采样技术进行了比较。

结论

我们提出了我们之前工作“愿遗忘与你同在”的修订版本，这是一种处理持续学习中噪声标签问题的方法。我们首先观察到遗忘对所有样本的影响并不相同，并发现交替进行学习和遗忘可以拉开噪声样本与干净样本之间的损失差距。我们引入了遗忘重放（Amnesic Replay）来利用这一现象，确保干净样本、复杂样本和噪声样本之间的分离。

CRediT作者贡献声明

莫妮卡·米伦齐（Monica Millunzi）：撰写 – 审稿与编辑，撰写 – 原稿，可视化，验证，软件，方法论，调查，数据管理，概念化。洛伦佐·博尼切利（Lorenzo Bonicelli）：撰写 – 审稿与编辑，撰写 – 原稿，可视化，验证，软件，方法论，调查，形式分析，数据管理，概念化。安杰洛·波雷洛（Angelo Porrello）：撰写 – 审稿与编辑，撰写 – 原稿，监督，方法论，调查，形式分析，

利益冲突声明

作者声明以下可能的财务利益/个人关系，这些可能被视为潜在的利益冲突：

莫妮卡·米伦齐报告称她获得了AxyonAI SRL的财务支持。如果有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本项工作得到了MUR/DM352和Axyon AI SRL的支持。