无需键值对的无监督连续学习器：基于任务特定提示的原型方法

《Neural Networks》：Key-Value Pair-Free Continual Learner via Task-Specific Prompt-Prototype

本文提出ProP方法，通过结合任务特定提示与原型，消除键值对依赖，解决跨任务干扰和可扩展性问题，实验验证其有效性。

　　

罗海华|冉旭明|李正基|薛慧燕|姜婷婷|沈江荣|Tommi K?rkk?inen|徐琪|丛凤宇

于韦斯屈莱大学，信息与技术学院

摘要

持续学习的目标是使模型在获取新知识的同时保留之前学到的信息。基于提示的方法在这一领域表现出色；然而，它们通常依赖于键值对，这可能会引入任务间干扰并阻碍可扩展性。为了克服这些限制，我们提出了一种新颖的方法，使用特定于任务的Promt-Prototype（ProP），从而消除了对键值对的需求。在我们的方法中，特定于任务的提示有助于当前任务更有效的特征学习，而相应的原型则捕获输入的代表性特征。在推理过程中，通过将每个特定于任务的提示与其关联的原型结合来生成预测。此外，我们在提示初始化期间引入了正则化约束，以惩罚过大的值，从而提高稳定性。在几个广泛使用的数据集上的实验证明了所提方法的有效性。与主流的基于提示的方法相比，我们的框架消除了对键值对的依赖，为未来的持续学习研究提供了新的视角。

引言

近年来，基于深度学习的神经网络模型取得了显著进展。然而，在现实世界的场景中，模型不断面临新的任务。在学习新任务时，模型往往会忘记之前学到的知识，这种现象被称为灾难性遗忘（Goodfellow等人，2013年）。我们希望模型能够像人类一样持续学习，即学习新任务而不忘记旧知识。为此，研究人员提出了各种持续学习方法（Lange等人，2021年；Masana等人，2022年）。然而，传统的持续学习方法（Li和Hoiem，2017年；Yan等人，2021年；Rebuffi等人，2017年）是从零开始训练模型的，这使得从数据样本中学习高质量特征变得具有挑战性。预训练模型（PTM）（Dosovitskiy，2020年；Radford等人，2021年；He等人，2022年）在大型数据集上经过了充分训练，具有出色的特征提取能力。将预训练模型引入持续学习可以显著提高模型的特征提取性能。近年来，基于预训练模型的持续学习变得越来越普遍。然而，由于预训练数据集和下游数据集之间的领域差异（You等人，2020年；Zhou等人，2022b年），预训练模型需要微调才能更好地适应下游任务。

在持续学习中微调预训练模型的各种技术中，基于提示的方法（Zhou等人，2022c年；Liu等人，2023年）表现出色。提示是一组可学习的向量，其维度与隐藏特征相匹配。在训练过程中，预训练模型的权重被冻结，然后将提示直接与输入嵌入连接起来形成新的复合嵌入。通过更新提示，模型能够学习与下游任务相关的特定于任务的特征。Wang等人（2022d年）首次将提示引入持续学习，提出了一个共享的提示池，并使用键值对来查询与任务匹配的提示。在此基础上，Wang等人（2022c年）引入了全局提示来捕获跨任务共享的信息。Coda-Prompt（Smith等人，2023年）用提示组件池替换了提示池，并使用提示组件的加权和进行初始化。然而，如图1(a)所示，这些方法在推理过程中都依赖于键值对，这需要将当前数据样本与其在提示池中的对应提示匹配。提示池包含所有任务的提示，因此键值对不可避免地引入了任务间干扰（Kurniawan等人，2024年），因为不同任务的提示可能会影响匹配过程。例如，当输入样本是波斯猫时，波斯猫和虎斑猫之间的特征相似性可能导致在键值对匹配过程中与虎斑猫对应的键不匹配。此外，随着任务数量的增加，键值对的数量也会相应增加。模型必须从大量的选项中快速检索匹配的键，从而增加了计算和内存开销（Yang等人，2024年）。

为了解决这些问题，本文提出了ProP，它通过将提示与原型结合来消除对键值对的依赖，如图1(b)所示。在训练过程中，ProP初始化特定于任务的提示，而不是从共享的提示池中选择，并在训练后获得相应的特定于任务的原型。Snell等人（2017年）的原型是当前类的代表性特征。在这项工作中，我们使用该类的特征平均值作为其原型。对于属于同一类的数据，它们的特征应该与该类的原型具有最高的相似性。通过计算特征与各种原型之间的相似性，我们可以确定数据属于每个类的概率。此外，在提示初始化期间，随机初始化可能导致提示获得极端的值，从而导致特征学习的显著偏差。因此，我们在提示初始化中引入了正则化损失，以惩罚过大的初始值，旨在获得稳定且更具泛化能力的提示。如图2所示，ProP与其他CIL方法相比表现出最佳性能，且不需要示例。本文的贡献总结如下：

• •
  我们提出了ProP，这是一个简单的框架，在各种数据集上的表现优于现有的类增量学习（CIL）方法。ProP消除了之前主流基于提示的方法中对键值对的依赖，避免了由键值对引起的任务间信息干扰和可扩展性限制。
• •
  我们通过将特定于任务的提示与具有相同任务ID的原型结合，将特定于任务的提示-原型引入模型学习过程，从而无需额外的检索步骤。
• •
  我们在提示初始化中引入了正则化损失，以惩罚过大的初始值，使提示初始化更加稳定和泛化。

章节片段

传统持续学习

持续学习方法旨在使模型在学习新任务的同时保留之前获得的知识，从而缓解灾难性遗忘的问题。传统持续学习方法大致可以分为三类：基于回放的、基于正则化的和基于网络结构的。基于回放的方法（Yan等人，2021年；Rebuffi等人，2017年；Wang等人，2022a年；Zhou等人，2022a年）通过存储和

方法

在本章中，我们首先在第3.1节介绍基于提示的持续学习，包括持续学习的描述、预训练模型和提示方法。然后，在第3.2节介绍特定于任务的提示-原型及其优化过程。在第3.3节提供训练和测试阶段的伪代码，最后在第3.4节分析每种持续学习方法的计算复杂性。

实验

在本节中，我们首先在第4.1节介绍ProP的实现细节。然后我们在第4.2节将我们的方法与最先进的方法进行比较，以展示其增量学习能力。此外，我们在第4.3节进行消融实验以验证我们方法的鲁棒性。最后，在第4.4节提供可视化和种子平均值。

结论

在本文中，我们提出了ProP，这是一种不需要键值对的基于提示的持续学习框架。通过将特定于任务的提示与原型结合，我们消除了键值对引入的任务间信息干扰和可扩展性限制。此外，我们在提示初始化过程中引入了L2损失，以惩罚过大的初始值，从而获得更稳定和更具泛化能力的提示。在众多数据集上进行的实验表明

CRediT作者贡献声明

罗海华：写作——审阅与编辑，撰写原始草稿，可视化，验证，项目管理，方法论，调查，形式分析，数据管理，概念化。冉旭明：写作——审阅与编辑，撰写原始草稿，验证，监督，项目管理，方法论，形式分析，数据管理，概念化。李正基：撰写原始草稿，可视化，验证，软件，资源，项目管理。薛慧燕：

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。