PSM：基于提示的持续学习的快速专业化模块

《Computer Vision and Image Understanding》：PSM: Prompt specialization module for prompt-based continual learning

　　刘俊 | 同琴月 | 陆泽明 | 陆子谦
浙江大学航空航天学院，中国

**摘要**
近年来，基于提示的持续学习方法被提出以缓解灾难性遗忘问题。这些方法通过选择和更新提示来实现新旧任务之间的知识共享和独立性。然而，我们发现提示优化仅依赖于当前任务的训练数据，这导致模型的分类边界仅适应当前任务的类别分布，从而在全球任务测试中引入了偏差。为解决这一问题，我们提出了一个即插即用的提示专门化模块（PSM）。该模块引导提示关注类别级别的信息而不是任务级别的信息，从而增强了模型感知类别边界的能力。此外，我们利用这些专门化的提示作为全局监督信号，有效纠正了模型的跨任务分类偏差。实验结果表明，专门化的提示不仅强化了模型在局部分类上的决策边界，还提高了其在全局分类上的一致性。值得注意的是，该模块可以轻松集成到现有的基于提示的持续学习方法中，并在多个持续学习基准测试中获得了显著且一致的性能提升。

**章节摘要**
持续学习场景和方法
持续学习包括三种常见场景：任务增量式、领域增量式和类别增量式。在任务增量式学习中，模型在推理过程中被提供独特的任务ID（Mehrabi等人，2021年；Mai等人，2022年）。领域增量式学习要求模型学习具有相同分类但数据分布不同的多个任务（Y. Wang等人，2022年；Dai等人，2023年）。在类别增量式学习中，模型依次学习任务……

在类别增量式场景中，我们有一组任务D={D1, …, DT}，这些任务依次呈现给模型，其中第t个任务Dt={(xt, n, yt, n)}（n=1, Nt）包含图像输入xt, n∈Xt及其对应的标签yt, n∈Yt的元组。通常，任务序列还满足以下条件：Xti∩Xtj=?且Yti∩Ytj=?，i≠j。在训练完第j个任务后，持续学习要求模型fθj:?t=1jXt??t=1jYt（由θj参数化）来预测标签y=fθj(x)。

**带有前缀调优的提示学习**
如图2所示，我们提出的即插即用提示专门化模块（PSM）由两个组件组成：基于提示的注意力（PBA）和辅助分类校正（ACC）。对于当前具有不同提示选择策略的持续学习方法，我们提出的模块绕过了复杂的选择阶段，直接关注提示与输入特征之间的交互。PSM利用包含类别特定信息的表示强化模型。

**实验**
为了证明我们提出的提示专门化模块（PSM）的有效性，我们在多个常用的持续学习基准数据集上评估了多种基于提示的持续学习方法的分类性能，分别使用了PSM和未使用PSM的情况。

**结论**
为了解决当前基于提示的持续学习方法中的全局分类不一致性问题，我们提出了一个即插即用的提示专门化模块（PSM）。PSM独立于特定的提示选择过程，专注于实现特性和提示之间更有效的交互，提供了灵活性和适应性。PSM由两个关键组件组成：基于提示的注意力（PBA）和辅助分类校正（ACC）。PBA促进了更有效的……

**作者贡献声明**
刘俊：撰写——原始草稿、可视化、验证、方法论、数据 cura、概念化。
同琴月：验证、数据 cura、概念化。
陆泽明：撰写——审阅与编辑、监督、方法论。
陆子谦：撰写——审阅与编辑、验证、监督。

**利益冲突声明**
作者声明他们没有任何已知的竞争性财务利益或个人关系可能影响本文的工作。

**致谢**
本工作得到了中国国家自然科学基金（项目编号62501532）、浙江省自然科学基金（项目编号LQN26F020039）以及浙江科技大学基本研究基金（项目编号26232179-Y）的支持。