持续学习的实践指南

《Neurocomputing》：A practical guide to streaming continual learning

持续学习（CL）与流式机器学习（SML）分别解决知识保留与快速适应概念漂移的挑战，而提出的流式持续学习（SCL）旨在统一二者，通过平衡稳定性与可塑性实现动态数据流中的高效持续学习。

　　

作者列表：安德烈亚·科苏（Andrea Cossu）、费德里科·贾尼尼（Federico Giannini）、贾科莫·齐弗尔（Giacomo Ziffer）、亚历山德罗·贝尔纳多（Alessio Bernardo）、亚历山大·格佩尔特（Alexander Gepperth）、埃马努埃莱·德拉瓦莱（Emanuele Della Valle）、芭芭拉·哈默（Barbara Hammer）、达维德·巴丘（Davide Bacciu）

所属机构：意大利比萨大学计算机科学系，地址：Largo Bruno Pontecorvo 3, 比萨 56127

摘要

持续学习（Continual Learning, CL）和流式机器学习（Streaming Machine Learning, SML）研究智能体从非平稳数据流中学习的能力。尽管两者存在一些相似之处，但它们分别应对不同的、互补的挑战。SML侧重于在数据变化（概念漂移）后快速适应，而CL则旨在在学习新任务时保留以往的知识。在简要介绍CL和SML之后，我们讨论了流式持续学习（Streaming Continual Learning, SCL）这一新兴范式，它为可能需要同时具备SML和CL能力的实际问题提供了一致的解决方案。我们认为SCL能够：i) 将CL和SML研究领域联系起来，促使双方朝着共同目标努力；ii) 促进混合方法的设计，使系统既能像SML那样快速适应新信息，又能像CL那样不忘记旧知识。文章最后通过一个示例和一系列实验来强调SCL的必要性，展示了仅靠CL或SML难以实现快速适应和知识保留的目标。

引言

在过去十年中，由于社交媒体和物联网（IoT）等平台的发展，互联数字系统的呈指数级增长，产生了大量持续不断的数据流。这些数据流通常被称为数据流[1]。数据是按顺序且连续地生成的，因此无法全部存储或重新访问。

这种流式数据生成方式对传统的机器学习范式提出了挑战，因为传统范式通常假设数据是平稳的且数据集是有限的。其中一个最关键的障碍是概念漂移[2]，即数据的统计特性因生成过程的变化而演变。与偶发的异常情况不同，概念漂移反映了结构性且往往难以预见的变化，可能导致先前训练的模型不再适用。 由于概念漂移的存在，无法仅使用历史数据离线训练模型，因为训练后的模型可能会很快过时。因此，必须持续从数据流中学习，监测并检测变化，并尽可能迅速地适应它们。此外，在学习新概念时，模型可能会忘记之前学到的内容。当新概念只是扩展了学习问题到新的子领域时，这一问题尤为严重，且新概念不应与之前的观察结果相矛盾。在这种情况下，模型应能够在新概念相关联的知识基础上保留先前获得的知识。这一理念与著名的“稳定性-可塑性困境”[3],[4],[5]相关，即模型需要在学习新知识的能力（可塑性）和记住旧知识的能力（稳定性）之间取得平衡。过度的可塑性会导致遗忘，而过度的稳定性则会阻碍新知识的获取。 然而，在某些情况下，遗忘可能是可取的。当新概念与先前学到的概念相矛盾时，模型不应同时保留两者。在这种情况下，避免遗忘需要更加细致的处理方式——不需要记住所有先前的概念历史，而是要在动态适应变化的同时保持当前知识的最新状态。访问先前的知识仍然是一项有用的技能，因为数据流中的新变化可能需要快速回忆之前的概念。 有两个主要的研究领域致力于解决上述挑战。流式机器学习（SML）[1]专注于开发资源高效的方法，以监测和检测变化，并快速适应新的概念。SML更重视快速适应而非保留旧知识，其主要目标是在当前概念上表现良好，即使这意味着需要遗忘部分旧信息。系统设计旨在快速适应不断变化的数据。如果新概念需要重新利用旧知识，模型将重新从头开始学习。相比之下，持续学习（CL）[6]则优先考虑在学习新概念的同时保留先前获得的知识。然而，这些方法适用于新概念仅扩展问题到新的子领域的情况，而不会与之前的观察结果相矛盾。 基于这些前提，本文指出了文献中的一个明显空白：SML和CL都是重要的且互补的研究领域，但单独使用它们无法完全解决需要持续学习、快速适应和避免遗忘的实际问题（我们将在第6节进一步阐述这一点。流式持续学习（SCL）旨在统一CL和SML，而不是取代它们。最近，SCL的理念和挑战在研究界引起了关注，并引发了积极的讨论。SCL最初在参考文献[7]中被提出，随后在参考文献[8]中得到了进一步发展，并在2025年的欧洲人工神经网络研讨会（ESANN）上设立了专门的讨论环节[9]。 本文基于上述研讨会上的教程论文[9]中的观点进行扩展。在这一扩展版本中，我们提供了关于CL和SML中常用的场景、目标及评估协议的更全面概述。我们还讨论了可以直接使用或重新调整以适应SCL框架的现有数据集。最后，我们通过一个示例说明了SCL的必要性：传统的CL和SML方法在实现快速适应和知识保留方面存在困难。

章节摘要

非平稳数据流

数据流的概念出现在两种不同的场景中，这两种场景都涉及无法一次性完全访问的数据源。第一种场景我们称之为自然数据流，指的是实时生成的数据。一个典型的例子是物联网（IoT），其中传感器持续收集测量数据。在这种情况下，模型处理当前的数据实例（可能还包括一小部分最近的过去实例），并据此生成预测。

流式机器学习

SML[1]通常关注自然数据流，这些数据流通常涉及实时分析，数据会随着时间的推移不断被收集。在这种情况下，重点在于持续训练模型并快速适应新数据点的到来。这些场景通常有严格的限制：每个数据点只被处理一次，因为只允许对数据流进行一次遍历。为了保持响应性，处理每个数据实例所需的计算时间

持续学习

与SML类似，CL也研究受概念漂移影响的数据流。但与SML不同的是，CL更注重知识的保留而非快速适应。从历史上看，这是由于在人工神经网络中首次观察到灾难性遗忘现象[55],[56]所致。在数据流突然发生虚拟漂移的情况下，遗忘现象会更加严重，新概念会取代旧概念[57]。由于人工神经网络具有高度的可塑性

流式持续学习

SCL的出现源于需要统一SML和CL的互补目标（如图5所示），这两种方法适用于处理具有实际和虚拟漂移的演变数据流。SML关注当前概念，并力求在当前观察到的特征子空间上表现良好，但不处理遗忘问题，也不评估先前子空间的知识是否仍然有效。其主要目标是快速适应新概念

SCL的示例

在本节中，我们提供了一个简单的示例，以说明SCL的必要性，并通过实证证明SML和CL在共同应对概念漂移带来的挑战（快速适应的同时避免遗忘）方面存在困难。数据和代码可供重现（如果被接受，将上传到GitHub的公共仓库）。

结论与未来方向

我们讨论了流式持续学习场景，其中模型需要快速适应新信息的同时保留先前知识。我们通过对比现有SML和CL策略的实证评估，说明了目前没有任何一种方法能够同时满足这两个目标（第6节）。CL侧重于知识巩固以避免遗忘，而SML则侧重于快速适应。这也导致了评估方式的差异

CRediT作者贡献声明

安德烈亚·科苏（Andrea Cossu）：撰写原始稿件、方法论设计、概念构建。 费德里科·贾尼尼（Federico Giannini）：撰写原始稿件、软件开发、方法论设计、概念构建。 贾科莫·齐弗尔（Giacomo Ziffer）：审稿与编辑。 亚历山德罗·贝尔纳多（Alessio Bernardo）：审稿与编辑。 亚历山大·格佩尔特（Alexander Gepperth）：撰写原始稿件。 埃马努埃莱·德拉瓦莱（Emanuele Della Valle）：审稿与编辑、指导工作、资金筹集。 芭芭拉·哈默（Barbara Hammer）：审稿与编辑、指导工作。 达维德·巴丘（Davide Bacciu）：审稿与编辑、资金筹集。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系： 安德烈亚·科苏报告称获得了欧盟的财务支持。如果还有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文的研究结果。

致谢

本工作部分由欧盟-EIC EMERGE项目（项目编号101070918）和HEU CoEvolution项目（项目编号101168560）资助。

安德烈亚·科苏是比萨大学计算机科学系的助理教授，他的研究领域包括持续学习和非平稳环境，特别是预训练模型和循环神经网络的应用。他曾是致力于持续学习的非营利研究组织ContinualAI的董事会成员，同时也是Avalanche库的维护者之一。安德烈亚拥有意大利高等师范学校的数据科学博士学位。