《Cognitive Systems Research》：Robust Incremental Learning of Visual Concepts without Catastrophic Forgetting
编辑推荐：
本文推荐一项关于持续学习的重要研究。针对神经网络在连续学习新任务时出现的灾难性遗忘问题，研究人员开展了名为“Cobweb/4V”的视觉分类方法研究。该方法基于受人类概念形成启发的Cobweb系统，通过信息论类别效用和多重概念预测策略，实现了在MNIST数据集上的高效增量学习。结果表明，Cobweb/4V不仅避免了灾难性遗忘，而且具有更高的数据效率，为开发更稳健的持续学习系统提供了新思路。
在人工智能领域，计算机视觉虽因深度神经网络（DNN）的突破而取得长足进步，但在持续学习（Continual Learning）或终身学习（Lifelong Learning）场景下面临着一个顽固的挑战——灾难性遗忘（Catastrophic Forgetting）。当模型按顺序学习多个任务时，为了适应新任务而调整的网络参数往往会覆盖掉为旧任务学到的知识，导致模型“学新忘旧”。这种现象严重限制了人工智能系统在动态开放环境中像人类一样持续积累和运用知识的能力。尽管已有多种方法尝试缓解此问题，例如依赖记忆回放（Replay）或对权重更新施加约束，但它们通常伴随着对内存密集型机制的依赖、难以在任务数量增长时保持旧参数以及对任务特定参数的敏感性等局限。
与此形成鲜明对比的是，人类具有非凡的增量学习能力，能够在一生中不断整合新信息，而只要认知功能正常，就不会经历人工系统中常见的灾难性知识丢失。人类的记忆会随时间逐渐淡化，但并非彻底遗忘。这种在适应性与记忆保持之间取得的平衡，是开发更稳健学习模型的关键。受人类学习策略的启发，来自德雷克塞尔大学（Drexel University）的研究团队在《Cognitive Systems Research》上发表了他们的研究成果“Robust Incremental Learning of Visual Concepts without Catastrophic Forgetting”，提出了一种名为Cobweb/4V的新型视觉分类方法。
为了回答持续学习中的挑战，研究人员开展了一项系统的研究。Cobweb/4V建立在Cobweb系统之上，这是一个受人类如何随时间推移增量学习新概念的方式所启发的、类人的学习系统。本研究对Cobweb/4V在视觉概念学习方面的能力进行了全面评估，并与神经网络方法进行了对比。研究得出的核心结论是，Cobweb/4V在持续学习场景下表现优异：它需要更少的数据即可实现有效的学习成果；能够随着时间的推移保持稳定的性能；展现出具有竞争力的渐近性能；并且最关键的是，完全避免了灾难性遗忘。这些特性使其成为一种适用于序列学习的有前景的方法，并激励未来探索其指导处理持续学习的神经网络及其他机器学习方法发展的潜力。
研究人员为开展此项研究，主要应用了以下几项关键技术方法：1. Cobweb/4V系统构建：在原有Cobweb概念形成系统基础上，引入了信息论类别效用（Information-Theoretic Category Utility）函数进行学习决策，并采用了基于互信息（Mutual Information）的新预测策略，该策略结合了分类树中多个概念节点的预测结果（公式2, 3）。2. 张量表示法（Tensor Representation）：将图像实例和概念节点中的像素特征统计量（均值、标准差）用张量形式进行高效存储和计算，替代了传统Cobweb中使用的属性-值对列表，显著提升了处理速度（利用PyTorch实现）。3. MNIST数据集上的实验评估：使用广泛用于持续学习研究的MNIST手写数字数据集（训练集60000张图像，测试集10000张图像），设计了渐进学习、灾难性遗忘等一系列实验。4. 基线模型对比：设置了两个神经网络基线模型进行比较，一个是全连接网络（fc），另一个是结合了卷积层的网络（fc-cnn），并引入了使用回放策略（Replay）的变体（fc-replay, fc-cnn-replay）以评估其缓解遗忘的效果。实验考虑了不同训练数据分割策略和模型结构（如固定结构Cobweb）的影响。
研究结果
4.2. 初步实验
本研究首先通过初步实验评估Cobweb/4V的基本学习特性。
4.2.1. 多节点预测性能
该实验旨在确定预测时扩展的节点数量（Nmax）对性能的影响。结果表明，扩展更多节点能提高预测准确性，性能随Nmax增加而单调提升，未出现倒U形关系。基于性能与计算成本的权衡，后续实验设定Nmax为300，此时Cobweb/4V在完整MNIST测试集上达到约0.951的准确率。
4.2.2. 有限数据下的学习
此实验评估了在增量学习设置下各方法的数据效率。通过将MNIST训练集随机打乱后分成每10个样本一批的顺序呈现进行训练，并在每批训练后评估在整个测试集上的准确率。结果显示，Cobweb/4V在学习初期（少于500个样本时）的学习速度显著快于两个神经网络基线（fc和fc-cnn），能以更少的数据达到更高的准确率，表现出卓越的数据效率。在完整训练（60000个样本）后，Cobweb/4V（准确率0.9514）与fc网络（0.9513）性能相当，但表现更稳定（标准差更小），而fc-cnn网络最终性能最高（0.9735）。这凸显了Cobweb/4V在数据有限场景下的优势。
4.3. 遗忘实验
这一系列实验旨在深入评估Cobweb/4V对灾难性遗忘的抵抗力。
4.3.1. 实验1：学习而不遗忘
该实验设置使模型先接触所有数字类别数据，随后在9个连续训练批次中只接触非目标数字的数据，并持续评估模型对目标数字的分类准确率。结果清晰表明，不带回放机制的神经网络基线（fc, fc-cnn）表现出严重的灾难性遗忘，对目标数字的准确率迅速降至接近零。带回放机制的神经网络（fc-replay, fc-cnn-replay）初始遗忘较慢，但随着任务批次增加，回放缓冲区中目标数字样本比例下降，最终也发生灾难性遗忘。与之形成鲜明对比的是，Cobweb/4V仅表现出因特征干扰导致的性能缓慢下降，在经过9个不含目标数字的训练批次后，仍能保持0.937的高准确率，显著优于所有神经网络方法，证明了其对抗灾难性遗忘的强大鲁棒性。
4.3.2. 实验2：带预训练分割
此实验调整了数据分割顺序，使所有数字在初始批次中平衡出现，目标数字的大部分数据在第二个批次引入，以检验初始数据分布对模型结构稳定性的影响。实验结果与实验1模式高度一致，再次验证了Cobweb/4V的稳健性并非由特定的初始数据分割所导致。
4.3.3. 实验3：固定结构Cobweb
此实验通过限制Cobweb/4V的树结构深度和分支，禁止其进行合并、分裂等自适应操作，创建了一个固定结构版本，以探究其抗遗忘能力是源于其动态结构还是其他机制（如稀疏更新）。结果表明，虽然自适应结构能带来性能提升（学习塑性更高），但即使固定结构版本，Cobweb/4V也只表现出缓慢的性能衰减，而非灾难性下降，且对目标类的记忆稳定性（Memory Stability）远高于神经网络。这证明其抗遗忘能力不能简单归因于实例存储或结构适应性，稀疏更新（每次学习只更新分类路径上的少量节点）可能扮演了更核心的角色。同时，固定结构版本在非目标类上的学习塑性（Learning Plasticity）表明模型仍在有效学习新知识。
4.4. 结果与4.5. 讨论
综合实验结果，Cobweb/4V展现出类人的快速学习能力和对灾难性遗忘的显著抵抗力。其成功可能源于以下几点：1. 信息论学习基础：使用类别效用和基于可能性的更新，避免了类似随机梯度下降（SGD）的全局更新带来的递归偏差。2. 稀疏更新机制：仅激活和更新与当前实例相关的概念路径，极大减少了新旧知识间的干扰。3. 预测时结合多重概念：利用树中多个相关概念节点进行预测，类似于一种内在的、基于原型（Prototype）的回放机制。4. （可选的）自适应结构：动态调整概念层次结构有助于更有效地整合新信息，但非抗遗忘的唯一原因。研究指出，Cobweb/4V的表现暗示了稀疏编码（Sparse Coding）等方法在增强持续学习鲁棒性方面的潜力。同时，像许多模型一样，Cobweb/4V可能对大的空间变换（如平移、旋转）敏感，这是未来需要探索的方向。
结论与意义
本研究提出的Cobweb/4V成功地将计算机视觉原理与受人类认知启发的Cobweb概念形成系统相结合，为视觉任务的持续学习提供了一种新颖的解决方案。实验结果表明，这种模块化、基于实例（同时利用原型）的方法在数据效率和抵抗灾难性遗忘方面具有明显优势，实现了学习塑性（有效学习新任务）与记忆稳定性（保持旧任务知识）之间的良好平衡。其核心启示在于，学习更新过程的稀疏性（Sparsity）可能是实现稳健持续学习的关键因素之一。这项工作不仅证明了Cobweb/4V作为神经网络替代方案的潜力，更重要的是，它为开发更接近人类学习方式的人工智能系统提供了新的思路和方向。未来的研究可以探索将卷积、注意力等处理机制融入Cobweb框架，以及测试其在更复杂或存在分布偏移的场景下的性能，进一步推动人类启发的机器学习方法的发展。
