《Neural Networks》:Lifelong Person Re-Identification via Dynamically Knowledge Adaptation and Retention
编辑推荐:
终身学习背景下的人脸重识别模型通过动态知识适应与保持机制缓解灾难性遗忘问题,采用共享骨干网络与实例归一化结合动态调整卷积核参数,在保持原有知识的同时自适应新域数据,实验验证在四大主流数据集上显著优于现有方法。
陈志宇|焦秉良|王文轩|王鹏
西北工业大学计算机科学系,中国陕西省西安市北林区友谊西路127号
摘要
人物重识别旨在将同一个体在非重叠的摄像头视角中进行匹配。在现实世界场景中,ReID模型需要不断从新数据中学习,同时减轻灾难性遗忘问题,即先前获得的知识丢失,这定义了终身ReID任务。现有的终身ReID方法在平衡旧领域和新领域之间的性能方面存在局限性。为了解决这个问题,我们提出了一个动态知识适应和保留框架,实现了动态学习机制。在前向传播过程中,输入图像首先被送入共享的骨干网络以提取基本特征。随后,动态适应模块对特征进行实例归一化,以减轻领域间的差异,并根据输入图像中的领域特定信息动态生成卷积核参数,从而实现针对特定领域的自适应特征优化。在训练阶段,我们采用适应性保留策略来限制模型更新。当遇到新数据时,我们利用在先前领域上训练的冻结模型作为知识锚点,以约束在新数据上的微调过程中的参数更新。具体来说,应用了一个约束损失来保持知识锚点和可训练模型之间的参数一致性,从而实现知识保留和适应之间的自适应平衡。这种设计确保了模型对新领域的适应性,同时有效减轻了灾难性遗忘。在四个主流人物重识别数据集上的实验表明,我们的方法在终身学习设置中取得了出色的性能,平均排名第一的准确率为65.7%,平均mAP为55.4%,显著优于现有方法。
章节摘录
引言
人物重识别任务旨在根据给定的查询图像从大规模数据库中识别出同一个体(Liu, Feng, Chen, Hu, 2023a; Liu, Lin, Liu, Du, 2023b)。这项技术主要应用于智能视频监控系统,通过处理分布式摄像头网络捕获的视觉人物图像来提高公共安全和监控效率。最近,许多重识别模型都是离线训练的,这意味着它们在训练完成后即可投入使用。
相关工作
在本节中,我们对ReID和LReID问题中的常见研究方法和成果进行了调查。此外,我们提出的DKAR模型不仅减轻了ReID模型在终身学习过程中的灾难性遗忘现象(Zhao等人,2020年),还增强了模型的动态参数更新能力。因此,我们还研究了ReID问题中的领域泛化研究。
方法论
在本节中,我们将详细介绍我们提出的DKAR模型,该模型包括一个动态适应(DyAdap)模块和一个适应性保留(AdRet)策略。
实验
在本节中,我们进行了一系列实验来验证我们提出的DKAR模型。在实验设置中,我们介绍了使用的数据集、评估指标和超参数配置。在实验结果中,我们分析并比较了DKAR模型与其他LReID模型在相同设置下的持续学习性能,评估了我们的方法在已知领域和未知领域上的有效性。对于消融实验,我们设计了相应的实验。
讨论
我们介绍了DKAR模型,该模型旨在解决神经网络中的灾难性遗忘问题。虽然这种设计不可避免地增加了模型的参数数量,导致部署时的存储需求增加,但它显著提高了ReID模型在现实世界场景中的性能。这一改进为安全监控和商业环境中的应用带来了巨大潜力。此外,我们确保所有数据集都
结论
我们的工作重点在于提高ReID模型对多样化未知领域的动态适应能力及其终身学习能力,旨在构建一个LReID模型。挑战在于使模型能够动态更新参数分布,以在遇到的每个任务场景中实现最佳性能。为了解决这个问题,我们提出了DKAR模型,其中DyAdap模块被设计为能够灵活地将模型适应到不同的训练领域,从而减轻影响。
CRediT作者贡献声明
陈志宇:撰写——原始草案、可视化、软件、方法论、调查、形式分析、概念化。焦秉良:撰写——审阅与编辑、验证、数据整理。王文轩:撰写——审阅与编辑、监督、调查。王鹏:撰写——审阅与编辑、监督、资源管理、调查。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。