《Optics & Laser Technology》：Few-shot class-incremental infrared target recognition via contrastive self-supervised subspace classifier
编辑推荐：
红外目标识别（IRTR）系统在动态场景中面临新型目标样本极少的问题，需在持续学习新类别的同时避免灾难性遗忘。本文提出对比自监督子空间分类器（CSSC），结合MoCo框架和多元增强策略（MCSA），通过自监督学习提升模型对目标通用特征 representations，同时采用分层子空间分类器平衡新旧知识，在自建FSCIL-IRTR和FSCIL-FLIR数据集上验证其优于现有方法。
刘迪|张燕|史志光|张宇|凌峰
国家自动目标识别科学技术重点实验室，电子科学技术学院，国防科技大学，长沙市开福区德雅路109号，410073，湖南，中国
摘要
近年来，由于红外（IR）传感器的全天候成像能力和深度学习（DL）的快速发展，基于DL的红外目标识别（IRTR）系统在民用和军事领域得到了广泛部署。然而，在大多数实际场景中，新类别的目标通常以有限的样本出现，这就迫切需要基于DL的IRTR系统能够从稀疏数据中不断学习新知识，同时不严重遗忘旧知识。为此，我们探索了IRTR领域的少样本渐进式学习（FSCIL）方法，并提出了一种对比式自监督子空间分类器（CSSC），该方法同时强调了模型的通用表示能力和稳定的区分能力。考虑到目标红外特征的多样性会随着相机视角、目标姿态和环境的变化而变化，我们引入了一种基于MoCo的对比式自监督学习框架，并采用多路径对比样本增强（MCSA）策略，以增强模型对预收集的充足样本中的类无关特征的表示能力。在现实世界的非合作场景中，由于新类别的知识来自少量样本，因此非常具有偏差且不完整，我们维护了一个由所见类别的代表性特征组成的平衡子空间分类器，以实现点对空间的识别。在实验中，我们使用了两个自建的任务数据集FSCIL-IRTR和FSCIL-FLIR进行评估。广泛的结果表明，CSSC显著优于许多前沿解决方案，验证了其在处理实际IRTR应用中的有效性。
引言
红外（IR）成像技术已成为现代社会的关键技术，它不仅便于使用，而且对环境具有很强的适应性，并且比雷达成像提供了更清晰的目标线索。作为IR成像的基本应用之一，红外目标识别（IRTR）专注于利用IR成像中的目标热特征来识别目标类别，已应用于民用（如人脸识别、安全监控、船舶检测和识别）或军事（如精确制导和战场监视）领域。
传统上，模板匹配被广泛用于解决IRTR问题，其中预先设计了一组手工制作的特征作为类别模板。在推理过程中，提取未知目标的特征，并根据类别模板与这些特征之间的相似性来预测其类别标签。尽管这些方法提供了直观且可解释的特征信息，但由于IR成像中目标模式的变化（如目标配置、姿态和场景的不同），其性能并不稳定。近年来，表示学习（尤其是深度学习（DL）已成为一种趋势，因为它具有强大的特征提取和区分能力。在这些解决方案中，卷积神经网络（CNN）在优化后可以自动提取包含目标层次信息的语义特征。在推理过程中，通过将未知目标的语义特征与类别签名进行比较来识别其标签，基于特定的距离标准。尽管基于DL的方案性能优于传统方法，但它们主要适用于静态和封闭的场景，在这些场景中，目标类别和数据分布在训练和测试阶段都保持稳定。然而，在实际的IRTR场景中（例如早期预警和异常检测），新目标可能随时出现，这就要求基于DL的IRTR系统具备在新概念下的持续学习能力，即渐进式学习（CIL）。通常，由于CIL问题假设新类别带有足够的样本，因此主要关注算法对先前知识的灾难性遗忘（CF）。目前，由于光学相机捕获的图像易于获取，相关研究仍主要停留在计算机视觉（CV）领域。然而，在大多数对抗性非合作场景中，例如战场边界，往往只能收集到有限样本的目标信息，因此很难甚至无法获得丰富多样的目标信息以实现稳定识别。在这种情况下，为基于DL的IRTR系统赋予从少量样本中不断学习新知识的能力是实际可行的。
少样本渐进式学习（FSCIL）起源于CV领域，旨在促进基于DL的方法从流式少样本中学习新目标。除了灾难性遗忘之外，还应该同时考虑过拟合问题，即分类器倾向于学习过于具体的新类别模式。解决前者问题需要模型对先前知识的稳定性，而增强对新知识的区分能力则需要模型的灵活性。因此，为了解决FSCIL问题，需要在模型对旧知识的稳定性和对新知识的灵活性之间保持平衡。目前，采用了基于CNN的特征提取器和最近类均值（NCM）分类器。在这里，基于CNN的特征骨干仅在大型基础类别样本上进行训练，而新类别原型仅在会话推理时不断纳入NCM分类器中。尽管这种范式很直接，但由于光学和红外领域目标特征的巨大差异，直接将其应用于IRTR既不具有竞争力也不合理。
为了解决这个问题，我们提出了一种新的对比式自监督子空间分类器（CSSC），以实现通用表示和稳定推理。具体来说，采用MoCo框架支持的对比式自监督学习任务，结合基础类别分类，来学习鲁棒且与类别无关的特征，这得益于其对比队列和字典提供的多样化对比目标特征。此外，设计了一种多路径对比样本增强（MCSA）策略，通过应用几何、强度和背景变换来丰富自监督样本池，以进一步感知类别不变的模式。在渐进式学习过程中，由于来自有限样本的新类别目标线索极为稀少且不稳定，我们冻结基于DL的骨干参数以保留旧知识。与使用基于类别原型的NCM分类器判断目标不同，我们维护了一个由基础类别特征和所有增量类别特征组成的平衡子空间分类器，以实现稳定分类。
在实验中，我们构建了两个与任务相关的数据集FSCIL-IRTR和FSCIL-FLIR进行验证。与前沿基准相比的广泛实验结果证明了所提出的自监督策略和损失函数的有效性，验证了CSSC在IRTR领域的有效性。总之，我们的贡献如下：
- •
我们探讨了IRTR领域的FSCIL问题，并提出了一种同时关注通用表示能力和稳定区分能力的CSSC框架。
- •
我们设计了一种基于MoCo的对比式自监督学习框架，并采用MCSA策略进行类无关模式增强。通过类别聚集策略选择的特征形成的平衡子空间分类器用于实现特定类别的稳定推理。
- •
我们的方法在两个基准数据集FSCIL-IRTR和FSCIL-FLIR上取得了有竞争力的性能，优于几种最先进的方法，证明了其在IRTR应用中的实际效果。
本文的其余部分组织如下：第2节介绍相关工作；第3节描述了整体框架，包括问题定义、动机和技术方法；第4节提供了实验设置，并展示了全面的结果和分析；第5节讨论了我们的方法；第6节给出了结论。
章节片段
红外目标识别
大多数温度高于绝对零度的物体都能发射红外（IR）辐射，这可以通过IR传感器检测到。红外目标识别（IRTR）主要关注在IR成像中对目标进行分类，已在雷达成像中的目标识别[1]、[2]、[3]、[4]等领域得到广泛研究。传统上，IRTR主要涉及设计与目标纹理和结构信息相关的手工特征。通常，提取未知目标的特征，并根据类别模板与这些特征之间的相似性来预测其类别标签。尽管这些方法提供了直观且可解释的特征信息，但由于IR成像中目标模式的变化（如目标配置、姿态和场景的不同），其性能并不稳定。除了这种范式外，表示学习（特别是深度学习（DL）近年来已成为一种趋势，因为它具有强大的特征提取和区分能力。在这些解决方案中，卷积神经网络（CNN）在优化后可以自动提取包含目标层次信息的语义特征。在推理过程中，通过将未知目标的语义特征与类别签名进行比较来识别其标签，基于特定的距离标准。尽管基于DL的方案性能优于传统方法，但它们主要适用于静态和封闭的场景，在这些场景中，目标类别和数据分布在训练和测试阶段都保持稳定。然而，在实际的IRTR场景中（例如早期预警和异常检测），新目标可能随时出现，这就要求基于DL的IRTR系统具备在新概念下的持续学习能力，即渐进式学习（CIL）。通常，由于CIL问题假设新类别带有足够的样本，因此主要关注算法对先前知识的灾难性遗忘（CF）。目前，由于光学相机捕获的图像易于获取，相关研究仍主要停留在计算机视觉（CV）领域。然而，在大多数对抗性非合作场景中，例如战场边界，往往只能收集到有限样本的目标信息，因此很难甚至无法获得丰富多样的目标信息以实现稳定识别。在这种情况下，为基于DL的IRTR系统赋予从少量样本中不断学习新知识的能力是实用的。
少样本渐进式学习（FSCIL）旨在促进基于DL的方法从流式少样本中学习新目标。除了灾难性遗忘之外，还应该同时考虑过拟合问题，即分类器倾向于学习过于具体的新类别模式。解决前者问题需要模型对先前知识的稳定性，而增强对新知识的区分能力则需要模型的灵活性。因此，为了解决FSCIL问题，需要在模型对旧知识的稳定性和对新知识的灵活性之间保持平衡。目前，采用了基于CNN的特征提取器和最近类均值（NCM）分类器。在这里，基于CNN的特征骨干仅在大型基础类别样本上进行训练，而新类别原型仅在会话推理时不断纳入NCM分类器中。尽管这种范式很直接，但由于光学和红外领域目标特征的巨大差异，直接将其应用于IRTR既不具有竞争力也不合理。
为了解决这个问题，我们提出了一种新的对比式自监督子空间分类器（CSSC），以实现通用表示和稳定推理。具体来说，采用MoCo框架支持的对比式自监督学习任务，结合基础类别分类，来学习鲁棒且与类别无关的特征，这得益于其对比队列和字典提供的多样化对比目标特征。此外，设计了一种多路径对比样本增强（MCSA）策略，通过应用几何、强度和背景变换来丰富自监督样本池，以进一步感知类别不变的模式。在渐进式学习过程中，由于来自有限样本的新类别目标线索极为稀少且不稳定，我们冻结基于DL的骨干参数以保留旧知识。与使用基于类别原型的NCM分类器判断目标不同，我们维护了一个由基础类别特征和所有增量类别特征组成的平衡子空间分类器，以实现稳定分类。
在实验中，我们构建了两个与任务相关的数据集FSCIL-IRTR和FSCIL-FLIR进行验证。与前沿基准相比的广泛实验结果证明了所提出的自监督策略和损失函数的有效性，验证了CSSC在IRTR领域的有效性。总之，我们的贡献如下：
•我们探讨了IRTR领域的FSCIL问题，并提出了一种同时关注通用表示能力和稳定区分能力的CSSC框架。
•我们设计了一种基于MoCo的对比式自监督学习框架，并采用MCSA策略进行类无关模式增强。通过类别聚集选择的特征形成的平衡子空间分类器用于实现特定类别的稳定推理。
•我们的方法在两个基准数据集FSCIL-IRTR和FSCIL-FLIR上取得了有竞争力的性能，优于几种最先进的方法，证明了其在IRTR应用中的实际效果。
本文的其余部分组织如下：第2节介绍相关工作；第3节描述了整体框架，包括问题定义、动机和技术方法；第4节提供了实验设置，并展示了全面的结果和分析；第5节讨论了我们的方法；第6节给出了结论。
章节片段
红外目标识别
大多数温度高于绝对零度的物体都能发射红外（IR）辐射，这可以通过IR传感器检测到。红外目标识别（IRTR）主要关注在IR成像中对目标进行分类，已在雷达成像中的目标识别[1]、[2]、[3]、[4]等领域得到广泛研究。传统上，IRTR主要涉及设计与目标纹理和结构信息相关的手工特征。通常，提取的细节如纹理、结构等
问题陈述
少样本渐进式学习（FSCIL）[48]需要一种能够从稀疏标记样本中不断学习的方法，这通常包括一个基础阶段和几个增量阶段，即会话，以模拟实际识别场景。在基础阶段，提供具有足够训练样本的类别，而在增量阶段，新的少样本类别不断出现，作为在动态环境中收集的新知识。理想的FSCIL模型应具备
数据集描述
由于特定的IR成像机制和实际的IRTR场景，公共IR数据集主要用于封闭世界识别。在这里，目标通常在多样化的环境中捕获，但类别有限甚至单一，导致在满足FSCIL场景方面存在显著配置差距。为了评估，我们构建了两个与任务相关的数据集FSCIL-IRTR和FSCIL-FLIR进行综合评估。
FSCIL-IRTR数据集来源于自收集的
讨论
为应对IRTR领域的挑战和FSCIL任务的困境，我们的方法强调并验证了模型对目标通用IR模式的类无关表示能力和对传入目标的类别特定区分能力。与大多数解决方案不同，我们特别强调了模型对目标通用特征的表示能力，并通过基于MoCo的对比学习进行了改进，其中使用对比特征队列
结论
为了提高红外目标识别（IRTR）系统在动态环境中识别新目标的能力，我们研究了少样本渐进式学习（FSCIL）问题，并提出了一种对比式自监督子空间分类器（CSSC），其中强调了类无关表示能力和类别特定区分能力。面对IRTR领域的挑战以及旧知识灾难性遗忘与新概念过拟合之间的内在困境，我们采用了基于MoCo的
CRediT作者贡献声明
刘迪：撰写 – 审稿与编辑，撰写 – 原始草稿，方法论。张燕：监督，形式分析。史志光：撰写 – 审稿与编辑，可视化，验证，形式分析。张宇：验证，方法论。凌峰：可视化，验证。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
