SATMtracker：基于尺度自适应张量SSA特征和运动评估器的超光谱目标跟踪算法

提出基于多尺度张量奇异谱分析和深度特征融合的高光谱目标跟踪算法SATMtracker，通过两阶段特征融合和可靠性置信评估器有效处理遮挡与尺度变化问题。

　　

余定阳|王静|李传峰|娄洪民|荣胜辉

中国海洋大学信息科学与工程学院，山东省青岛市266000

摘要

高光谱视频包含丰富的光谱信息，能够实现精确的材料识别和有效的物体与背景区分。然而，在涉及遮挡和尺度变化的场景中，高光谱视频中的物体跟踪仍然具有挑战性。为了在高光谱视频中实现鲁棒的物体跟踪，需要设计具有多尺度和遮挡处理能力的物体跟踪器。在本文中，我们提出了SATMtracker，这是一种基于尺度自适应张量奇异谱分析（tensorSSA）和运动评估器的新型高光谱物体跟踪器，旨在提高复杂环境中的跟踪精度。具体来说，采用不同尺度的tensorSSA特征来增强跟踪器对尺度变化的鲁棒性。此外，利用深度卷积特征整合语义和空间信息，并与多尺度tensorSSA特征融合，以提高特征表示和跟踪可靠性。在严重遮挡的场景中，提取的特征可能并不总是可靠的。我们进一步引入了相关的置信度评估器（RCE），该评估器使用新的指标——相关置信度水平（RCL）来评估特征的可靠性。如果特征不可靠，则使用运动线索来处理这些挑战性场景。实验结果表明，我们提出的SATMtracker具有更高的跟踪性能。

引言

视觉物体跟踪是计算机视觉中的一个基本且具有挑战性的任务[1]、[2]。其应用范围从自动驾驶[3]到公共安全[4]以及人机交互[5]。通常，跟踪器利用初始帧中物体的大小和位置来定位后续帧中的物体。大多数现有的跟踪算法基于彩色图像/视频。然而，传统的颜色跟踪器无法满足复杂场景中的跟踪任务，例如前景物体和背景具有相似的颜色和纹理[6]。高光谱图像（HSIs）[7]具有数十到数百个更窄的波段，能够实现材料识别。与彩色图像或单通道灰度图像不同，HSIs可以从空间和光谱维度进一步探索物体的物理意义，从而准确识别物体。在这方面，HSIs被广泛用于遥感[8]、[9]和计算机视觉[10]领域。此外，虽然高光谱物体跟踪面临独特的挑战，但处理遮挡和提取鲁棒特征等核心问题与其他高级计算机视觉任务在方法上有相似之处。最近在图像修复[11]、[12]、[13]方面的进展，这些进展侧重于重建缺失的视觉信息和自适应特征融合，为管理遮挡提供了有价值的见解。同样，裂纹分割[14]方面的创新，强调通过差异卷积和混合CNN-Mamba多尺度注意力进行鲁棒特征提取，为弹性物体表示提供了策略。

目前，高光谱物体跟踪的研究仍然有限。由于更多的光谱带导致数据冗余，特征提取是高光谱图像（HSI）中准确物体跟踪的关键过程。最近，引入了一种时间序列分析技术——奇异谱分析（SSA）[15]，用于HSI中的有效特征提取[16]。通过将给定像素向量的轮廓分解为多个组成部分，SSA可以轻松去除噪声成分，从而提高数据分类的效果。Zabalza等人[17]、[18]进一步在HSI的每个波段图像中应用了2D-SSA，以实现有效的空间特征提取。此外，由于使用单尺度特征难以准确表达物体类别之间的差异并区分具有尺度变化的物体边界，多尺度特征提取在高光谱图像处理领域得到了广泛应用[19]、[20]。特别是在高光谱物体跟踪中，尺度变化非常常见。因此，在高光谱物体跟踪中引入具有多尺度能力的tensorSSA特征[21]对于解决尺度变化问题非常重要。

上述tensorSSA特征是基于手工设计的，用于表示物体的外观信息，如纹理和颜色。然而，仅依靠这些特征的表示能力不足以处理复杂的高光谱物体跟踪场景。根据现有文献[22]，深度特征对显著的外观变化更为鲁棒。例如，CNN的最后一层卷积层保留了物体的语义信息。早期的卷积层编码了更细粒度的空间细节，有助于精确定位。因此，同时利用语义细节和细粒度细节更有助于鲁棒的物体跟踪。考虑到这两种特征的优势，结合手工设计的尺度自适应tensorSSA特征和深度特征有利于鲁棒跟踪。

遮挡是一个重要的挑战场景，许多不同跟踪领域的研究人员也关注这个问题，例如在热红外目标跟踪[23]中。在极端遮挡情况下，由于特征无法访问或不可靠，鲁棒性和性能下降的可能性很高。物体的形状、轮廓和空间位置可能会被遮挡，使得跟踪变得困难。先前的研究，如SENSE[24]，强调了在多帧遮挡期间使用运动线索作为可行的解决方案，并提出了一个运动感知模块来评估特征图的有效性。然而，依赖单一特征图来评估融合方法的有效性是不可靠的。为了解决这个问题，应该将两个特征图输入评估器中，以确保融合策略的全面性和可靠性。

基于上述分析，我们提出了一种HSI跟踪算法，称为SATM，同时使用尺度自适应tensorSSA和运动评估器。尺度自适应tensorSSA特征用于从空间维度提取上下文和结构信息，并能适应不同大小的物体。应用VGG-19网络[25]来获取深度卷积特征。在跟踪过程中，我们通过结合预阶段和后阶段融合来设计融合策略。具体来说，tensorSSA和深度特征在预阶段通过组卷积融合，在后阶段通过加权融合策略融合[26]，这将融合KCF[27]中获得的不同特征的弱响应图。提出了一种可靠的置信度评估器（RCE）来检测严重遮挡场景。RCE输出一个相关相关性水平（RCL）分数，包括皮尔逊相关系数（PC）和内部置信度（IC），分别量化：1. 两个特征响应图之间的特征相关性（通过PC）；2. 单个特征响应图内的特征一致性（通过IC）。

本文的主要贡献总结如下：

• •
  提出的尺度自适应tensorSSA特征充分利用了空间上下文信息，并对物体尺度变化具有鲁棒性。
• •
  提出的两阶段特征融合策略利用了深度特征和手工特征之间的互补信息，促进了鲁棒跟踪。
• •
  提出的基于相关置信度评估器（RCE）的运动跟踪器验证了提取特征的可靠性，并在挑战性场景中实现了基于运动的跟踪

本文的其余部分组织如下。第2节介绍了与本文相关的工作。第3节详细介绍了本文提出的算法。第4节给出了实验结果和分析。最后，第5节总结了本文。

相关工作

相关工作

本节讨论了相关工作，主要关注使用相关滤波器的物体跟踪，包括基于彩色视频和基于高光谱视频的物体跟踪。

基于彩色视频的物体跟踪：在RGB视频跟踪领域，基于判别性相关滤波器（DCF）的跟踪器[27]由于其出色的计算效率和跟踪效果而引起了相当大的研究兴趣。其基本原理涉及构建自适应模板

提出的方法

在本节中，将详细介绍SATM。整体框架如图1和第3.1节所示。第3.2节介绍了提出的尺度自适应tensorSSA特征。第3.3节介绍了特征融合策略。第3.4节简要介绍了相关置信度评估器（RCE）。

实验和结果

实验配置在第4.1节中详细说明。第4.2节提供了与最先进跟踪器的全面性能评估，包括：与高光谱跟踪器和传统颜色跟踪器的定量基准测试、针对定义的挑战类别的属性特定分析，以及通过视觉轨迹比较的定性评估。最后，第4.3节通过消融研究系统地验证了各组分的有效性。

结论

本文通过提出一种新颖的算法SATM，解决了高光谱视频跟踪中的尺度变化和遮挡问题，该算法结合了深度特征、多尺度手工特征和可靠性置信度评估器（RCE）模块来评估特征可靠性。所提出的算法利用高光谱视频中固有的丰富光谱和空间信息来构建尺度自适应tensorSSA特征。通过采用tensorSSA方法，可以处理空间背景

CRediT作者贡献声明

余定阳：撰写 – 审稿与编辑，撰写 – 原稿，可视化，软件，资源，方法论，概念化。王静：撰写 – 审稿与编辑，可视化，验证，资源，方法论，概念化。李传峰：撰写 – 审稿与编辑，可视化，验证，软件，方法论，概念化。娄洪民：撰写 – 原稿，可视化，验证，软件，资源，方法论，概念化。荣胜辉：撰写 –

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了国家自然科学基金（NSFC）（62001443）和山东省自然科学基金 （ZR2020QE294）的支持。