通过增强的时空表示方法，提高了空间目标的检测和跟踪能力

《Acta Astronautica》：Improved space target detection and tracking via enhanced spatiotemporal representation

空间目标检测与跟踪方法改进研究

　　

王涵|陈思阳|沈志华|张同苏|张国义|张晓虎|林斌|詹姆斯·A·布莱克|杨霞

中山大学航空航天学院，深圳，518171，中国

摘要

基于可见光图像的空间目标检测对于空间态势感知（SSA）和天文观测至关重要。在实际任务中，广泛使用“先检测后跟踪”（Detect-before-Track，DBT）框架从高分辨率图像中检测这些目标。然而，由于信息利用不足（例如仅基于全局/局部特征进行检测；以及通过空间/时间规则进行跟踪），难以有效保持高召回率和低误报率。为了解决这些问题，本文提出了一种改进的基于DBT的方法，以增强当前框架的时空感知能力。检测阶段分为两个步骤：（1）使用局部-全局特征进行源提取；（2）基于局部时空相似性和理想分布相似性进行非目标抑制。跟踪阶段包括（1）通过三域相关性进行轨迹初始化；（2）目标重新检测和轨迹更新。在八个常见实践任务的真实图像上的实验表明，所提出的方法具有多功能性和卓越的性能，所有序列的误报率低于5.0%，召回率高于95.0%。这些结果表明，所提出的方法有显著潜力提升现有SSA系统的性能。

引言

随着太空活动的增加，监测复杂背景下的太空碎片引起了广泛关注[1]、[2]、[3]、[4]。太空碎片监测方法主要分为雷达检测和光电检测[5]。与雷达检测相比，光电检测具有成本较低和检测范围更长的优势，使得光电检测技术的研究具有重要意义。我们的研究专注于使用光学图像检测和跟踪太空碎片。这项技术主要包括传统的模型驱动方法和数据驱动的机器学习方法。

大多数模型驱动方法通过单帧源提取和多帧轨迹相关性来实现检测和跟踪。关于如何从单帧中提取源，已经有很多研究。SExtractor [6]、[7]是一种有效的源提取方法。它通过迭代裁剪局部背景直方图并对前景进行分割来建模。2013年，孙等人[8]应用图像形态学技术来检测光学图像中的空间目标。林等人[9]引入了一种基于目标特征的检测算法来提取源。米勒等人[10]提出了一种基于逆向分析的检测方法，通过递归条件和数据结构推理减少认知不确定性。最近，王等人[11]、[12]提出了一种基于相关度量构建标准化相关空间的源提取方法。这些单帧检测方法只能提取图像中的源，其前提是目标与恒星之间存在明显的形态差异。因此，出现了许多基于多帧的检测方法。Stoveken等人[13]提出了三种检测太空目标的方法：使用恒星目录创建掩模以从图像中去除恒星；基于恒星和目标之间的形态差异进行检测；以及三帧关联方法。席等人[14]通过计算五张连续图像的最大投影图像和平均图像来去除恒星和噪声，并应用霍夫变换来检测条纹状目标。2016年，席等人[15]提出了一种新方法（TMQHT），该方法使用时间指数滤波去除恒星和噪声，然后使用多假设跟踪（MHT）方法来检测和跟踪目标。2019年，李等人[16]提出了一种时空流水线MHT方法（SPMHT），首先计算时空相关交并得分以去除恒星，然后使用目标的速度进行轨迹关联。刘等人[17]添加了全向形态学滤波来基于图像序列去除恒星和噪声，并提出了一种状态转换MHT方法（STMHT）进行跟踪。现有的恒星去除方法往往难以区分信噪比较低的目标和微弱恒星。同时，轨迹关联仅依赖于第一次检测结果。然而，当目标因太弱或被遮挡而未被检测到时，轨迹关联无法准确定位目标的位置，这常常导致轨迹漂移。

数据驱动方法主要分为基于单帧的检测或分类网络，以及基于多帧的检测网络。当前的机器学习方法主要集中在单帧内源的检测和分类上。席等人[18]首先使用传统方法预处理图像以去除背景和恒星，然后开发了一个基于LiNet5架构的神经网络来分类候选区域。李等人[19]将传统方法与卷积神经网络（CNN）结合，提出了一种名为SF-CNN的网络来分类候选区域，尽管这种方法只能检测单帧中的源。向等人[20]引入了一种基于网格学习的太空碎片检测方法来确定每个网格中是否存在太空碎片。郭等人[21]提出了一种基于编码器-解码器结构的CNN网络来分割太空碎片。Kyselica等人[22]使用基于长短期记忆（LSTM）架构的机器学习方法构建轨迹。Fitzgerald等人[23]提出了一种时空深度学习架构（GEO-SPANN）来检测和跟踪GEO目标。Ibele等人[24]改编了RetinaNet并使用图像增强来训练模型以检测太空碎片。Varela等人[25]引入YOLO来检测条纹状目标，而Temple等人[26]使用YOLOv3来检测单帧中的源。Bobrovsky等人[27]将YOLOv2应用于条纹状和点状目标的检测和分类。Vittori等人[28]提出了一种基于U-Net的分割网络来分割细长目标。戴等人[29]提出了一种两阶段算法，首先建立基于深度学习的框架（PP-YOLOv2）进行单帧源提取，然后设计了一种轨迹关联算法（CFS）来检测和跟踪太空碎片。这些方法通常需要后续的轨迹关联来找到真实目标。

关于端到端的太空碎片检测的研究有限。陶等人[30]提出了一种太空碎片显著性检测算法（SDebrisNet），该算法使用CNN利用序列图像的信息，基于MobileNetV3[31]设计特征提取结构，并添加了一个受限自注意力（CSA）模块来学习序列图像的时空信息。然而，该算法难以对微弱和弱碎片目标实现高召回率。基于Conv-LSTM结构，陈等人[32]提出了一种端到端的太空目标检测和跟踪方法。然而，由于缺乏足够标记的真实数据集，深度学习方法在这一领域的发展受到阻碍。

与深度学习方法相比，传统的基于DBT的方法在实际工程应用中更为广泛使用，因为它们具有鲁棒性和可部署性。然而，当前方法在利用图像信息和运动模型方面存在局限性，导致难以实现低误报率和高召回率。为了解决传统方法的局限性，本文提出了一种基于MHT的太空目标检测和跟踪方法。我们的主要贡献如下：

1. 提出了一种改进的太空目标检测和跟踪方法，整合了四个阶段，以处理各种实际观测任务。该方法充分利用了图像序列的时空信息，显著优于基线方法。

2. 通过结合全局-局部特征，设计了一种源提取方法，有效处理复杂的背景杂乱和噪声。

3. 结合局部时空信息和理想分布相似性，我们提出了一种更高效的非目标抑制方法，显著减少了后续跟踪阶段的疑似目标数量。

4. 设计了一种稳健的两步太空目标跟踪策略。首先，引入了一种三域相关性方法来初始化两帧之间的轨迹。然后，采用目标重新检测和轨迹更新来获得真实目标的准确轨迹。

算法片段

提出的算法

提出的方法包括两个阶段，共四个步骤。首先，输入图像序列及其对应的单应性矩阵。然后，从单帧图像中提取一组疑似源$P_s$。其次，应用非目标抑制方法减少潜在的误检测，并基于两帧信息获得一组候选目标点$P_s^{\prime }$。第三，使用三域相关性初始化疑似轨迹$P_s^{\prime }$。最后，

实验结果与讨论

将提出的方法应用于检测和跟踪连续光学图像中的太空目标。所有数据驱动方法都在NVIDIA A100上执行，而其他算法则在配备Intel i7-13650HX处理器和16 GB内存的PC上运行。在实验过程中，提出的方法的经验参数初始化如下：

• 1.
  源提取的阈值$T_s$
  设置为1到5的范围内。

2.

$S_R$

设置为$T_{S_R}=04$

结论

太空目标监视是SSA和天文观测的关键组成部分。传统的DBT方法由于其鲁棒性和可部署性，在实际工程任务中得到广泛应用。在本文中，我们提出了一种改进的四步太空目标检测和跟踪方法。首先，基于局部-全局特征提取疑似源。其次，通过局部时空相似性和理想分布相似性抑制非目标源。第三，我们进行

CRediT作者贡献声明

王涵：写作 – 审稿与编辑，撰写原始稿件，可视化，监督，方法论，概念化。陈思阳：写作 – 审稿与编辑，监督，方法论。沈志华：撰写原始稿件，方法论，数据管理。张同苏：写作 – 审稿与编辑。张国义：写作 – 审稿与编辑，概念化。张晓虎：写作 – 审稿与编辑，监督。林斌：写作 – 审稿与编辑，监督。詹姆斯·A·布莱克：资金支持

利益冲突声明

我们声明与可能不恰当地影响我们工作的其他人或组织没有财务和个人关系，并且对任何产品、服务和/或公司没有专业或其他形式的个人利益，这些利益可能会影响本文中呈现的观点或手稿的审查。