具有显式时间状态建模和双记忆机制的遮挡感知视觉对象跟踪

《Pattern Recognition》：Occlusion-aware visual object tracking with explicit temporal state modeling and dual-memory mechanism

　　

陈志鹏|彭琳宁|王天宇|曾成|潘一金|王俊波

摘要

在遮挡场景下，视觉对象跟踪（VOT）仍然具有挑战性，传统跟踪器通常会遇到特征退化和目标丢失的问题。为了解决这个问题，我们提出了OASAMT，这是一个具有遮挡感知能力的跟踪框架，它通过两个时间卷积网络（TCN）和双记忆库（DMB）为SAM2添加了显式的时间遮挡推理功能。具体来说，设计了两个基于TCN的模块来模拟时间遮挡动态：时间遮挡分类器（TOC）利用置信度分数、掩码IoU和面积比来推断目标遮挡状态；时间遮挡预测器（TOP）用于在遮挡期间预测目标边界框。所提出的DMB由非遮挡记忆库（N-OMB）和遮挡记忆库（OMB）组成，它们明确分离了可靠信息和被遮挡信息，以防止内存污染并提高遮挡后的重新检测性能。此外，为了便于在遮挡场景下进行系统评估，我们构建了OccTrack，这是一个专门针对遮挡情况的数据集，它来源于四个无人机视角的基准测试。在OccTrack、LaSOT、LaSOT_ext和GOT-10k数据集上进行了广泛的实验。实验结果表明，OASAMT在遮挡特定场景和通用跟踪场景中均显著优于SAM2.1和其他先进跟踪器。代码和数据集可在以下链接获取：https://github.com/ChaseFalcon99/OASAMT