《Optics and Lasers in Engineering》：Far field single-pixel image-free tracking for moving object
编辑推荐：
实时追踪移动目标的关键部件是单像素成像系统的难点，本研究提出基于iftn的远场无图像跟踪框架，通过联合优化结构照明与网络训练，直接将一维单像素测量映射到目标坐标，避免图像重建导致的计算负担和运动模糊干扰，在6.25%采样率下实现85.8%跟踪精度和95.2Hz刷新率，有效距离达80米，较传统方法精度提升超六倍。
顾云松|王华华|庄涵|李冰洁|肖红月|张长祺|江洪伟|黄浩冲|郑志远|张泽|高路
中国地质大学北京校区理学院，10083，中国
摘要
在实际的单像素成像系统中，实时跟踪移动物体的关键部分仍然是一个主要挑战。在这项工作中，我们提出了一种基于无图像跟踪网络（IFTN）的远场单像素无图像跟踪框架，用于移动物体的跟踪。通过联合优化结构化照明和网络训练，所提出的方法可以直接将一维单像素测量值映射到目标坐标，而无需图像重建，有效减轻了运动模糊引起的精度下降。实验结果表明，该方法在6.25%的采样率下实现了85.8%的跟踪精度和8.4%的平均绝对百分比误差，以及95.2 Hz的跟踪速度。此外，该系统能够在最远80米的距离上进行远场跟踪。与依赖图像重建的传统单像素成像跟踪方法相比，所提出的方法提高了六倍以上的跟踪精度。这项工作为遥感及相关应用中的无图像跟踪提供了一种高效且灵活的解决方案。
引言
幽灵成像（GI）是一种非传统的成像技术，它通过高阶强度相关性而不是直接的空间强度测量来获取物体信息[1]、[2]、[3]。由于其无透镜的特性，GI已被扩展到各种光谱区域，包括X射线、红外和太赫兹波段[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]、[12]。凭借强大的抗干扰能力和对湍流的鲁棒性，GI在雷达检测和遥感等应用中受到了越来越多的关注[13]、[14]、[15]、[16]、[17]、[18]、[19]。
2008年引入的计算幽灵成像（CGI）进一步简化了系统，只需要一个单像素（桶形）探测器和一个可编程的照明源[20]。然而，当成像移动物体时，CGI的性能会显著下降，因为运动会破坏照明模式和测量信号之间的相关性，导致严重的运动模糊。尽管最近的研究引入了训练照明和运动补偿策略来缓解这个问题[21]、[22]、[23]、[24]、[25]，但大多数现有方法仍然依赖于图像重建，这在计算上非常昂贵，不适合实时跟踪。
传统的幽灵成像识别和检测任务[26]、[27]、[28]、[29]通常需要高分辨率的目标物体图像来提取有效的特征信息，然而，高分辨率图像的获取依赖于复杂的成像硬件或极其复杂的重建算法[30]、[31]、[32]。这导致了高计算成本、长时间运行和繁重的数据传输负担。基于单像素探测器（SPD）的无图像感测方法[33]为解决上述问题提供了一个研究方向。在深度学习支持的解析能力驱动下，最近对单像素无图像感测方法的研究逐渐增加。傅浩[33]使用基于准确性的解码器实现了无图像手写字符识别，并通过优化编码模块中的调制模式达到了96%的分类精度。边亮[35]设计了一个基于双向长短期记忆（LSTM）模型的端到端无图像多字符识别网络。张长祺[36]提出了一种无图像在线快速移动数字分类方法。然而，之前的工作无法同时获得场景中每个目标的详细类别、位置和大小信息，这对于实际应用至关重要。2020年，端到端无图像识别算法[37]为单像素无图像跟踪提供了新的研究方向。最近提出了一种基于DCT和互补调制的无图像跟踪方法，实现了高帧率和低采样要求[38]。基于傅里叶基的单像素检测方法在移动物体检测中展示了极高的时间分辨率[39]。使用几何矩和EWMA的自适应多目标跟踪系统被引入，以解决来自单像素测量的多目标定位问题[40]。结合傅里叶数据和光流的单像素跟踪方法在复杂动态背景中实现了鲁棒性[41]。目前，随着幽灵成像技术和深度学习的紧密结合，越来越多的无图像跟踪算法被发现[42]、[43]。
基于端到端无图像跟踪技术，我们提出了一种单像素无图像跟踪网络（IFTN），以解决无图像识别中常见的低精度和高计算成本问题。通过考虑移动物体的运动模糊效应并使用训练照明，所提出的IFTN有效抑制了运动引起的跟踪精度下降。该网络可以直接将一维单像素测量值映射到移动物体的关键坐标，而无需图像重建。在6.25%的低采样率下，该方法实现了85.8%的跟踪精度，平均绝对百分比误差为8.4%，跟踪时间为10.5毫秒。这项工作为低采样条件下的移动物体无图像定位提供了一种高效的解决方案。
方法部分
传统的幽灵成像系统由两束空间分离的光束组成，一束是参考光束，另一束是物体光束。参考光束不与被测物体相互作用，自由传播到探测器，探测器检测其强度分布。物体光束与目标之间的相互作用通过单像素测量获得了一维强度信号。
仿真与实验
为了测试我们网络的识别性能，我们首先在公共物体检测数据集COCO 2017上进行了仿真，该数据集包含330,000张图像和250,000个目标物体的关键坐标信息。我们选择了20,000张图像进行训练，其中80%用于训练，20%用于测试。在仿真中，使用了几种现有的先进物体检测方法来测试网络的识别性能。
结论
总之，我们提出了一种高效的端到端解决方案，用于移动物体关键部分的单像素无图像跟踪。该技术解决方案的优势在于以下几个方面：首先，它建立了一个无图像跟踪网络IFTN，可以直接识别移动物体的关键部分。与传统的基于图像的跟踪方法相比，它减少了高质量图像重建和网络存储的负担。同时，IFTN模型可以
资助
本工作得到了国家自然科学基金（编号：12074350和62105341）的支持。
CRediT作者贡献声明
顾云松：资金获取、形式分析、数据管理、概念构思。王华华：概念构思。庄涵：软件开发。李冰洁：研究调查。肖红月：数据管理、概念构思。张长祺：方法论设计。江洪伟：数据管理、概念构思。黄浩冲：形式分析、概念构思。郑志远：方法论设计、研究调查、数据管理、概念构思。张泽：概念构思。高路：研究调查、资金获取、形式分析
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
致谢
我们非常感谢参与者的支持和对本研究的贡献。感谢张英文、姚博文、张舒、严启凯和张曦在这项工作中的帮助。
