受热辐射原理启发的红外小目标检测网络

《Optics & Laser Technology》：Thermal radiance-inspired network for infrared small target detection

红外小目标检测面临低对比度、小尺寸和高计算成本等挑战，本文提出轻量级方法TRINet，通过TRMD模块增强多方向热辐射特征，结合SFM和CWA模块实现多尺度特征融合，在保持高检测精度的同时降低计算开销，嵌入式测试达25fps。

　　

孙恒|安一彤|彭振邦|白向志

北京工业大学计算机科学学院，北京，100124，中国

摘要

红外弱小目标检测在夜间搜索、救援和环境监测等多个领域具有重要的意义和广泛的应用。然而，红外弱小目标的特点是尺寸小、特征不明显且对比度低，这对现有的深度学习方法构成了挑战，导致检测精度低和计算成本高。为了解决这个问题，我们提出了一种轻量级的深度学习方法，称为热辐射启发网络（TRINet）。基于目标的热辐射的多方向性，设计了热辐射多方向性（TRMD）模块，在编码和解码过程中增强目标特征。此外，通过空间特征调制（SFM）模块和跨窗口注意力（CWA）模块分别提取了同一分辨率和不同分辨率下的热辐射的多尺度特征。与对比方法相比的实验结果表明，TRINet在各种数据集上均取得了先进的性能。同时，TRINet在嵌入式系统上的检测速度达到25帧/秒。源代码将在https://xzbai.buaa.edu.cn/提供。

引言

热红外弱小目标检测技术在军事侦察、夜间搜索、救援和环境监测等多个领域具有重要的意义和广泛的应用。例如，在云层密集的红外图像中，无人机通常只占据3×3像素的面积，这要求检测系统能够在嵌入式设备上实现实时处理。然而，由于缺乏颜色信息、目标尺寸小以及目标和背景的结构信息有限，在复杂环境中检测弱小目标时容易产生大量误报。同时，基于嵌入式设备的有效检测仍然是一个挑战。

现有的红外弱小目标检测方法可以分为两类：序列（先跟踪后检测，TBD）方法和单帧（先检测后跟踪，DBT）方法。TBD方法通常依赖于关于目标和背景的帧间信息以及对目标形状和速度的先验知识[1]、[2]、[3]、[4]、[5]。然而，在某些实际场景中，由于飞机和传感器平台的快速移动，获取帧间或目标信息非常困难。DBT方法基于对目标或背景特征的建模[6]、[7]。近年来，深度学习在各种图像处理领域得到了广泛应用，并被引入到单帧红外弱小目标检测中[8]、[9]。通过大量数据的训练，这些数据驱动的方法在不同背景下表现出良好的泛化性能，消除了繁琐的手工特征设计的需要，并克服了适应性的限制。

尽管深度学习方法具有优势，但在红外弱小目标检测中仍存在几个挑战。

• 1.
  复杂环境中的低信噪比（SNR）：目标的强度与云边缘和热噪声相似（SCR约为2 dB），导致高漏检率和误报率。
• 2.
  超小目标的特征退化：在传统的CNN中，目标（通常小于9像素）通过连续的下采样层丢失了空间细节。
• 3.
  计算强度不匹配：现有的最先进方法计算成本高，使得它们无法在资源受限的平台上部署。

为了解决这些问题，我们提出了一种轻量级的热辐射启发网络（TRINet）以实现高效检测。基于热传导微分方程和尺度空间理论，我们分析了目标热辐射的多方向性和多尺度特征，然后根据这些特征设计了我们的网络。基于多方向性，我们提出了热辐射多方向性（TRMD）模块来增强目标特征并克服复杂环境中低SNR的挑战。基于多尺度特征，我们提出了SFM和CWA模块来克服超小目标特征退化的挑战。SFM模块在同一分辨率下提取多尺度特征，CWA模块整合了不同分辨率下的多尺度特征。本研究的贡献可以总结如下：

• 1.
  我们提出了一种名为TRINet的轻量级深度学习方法，该方法利用目标热辐射的多方向性和多尺度特征，在检测效果和计算效率之间取得了平衡。
• 2.
  我们设计了三个热辐射启发模块，分别是TRMD、SFM和CWA。TRMD模块通过目标热辐射的多方向性增强目标特征。SFM模块在同一分辨率下提取多尺度特征，以捕捉目标热辐射的多尺度特性。CWA模块整合了不同分辨率下的多尺度特征的详细和语义上下文。
• 3.
  通过在4个数据集上进行定量和定性的实验评估，TRINet在各种指标上表现良好。同时，在嵌入式平台上进行的实验表明，TRINet的检测效率（速度超过20帧/秒）优于现有方法。

本文的其余部分安排如下。第2节我们对单帧红外弱小目标检测的相关工作进行了简要回顾。第3节介绍了提出的TRINet。第4节展示了与对比方法和消融研究的实验结果。第5节总结了本研究。

部分摘录

模型驱动方法

基于模型的弱小目标检测方法主要包括基于滤波器的方法、基于对比度的方法和基于优化的方法。基于滤波器的方法将弱小目标视为整个图像中的明亮异常值。通过滤波器算法获取背景并从原始图像中减去背景来定位目标[10]、[11]。Deshpande等人提出了使用最大值-中值和最大值-均值滤波器的方法，这些滤波器用背景预测替换中心像素

提出的方法

在本节中，我们提出了TRINet，该方法通过调节目标特征来实现高效检测。整体架构如图1所示。它包括以下组件：热辐射多方向性（TRMD）模块、空间特征调制（SFM）模块和跨窗口注意力（CWA）模块。每个模块的详细信息如下所述。在编码过程中，TRMD模块获得增强后的特征图$F_{}$。然后SFM模块获得特征图$F_{}$