利用多尺度细节增强和解耦检测头进行的小目标检测

小目标检测面临特征稀疏和噪声干扰挑战，本文提出DCGNet框架，包含DCE-FPN模块通过离散小波变换增强高频细节并抑制背景噪声，以及EDI-RCNN模块通过解耦检测头和特征交互提升分类与定位精度。在VisDrone2019等三个数据集上验证，相比基线方法在微小物体检测准确率上分别提升10.2%和1.7%。

　　

桥一欣|周新源|兰世勇|王文武|李瑶|邓国南

四川大学计算机科学学院，成都，610065，中国

摘要

小目标检测旨在识别和定位图像中占据像素比例较小的目标。尽管这项技术在各个领域都发挥着关键作用，但仍面临一些挑战，例如由于像素稀疏而缺乏足够的特征信息，以及容易受到环境噪声的影响。为了解决这些问题，我们提出了一种新的网络模型，称为“细节与上下文引导的小目标检测网络”（DCGNet）。首先，与传统的特征金字塔网络（FPN）不同，后者无法为小目标提供足够的信息，我们引入了“细节与上下文增强型特征金字塔网络”（DCE-FPN）模块。DCE-FPN将特征从时间域转换为频率域，然后对高频成分进行去噪处理，以突出小目标的详细信息。此外，DCE-FPN利用具有不同感受野的多个分支来捕获多尺度上下文信息，从而进一步区分小目标和背景。其次，为了解决小目标特征有限的问题以及现有检测头中分类和定位之间的矛盾需求，我们提出了“增强型交互解耦RCNN”（EDI-RCNN）模块，该模块独立改进了任务特定的特征，并促进了有效的特征交互，以提高分类准确性和定位精度。最后，在著名的公共数据集（VisDrone2019、AI-TODv2和DOTAv1.0）上的广泛实验表明，我们提出的方法在检测小目标和微小目标方面取得了优越的性能。与最优基线方法相比，我们的方法在VisDrone2019/AI-TODv2数据集上，小目标（$$）和微小目标（$$）的平均准确率指标上分别实现了10.2%/1.7%和$$%/2.4%的相对提升，同时没有影响常规大小目标的检测性能。

引言

目标检测是一项在日常生活中应用广泛的关键技术，包括自动驾驶、安全监控和医学图像分析。通过准确识别和定位图像中的目标，这项技术为各种应用提供了强大的支持，并在提高安全性和运营效率方面发挥着关键作用。

随着深度学习的进步，已经开发出了多种检测方法，如Faster R-CNN [1]、Cascade R-CNN [2]、FCOS [3] 和 DETR [5]，以学习用于目标检测的强大特征表示。这些方法优于传统的TDFP [6] 和 EFPN [7] 等方法，后者依赖于人工设计的特征，往往难以捕捉复杂的背景和多样的目标特征。尽管在许多情况下效果显著，但基于深度学习的方法在小目标检测方面仍然存在局限性。它们在常规大小的目标上取得了良好的结果，但在小于32像素的小目标上性能有限[8]。如图1所示，小目标通常包含有限的判别特征信息，并且极易受到环境干扰（如光照变化和雾）的影响，导致检测性能下降。

为了解决这些挑战，研究人员探索了一系列策略，例如多尺度技术。特征金字塔网络（FPN）[9] 及其变体（包括TDFP [6] 和 EFPN [7]）显示出了显著的效果。通过将丰富的语义信息从高级特征传播到低级表示，这些模型显著提高了不同尺度目标的检测性能，尤其是小目标。然而，在特征融合过程中，上采样技术（如双线性插值）可能会引入冗余，而通道减少则可能导致目标特征的丢失[10]。尽管低级特征图包含丰富的详细信息，但对小目标的初始响应仍然非常弱。上采样高级特征的过程可能会引入平滑效应或混叠伪影。当这些上采样特征与低级特征融合时，产生的冗余信息可能成为噪声，最终会淹没小目标已经较弱的高频信号，导致其特征表示严重退化。

一旦获得了强大的多尺度特征，有效的检测头对于小目标的分类和定位至关重要。传统的耦合检测头在分类和回归之间共享特征[11]，往往会引入任务干扰[12]，进一步削弱小目标的特征并加剧环境噪声的影响。Ni等人[13]在YOLOX [12]的基础上提出了一个三分支解耦头，并增加了置信度预测分支，从而提高了小目标检测的性能。然而，这些方法往往忽略了分类和定位的不同特征需求以及它们之间的潜在协同作用。通常，分类依赖于全局上下文信息来减轻环境噪声[11]，而定位则依赖于细粒度细节来准确划定目标边界。此外，鉴于小目标固有的特征稀缺性，完全解耦这两个任务可能会导致关键互补信息的丢失。具体来说，来自分类分支的强大语义线索可以帮助回归分支过滤掉背景杂乱并减少误报。相反，来自回归分支的精确边界线索可以引导分类器关注目标的核心区域。因此，当特征信息有限时，有效利用这种互补性以促进任务交互是至关重要的。

在这项研究中，我们提出了一种新的检测网络，称为“细节与上下文引导的小目标检测网络”（DCGNet），该网络基于两阶段Cascade R-CNN框架[2]构建。DCGNet旨在为精确的小目标定位提供丰富的细粒度细节，同时减轻环境噪声干扰，从而提高小目标识别能力。更具体地说，我们提出了“细节与上下文增强型特征金字塔网络”（DCE-FPN），它解决了使用传统FPN提取的小目标特征在经过上采样和通道减少操作后丢失的细粒度细节问题。DCE-FPN采用离散小波变换（DWT）[14]将特征分解为频率成分，应用自适应去噪来增强高频细节，并通过逆DWT（IDWT）[14]重建精细特征。使用具有不同感受野的并行分支捕获多尺度上下文信息，并有效融合。此外，为了减少耦合检测头引入的特征混淆，我们设计了“增强型交互解耦RCNN”（EDI-RCNN），其中分类特征通过全局上下文增强模块（GCEM）得到丰富，并通过特征交互模块（FIM）实现特征交互，从而提高小目标检测性能。我们的主要贡献如下：

(1)

我们提出了DCGNet，旨在增强小目标的详细信息并减轻环境噪声的影响，从而显著提高小目标的检测性能。

(2)

我们提出了一种新的DCE-FPN，它在频率域中丰富了特征细节，并通过多分支架构收集了多尺度上下文信息，从而增强了小目标的表示并抑制了背景噪声。

(3)

引入了EDI-RCNN模块来增强任务特定特征并促进它们之间的交互，从而有效减少任务之间的干扰。

(4)

我们的方法在三个公开的小目标数据集VisDrone2019、AI-TODv2和DOTAv1.0上进行了性能评估。

本文是会议版本的扩展[15]，具有以下重要改进：首先，我们对现有小目标检测方法中存在的关键挑战进行了全面分析（5个结论，2个相关工作）。其次，我们提出了几个模块的新扩展，包括GCEM和FIM的变体，这些在3.2节中有详细阐述。第三，进行了广泛的消融实验来评估每个模块的贡献，包括上述变体。此外，还在各种复杂场景中可视化了检测结果，并与多个最先进（SOTA）模型进行了比较分析（第4节）。这些贡献进一步证明了所提出方法在具有挑战性的环境条件下检测小目标的稳健性。

小节片段

目标检测

目标检测是计算机视觉领域的一项基本任务，旨在识别和定位图像中的多个目标，基于深度学习的方法（如卷积神经网络（CNN）和基于Transformer的检测器）取得了最佳结果。

基于CNN的检测器。 基于CNN的检测器通常分为一类和两类检测器。一类架构包括SSD [4]、FCOS [3] 和YOLO系列

提出的方法

我们的网络架构基于两阶段检测器，整个过程如图2所示。首先，主干网络（ResNet50 [41]）从输入图像中提取多尺度特征。随后，使用提出的DCE-FPN融合这些多尺度特征并增强小目标的详细信息。之后，RPN和EDI-RCNN分别执行第一阶段和第二阶段的检测任务。

数据集

我们在VisDrone2019、AI-TODv2和DOTAv1.0数据集上验证了我们方法的有效性。

VisDrone2019是一个大规模的无人机视觉数据集，包含多种小目标，涵盖十个不同的目标类别。它包含10,209张高分辨率（2000×1500像素）的航拍图像，其中6471张用于训练，3190张用于测试，548张用于验证。由于VisDrone2019测试集不可用

结论

小目标通常包含有限的特征信息，因为它们只占据少量的像素，这使得它们极易受到环境噪声的影响。为了解决这一挑战，本文提出了一个有效的检测框架DCGNet，该框架结合了DCE-FPN来丰富频率域中的细粒度特征表示，同时捕获多尺度上下文信息，从而减少噪声干扰。此外，EDI-RCNN模块进一步增强了

CRediT作者贡献声明

桥一欣：撰写——原始草案、验证、软件、方法论、数据管理。周新源：撰写——审阅与编辑、可视化、形式分析、数据管理。兰世勇：撰写——审阅与编辑、资源管理、项目管理、方法论、研究经费获取、形式分析、概念化。王文武：撰写——审阅与编辑、可视化、研究、形式分析。李瑶：撰写——审阅与编辑、验证。邓国南：撰写——

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：

兰世勇报告称获得了中国国家自然科学基金的财务支持。如果还有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文报告的工作。

桥一欣于2023年在中国成都理工大学获得计算机科学与技术学士学位。他目前正在四川大学攻读硕士学位。他的当前研究兴趣包括计算机视觉、目标检测和无监督学习。