通过高分辨率特征提取和多尺度融合技术提升低空遥感中的小目标检测性能

《Engineering Applications of Artificial Intelligence》：Enhancing small object detection in low-altitude remote sensing via high-resolution feature extraction and multi-scale fusion

　　新远乐 | 英晨 | 韦增 | 向翱 | 陈慧玲 | 谢晶莹
南昌航空大学软件学院，中国江西省南昌市凤河南路696号，邮编330063

**摘要**
为了解决特征表示不足、多尺度融合中的冗余以及低空遥感图像中方向感知能力弱的问题，本文提出了一种基于卷积神经网络和注意力机制的检测模型——多尺度融合一次性检测（MSF-YOLO），该模型增强了特征提取和多尺度融合能力。首先，通过添加一个P2小型物体检测头并移除大型物体检测头来重构检测头层次结构，从而提高高分辨率特征的利用效率。其次，设计了改进的选择性轮廓聚合（ISBA）模块，构建了改进的选择性轮廓聚合网络（ISBANet），该网络能够动态调整融合权重并进行一致性校正。第三，提出了增强型空间和方向卷积（ESDConv）算法，通过空间切片-通道拼接和多方向卷积来提升小物体的特征表示能力，同时避免了传统下采样导致的细节丢失。在2019年“视觉与无人机目标检测挑战赛”（VisDrone-DET2019）数据集上的实验结果表明，MSF-YOLO-n的检测精度接近于一次检测模型YOLOv8x，但其参数仅为YOLOv8x的4%，计算成本仅为其18.4%。与基线模型YOLOv8n相比，MSF-YOLO-n的参数减少了10%，在IoU阈值50–95%下的平均精度（mAP50-95）提高了9.3%，尽管浮点运算次数（FLOPs）有所增加。在“无人机基准目标检测与跟踪”（UAVDT）数据集上的验证也证实了该模型的泛化能力，证明了所提出的人工智能方法在低空遥感小目标检测中的有效性。

**引言**
作为计算机视觉领域的核心任务，目标检测在智能监控、城市管理和应急救援等实际场景中发挥着关键作用。近年来，随着深度学习技术的快速发展，基于卷积神经网络（CNN）的目标检测器（如快速区域卷积神经网络（Fast R-CNN）（Girshick, 2015）、一次性检测（YOLO）（Redmon等，2016）和级联区域卷积神经网络（Cascade R-CNN）（Cai和Vasconcelos，2018）在通用图像目标检测方面取得了重大突破。然而，遥感图像与自然场景图像存在本质差异，包括独特的成像视角（例如俯视拍摄）、目标尺度差异显著、小物体占比高以及这些小物体分布密集。这些差异导致通用检测模型在遥感小目标检测任务中表现不佳，成为制约智能遥感解释发展的瓶颈。
在遥感中，小目标检测面临三个核心挑战：
(1) 小物体在图像中占像素比例极低（例如，在2019年“视觉与无人机目标检测挑战赛”（VisDrone-DET2019）数据集中，占据3x1像素区域的物体占目标的60%（Du等，2019））。传统检测架构无法充分利用高分辨率的浅层特征，导致小物体特征容易被背景噪声淹没，从而无法有效捕捉。
(2) 尽管浅层特征保留了丰富的轮廓细节和定位信息，但其语义表达能力较弱。相比之下，深层特征富含语义信息，但由于多次下采样操作会导致空间分辨率急剧下降。直接融合这两种特征可能会产生信息冗余和语义与轮廓信息之间的冲突，使得形成一致的特征表示变得困难。
(3) 传统卷积操作采用固定的感受野和对称处理机制——具体来说，卷积核的权重分布通常是中心对称的（例如3×3核，权重在中心对称分布），并且在卷积过程中通常使用对称填充（特征图的左右和上下填充相同像素）。这种对称设计对所有方向的特征一视同仁，无法有效适应遥感图像中小物体稀疏且异构的空间分布。此外，它也无法优先提取对小目标识别至关重要的多方向轮廓信息（例如车辆的水平边缘、行人的垂直轮廓）。这些限制限制了小物体的特征表达能力。
为了解决上述问题，研究人员进行了大量探索：文献（Hong等，2019；Lin等，2017）通过裁剪和拷贝粘贴等数据增强策略增加了小物体样本的数量，但未能从根本上解决特征表示不足的问题。多尺度融合网络（如特征金字塔网络（FPN）（Lin等，2017）、双向特征金字塔网络（BiFPN）（Tan等，2020）通过跨层特征聚合增强了层间信息的互补性。然而，浅层特征图保留了丰富的空间细节（如物体轮廓），但缺乏足够的语义信息；而深层特征图虽然包含强语义线索，但由于多次下采样操作导致细粒度空间细节丢失。直接连接或简单加权这些特征往往会导致深层语义掩盖浅层轮廓，或浅层轮廓干扰深层语义——这就是所谓的融合不一致性问题。因此，需要一种机制来动态协调轮廓信息与语义信息——即轮廓-语义协调机制，以在利用语义引导的同时保留细节，避免信息冲突。这激发了我们设计改进的选择性轮廓聚合（ISBA）模块的灵感，该模块采用注意力引导的反向校正机制实现轮廓和语义特征之间的双向互补，有效解决了传统多尺度融合中的信息冗余和冲突问题。轻量级模型（如Slim一次性检测版本3（SlimYOLOv3）（Zhang等，2019a）通过简化网络结构降低了计算负担，但往往会导致小目标检测精度下降。尽管这些方法在一定程度上缓解了一些问题，但未能系统地解决遥感小目标检测中的核心矛盾，如特征提取不足、融合冗余和方向感知能力弱。
为此，本文提出了一种基于一次性检测模型YOLOv8的增强型特征提取和多尺度融合模型——多尺度融合一次性检测（MSF-YOLO）。本文的主要贡献如下：
(1) 在协同特征提取和融合框架内重构检测头层次结构：通过扩展路径聚合网络-特征金字塔网络（PAN-FPN）架构，添加新的P2小型物体检测头并移除P5大型物体检测头，不仅减少了参数数量，还通过后续的改进选择性轮廓聚合网络（ISBANet）和增强型空间和方向卷积（ESDConv）模块实现了协同的多尺度特征增强。该设计不仅增加了层次，还将高分辨率处理与轮廓-语义融合和方向特征提取相结合。
(2) 设计改进的选择性轮廓聚合（ISBA）模块并构建ISBANet融合网络：该模块使用注意力单元（AU）动态过滤浅层轮廓特征和深层语义特征的通道权重。结合反向校正机制（特征差异运算），优化了融合一致性，减轻了信息冗余和冲突，提高了小物体轮廓识别的准确性。
(3) 提出ESDConv：通过空间切片和通道拼接，将小物体的局部特征编码为通道级信息。结合非对称填充和水平/垂直方向卷积核，增强了模型感知边缘小物体和提取多方向轮廓的能力，避免了传统下采样导致的小物体细节丢失，并提高了特征区分度。

本文的其余结构如下：第2节回顾相关研究；第3节详细介绍模型结构和模块设计；第4节通过实验验证所提方法的有效性；第5节提出结论和未来展望。

**相关工作**
与检测常规大小物体的目标不同，检测遥感场景中的小目标面临更大的挑战。这主要是因为它们在图像中的面积极小，无法提供足够的颜色、形状、纹理或其他类型的可见信息。主要挑战包括小物体有效特征不足、小物体聚类、难以将小物体与锚框匹配以及数据集匮乏等问题。

**MSF-YOLO模型概述**
为了解决遥感小目标检测中的核心问题（包括特征表示不足、融合冗余和方向感知能力弱），本文提出了一种基于YOLOv8架构的增强型特征提取和多尺度融合模型（MSF-YOLO）。该框架的关键组成部分是具有2个卷积层（C2f）的跨阶段部分瓶颈模块（C2f），这是Cross Stage Partial Network（CSPNet）结构的改进版本。

**数据集介绍**
为了验证所提出的改进模型在低空遥感小目标检测中的有效性，我们在两个流行且具有代表性的数据集VisDrone-DET2019和UAVDT上进行了系列实验。

**结论与未来工作**
本文提出了一种基于YOLOv8架构的增强型特征提取和多尺度融合模型MSF-YOLO，旨在解决遥感图像中小目标检测中的核心挑战。通过三项协同创新——层次化检测头重构（添加P2检测头并移除P5检测头）、注意力引导的...

**作者贡献声明**
新远乐：撰写-审稿与编辑、初稿撰写、可视化、验证、方法论、形式分析、数据整理、概念化；
英晨：撰写-审稿与编辑、监督、概念化；
魏增：撰写-审稿与编辑、监督；
向翱：撰写-审稿与编辑；
陈慧玲：撰写-审稿与编辑；
谢晶莹：撰写-审稿与编辑。

**关于生成式AI和AI辅助技术在本研究中的应用声明**
在准备本过程中，作者使用了ChatGPT来提高语言的可读性。使用该工具后，作者根据需要对内容进行了审阅和编辑，并对出版物的内容负全责。

**利益冲突声明**
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：英晨获得了国家自然科学基金的支持、文章发表费用和写作协助。如果还有其他作者，他们声明没有已知的可能会影响本文工作的财务利益或个人关系。

**致谢**
本研究得到了江西省自然科学基金（项目编号20242BAB26015、20232BAB206129）的部分支持，同时也得到了国家自然科学基金（项目编号62571374）的部分支持。