《Engineering Applications of Artificial Intelligence》:Dual-path adaptive feature elevation system for detecting small targets in remote sensing imagery
编辑推荐:
小目标检测在遥感图像中面临目标特征弱、背景复杂等问题,传统方法侧重提升检测效率但精度不足。本文提出DAES-net模型,通过双路径自校准模块(DSM)优化多尺度特征融合,动态归一化Wasserstein距离(D-NWD)损失函数提升定位精度,以及特征重用重参数化卷积(FRRO)减少信息损失,实验表明其平均精度(MAP)显著优于现有方法。
徐良军|马慧
黑龙江大学电子工程学院,哈尔滨,150080,中国
摘要
由于目标特征不明显和背景复杂等因素,从遥感图像中检测小目标长期以来一直是一个挑战。现有方法主要集中在提高检测效率上,这往往导致小目标的检测精度不够理想。本研究提出了双路径自适应特征提升系统(DAES-net),用于在遥感图像中检测小目标,该系统在保持合理检测效率的同时显著提高了小目标的检测精度,有效克服了这一挑战。DAES-net首先集成了一种专有的双路径自校准模块(DSM)。该模块通过全局建模和局部去噪优化特征融合,增强了全局特征相关性,同时减少了冗余,为检测系统提供了更精确的融合特征。其次,设计了动态归一化Wasserstein距离(D-NWD)损失函数,以实现更精确的小目标定位。通过动态调整归一化Wasserstein距离(NWD)损失函数中约束项的回归权重,D-NWD实现了针对小目标的最优定位策略,从而提高了模型的定位效率。最后,提出了基于一次性聚合特征重用的重新参数化卷积(FRRO)技术。这种特征重用结构防止了小目标信息的丢失,同时加快了模型推理效率。实验结果表明,DAES-Net在四个公开的小目标检测数据集上获得了最高的平均精度(MAP),优于现有的最先进方法。这突显了本研究对小目标检测领域的重大贡献。
引言
在遥感目标检测(RSOD)领域,重点是标记关键目标的位置并从远距离捕获的视觉数据中识别它们的类别。由于遥感图像具有独特的视角和广泛的覆盖范围(Yu等人,2022年),它们被应用于各种检测任务,特别是在军事侦察、交通监控和海上救援等领域。然而,与传统照片相比,遥感图像在空间维度上具有更多的细节,并且背景复杂,从而使目标检测过程更加复杂。特别是小目标检测(检测尺寸小于32×32像素的目标)面临重大挑战,因为这些目标在图像中的像素数量较少,特征不明显,并且经常被背景噪声遮挡,使得检测工作极其困难。
具体来说,小目标检测遇到的困难主要源于几个方面,如图1所示:模糊的特征和特征稀缺导致检测模型难以捕捉具有强区分能力的特征,影响了它们的识别和定位能力;同时,小目标容易受到复杂背景和密集场景中相似特征的干扰,增加了误报和目标未被检测到的可能性。因此,如何在遥感图像中有效检测小目标已成为遥感图像处理领域的一个重要问题。
现有研究主要集中在三个方面来提高小目标检测的精度(详见附表1):
提取多尺度融合特征:张等人(肖等人,2025年)使用双路径特征复用模块和交叉注意力模块有效地融合了多尺度特征,解决了高频细节和纹理恢复模糊的问题。李等人(范等人,2025年)采用上下文感知的调制和渐进式特征校准融合策略来提高滑坡检测的精度和鲁棒性。张等人(郑等人,2025年)通过设计具有特征解耦的伪孪生网络架构,并结合变换器(CNN)和卷积神经网络(CNN),有效解决了大尺度变化、光谱带间信息混淆以及多光谱遥感图像中局部和全局信息平衡困难的问题。张等人(2023b年)通过设计多尺度特征融合模块和注意力机制,为细胞分割任务提供了高精度的融合特征。尽管上述方法从不同角度丰富了融合特征的提取,但它们对深度特征和浅层特征之间的差异关注较少,导致提取的融合特征不适用于小目标检测。
设计定位损失:胡等人(罗等人,2024年)提出了一种统一的交并比(UIoU)方法来提高检测精度和模型收敛速度。该方法动态调整预测框权重,使模型专注于高质量的预测框,使用缩放策略和双注意力机制优化权重分配。胡等人(张等人,2023c年)提出了内IoU方法,通过辅助边界框和缩放因子动态调整损失计算,从而提高了小目标检测边界框的回归性能,加速了高IoU样本的收敛,并改善了低IoU样本的回归。胡等人(李等人,2020a年)提出了广义焦点损失(GFL),通过同时表示分类和定位质量来提高密集目标检测性能,并引入了分布式焦点损失(DFL)来模拟任意边界框位置分布。虽然这些方法从不同角度关注预测框的回归过程,但对于小目标而言,很少有工作同时关注定位损失对检测框变化的敏感性和预测框回归过程的动态性。
特征提取增强:胡等人(Abro等人,2019年)采用了数字成像技术,包括边缘检测和纹理分析,为下水道机器人提供了关键的视觉线索。同样,胡等人(Tunio等人,2019年)提出了一种基于小波变换和支持向量机(SVM)的图像处理算法,以准确识别叶病。李等人(Lau等人,2023年)通过将深度可分离卷积应用于视觉注意力网络(VAN),降低了大核注意力机制的计算复杂性,同时增强了视觉特征提取。李等人(张等人,2023a年)通过设计感受野注意力机制(RFA)显著提高了卷积神经网络的特征提取能力,解决了传统卷积操作中的参数共享问题。李等人(张等人,2024a年)通过在检测的不同阶段引入中心区域标记分配和门控上下文聚合等模块,减轻了提取过程中丢失小目标特征的问题。张等人(朱等人,2021a年)通过引入可变形注意力模块,解决了DETR模型收敛速度慢和特征空间分辨率有限的问题,使模型适合检测小目标。与传统的数字图像处理技术相比,CNN可以学习深度图像表示并自动提取局部图像特征。变换器克服了CNN在理解远距离特征方面的局限性,并使用自注意力机制来理解全局图像特征。尽管已经研究了小目标特征的增强方法,但很少有研究同时关注推理效率和特征提取过程中的特征信息丢失。
为了应对上述挑战,本研究开发了DAES-net,这是一种新的单阶段小目标检测模型。其贡献主要体现在以下几个方面:
1)DAES-net专门用于识别遥感场景中的小尺度目标。通过准确提取更精确的融合特征并动态定位小目标,该网络有效提高了小目标的检测精度,同时确保了合理的推理效率。与当前的最先进方法相比,DAES-net表现出更优越的性能。
2)提出了三阶段动态融合架构(TDFA),该架构增强了模型提取小目标融合特征的能力,同时动态减少了深度特征和浅层特征之间的偏差。设计的DSM不仅建立了全局特征连接,还增强了融合特征,有效解决了小目标特征对齐困难的问题。
3)设计了D-NWD,通过引入动态位置感知因子,使NWD能够敏感地捕捉小目标的位置细节,从而提高小目标检测的精度,同时提高了检测效率。
4)设计了FRRO,其特征重用结构有效防止了特征增强过程中小目标信息的丢失。
本文的其余部分组织如下:第二节讨论了与小目标检测相关的工作;第三节阐述了本文的研究动机;第四节详细介绍了DAES-net的整体结构;第五节首先介绍了实验细节,然后对创新模块进行了消融实验,并与主流检测模型进行了比较实验,以确认该方法的有效性;第六节总结了本文的发现,并对小目标检测的未来方向提供了见解。
节选
基于深度学习的单阶段检测方法
单阶段检测器在深度学习目标检测算法中因其效率和实用性而脱颖而出,成为许多研究人员和实践者的首选。深度学习技术的引入为目标检测领域带来了革命性的进展,检测器主要分为两类:单阶段和两阶段。单阶段检测器,如YOLO(Redmon等人,2015年)和SSD(Wei等人,2016年),直接进行预测
动机
在检测微小目标的挑战中,目标的细节有限以及它们在复杂和多变环境中的频繁出现增加了检测过程中遗漏和误识别的风险。因此,设计一个能够提取精确融合特征并准确定位微小目标的模型尤为重要。
目前,主流检测模型利用FPN来融合从主干网络提取的多分辨率特征
DAES-net的架构
在本文中,提出了DAES-net来精确检测遥感场景中的小目标。图4展示了DAES-net的总体结构,它由三个关键组成部分组成:用于放大小目标特征细节的强大主干网络(4.2)、旨在减少特征融合偏差的三阶段动态融合架构(4.3),以及旨在准确定位小目标的基于D-NWD的检测头(4.4)。
在防损失的主干网络中,为了
实验
在本节中,首先介绍了基准数据集和实验细节,然后将提出的DAES-net与主流方法进行了比较。最后,通过消融实验验证了每个模块的有效性。
结论
DAES-net旨在通过减少融合特征的偏差和动态感知小目标预测框的回归过程来提高遥感图像中小目标检测的精度。与现有的最先进方法以及每个创新模块的消融实验相比,证实了其设计的有效性。消融实验表明,引入DSM将基线模型的指标提高了4.7%(44.1%至
CRediT作者贡献声明
徐良军:撰写——原始草稿、验证、软件、方法论、调查、数据管理、概念化。马慧:撰写——审稿与编辑、监督、资源管理、方法论、资金获取、概念化。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
致谢
本工作部分得到了黑龙江省自然科学基金(LH2022F047)和黑龙江省高等学校基础科学研究业务经费(2022-KYYWF-1089)的资助。