MFE-DETR：一种用于航空影像中RGB-红外目标检测的多模态特征增强检测变换器 作者：Yan Ze Kai 和 Wang Mu-Jiang-Shan

《Symmetry》：MFE-DETR: Multimodal Feature-Enhanced Detection Transformer for RGB–Infrared Object Detection in Aerial Imagery Zekai Yan and Mu-Jiang-Shan Wang

多模态目标检测在UAV监控中利用RGB和红外图像提升环境适应性，通过Haar小波分解和可学习样条激活函数增强模态特征，结合自适应特征融合和双线性注意力检测模块解决跨模态关联建模问题，实验显示在DroneVehicle和VisDrone数据集上mAP分别提升5.3%和1.5%。

　　

摘要

利用RGB和红外（IR）图像进行的多模态目标检测已成为无人驾驶飞行器（UAV）监控应用中的关键研究领域，能够在各种光照和环境条件下提供可靠的感知能力。然而，当前方法面临三个主要挑战：（1）在异构模态中未能充分利用频域特性；（2）在不同环境场景下的跨模态特征集成适应性有限；（3）对精细空间关系的建模不足，导致目标定位不够准确。为了解决这些问题，我们提出了MFE-DETR，这是一种新型的多模态特征增强检测Transformer，通过三项互补创新实现了卓越的RGB-IR融合。首先，我们设计了双模态增强模块（DMEM），它包含两个专门的处理流程：Haar小波分解流程（HWD-Stream），用于进行多分辨率频域分析，以独立增强低频结构成分和高频纹理信息；以及注意力引导的Kolmogorov–Arnold细化流程（AKR-Stream），该流程采用可学习的样条参数化激活函数来实现自适应的非线性特征细化。其次，我们通过集成自适应特征融合模块（AFAM）来增强跨尺度通道特征融合模块，该模块通过互补的门控机制根据空间信息量动态调整各模态的贡献。第三，我们引入了双线性注意力增强检测模块（BADM），该模块通过分解式双线性池化来建模二阶特征交互，从而促进精细的跨模态相关性分析。在DroneVehicle基准测试中的大量实验表明，MFE-DETR的mAP值分别达到了78.6%和57.8%，相比现有方法分别提升了5.3%和3.7%。在VisDrone数据集上的进一步评估进一步证实了该方法出色的泛化性能，尤其是在小目标检测方面，其AP值达到了18.6%，比现有技术提高了1.5%。全面的消融研究和可视化分析提供了关于每个提出组件的有效性的详细见解。