DMPFDet：一种端到端的可变形互促学习网络，用于多光谱可见光-红外融合检测

《Neural Networks》：DMPFDet: An End-to-End Deformable Mutual-Promotion Learning Network for Multispectral Visible–Infrared Fusion Detection

多光谱图像融合检测研究提出端到端DMPFDet框架，结合MDDT模块与CMAF模块实现特征互促优化，在复杂环境下提升检测精度，实验表明优于SOTA方法。

　　

郑尚波|刘俊峰|曾俊

华南理工大学自动化科学与工程学院，中国广州市510641

摘要

多模态图像融合与目标检测在复杂环境中的检测精度和鲁棒性显著提升，这对于自动驾驶至关重要。尽管多模态融合方法取得了进展，但大多数方法侧重于生成视觉上吸引人的图像，而忽视了它们对下游任务的有效性。同时，现有的多模态检测方法往往未能充分利用模态特定特征和跨模态互补信息。尽管一些近期研究尝试将融合与检测相结合，但它们通常依赖于多阶段训练流程，并忽略了融合特征与检测表示之间的相互指导潜力，从而导致性能不佳。为了解决这些问题，本文提出了DMPFDet，一种端到端的可变形互促学习网络，用于多光谱可见光-红外融合检测，它在统一的训练流程中实现了高质量的融合和准确的检测。该网络包括两个主要组件：用于检测的多模态可变形检测变换器（MDDT）模块和用于融合的跨模态注意力融合（CMAF）模块。MDDT基于RT-DETR架构设计，能够高效提取模态特定特征和跨模态互补信息。CMAF能够有效捕捉局部纹理细节、全局上下文信息以及通道和空间信息。值得注意的是，这两个模块被设计为在特征层面相互提供指导，从而实现联合优化并强化彼此的学习过程。在多个数据集上的实验结果表明，所提出方法的性能优于现有最先进的方法。它不仅产生了有效的融合结果用于目标检测，还取得了令人印象深刻的检测效果。

章节摘录

引言

多模态融合（Sun等人，2022年；Zhou等人，2021年；Li等人，2024年）从多种模态中提取关键信息，并将其整合以获得更全面的数据表示，从而解决了单模态数据在信息表达方面的局限性。红外图像在能见度低的环境（如光线不足、浓烟或雾）中提供了丰富的热辐射信息，由于对比度高，热目标因此被突出显示。

相关工作

• A.
  多光谱图像融合

图像融合任务可以有效地保留来自不同模态的有益互补信息，从而弥补单模态数据的局限性。传统的IF方法（Ma等人，2016年；Ma等人，2017年；Li等人，2020年）主要依赖于手工制作的特征，这些特征通常不足以完全提取跨模态信息，在复杂场景中表现较差（Zhao等人，2023年）。随着深度学习的发展，

提出的方法

• A.
  整体框架

所提出的DMPFDet的整体架构如图2所示。多模态可变形检测变换器（MDDT）模块旨在高效地对多模态图像进行目标检测，而跨模态注意力融合（CMAF）模块负责不同尺度下的多模态图像的高质量融合。

MDDT模块由五个关键组件组成：两个用于提取多尺度特征的模态特定组件；两个模态特定

实验结果与讨论

• A.
  实验细节和数据集

我们在三个广泛使用的多模态检测数据集上进行了实验：FLIR（Team等人）、LLVIP（Jia等人，2021年）、VEDAI（Razakarivony和Jurie，2016年1月），以及两个多模态融合数据集：M3FD（Liu等人，2022年）和TNO（Toet和Hogervorst，2012年）。FLIR数据集包含4,129对训练图像和1,013对测试图像，涵盖三个对象类别。LLVIP数据集包括12,025对训练图像和3,463对

结论

在本文中，我们提出了DMPFDet，一种端到端的可变形互促学习网络，用于多光谱可见光-红外融合检测。所提出的框架包括两个核心组件：多模态可变形检测变换器（MDDT）和跨模态注意力融合（CMAF）模块。MDDT采用双流架构，具有模态特定的编码器，能够高效地从每种模态中提取代表性特征，并结合了可变形的跨模态注意力

未引用的参考文献

(Jocher, 2022; Wagner等人, 2016; Zhao等人, 2024)

CRediT作者贡献声明

郑尚波：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，软件，项目管理，方法论，调查。刘俊峰：曾俊：

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。