PFDBooster：一种统一的图像融合后双域增强范式

《Knowledge-Based Systems》：PFDBooster: A Unified Post-Image Fusion Dual-Domain Boosting Paradigm

多模态图像融合中，现有单域增强方法存在细节模糊、全局结构破坏等问题，本文提出基于空间与频率域协同优化的PFDBooster框架，通过多尺度分解、双域信息检测器、任务自适应增强算子和动态权重融合策略，实现红外可见光融合、多焦点、多曝光等场景的适应性优化，实验表明其VIF提升3.75%、EI提升31.2%，模型仅增加0.17MB且支持43.5fps实时应用，代码已开源。

　　

李森志|李行峰|朱浩|李超|王鹏

澳门城市大学，澳门，999078，中国澳门

摘要

红外图像与可见光图像的融合在多模态图像分析中至关重要。现有的融合方法常常存在细节模糊、边缘弱化以及融合结果失真等问题。特别是在复杂场景中，图像融合后应用的单域增强方法难以平衡全局结构的完整性和局部细节的清晰度。本文提出了一种基于空间域和频率域协同优化的图像融合后双域增强范式（称为PFDBooster），创新性地构建了“空间细节-频率域结构”双域特征互补机制。首先，通过离散小波变换（DWT）实现多尺度分解，将初始融合图像解析为低频全局结构（例如红外热辐射分布）和高频局部边缘（例如可见光纹理）。然后，设计了一个双域信息检测模块，通过空间卷积和小波分解的并行分支准确定位融合缺陷区域，并计算跨域差异图以量化信息损失程度。针对不同的融合任务（红外-可见光、多焦点、多曝光），设计了任务自适应的增强算子，分别优化低频组分的源引导去噪和高频组分的方向锐化增强。最后，采用动态权重二次融合增强策略，通过特征熵自适应平衡两个域的贡献，从而产生优化的二次融合结果。三个主要任务的实验结果进一步证实了所提出方法的有效性和优越性，表明与单域增强范式（称为FusionBooster，简称FB）相比，PFDBooster提高了3.75%的视觉信息保真度（VIF）和31.2%的边缘强度（EI）。同时，其模型大小仅增加了0.17MB（总大小为0.78MB），满足了实时应用的需求（43.5 fps）。代码已开源，链接为：https://github.com/NUAA-RS/PFDBooster。

引言

在快速发展的多模态图像处理领域，红外（IR）图像与可见光（VIS）图像的融合是一项关键技术，在自动驾驶导航、遥感和医学诊断等多个领域具有广泛应用。图像融合的主要目的是将不同成像方法的优势整合到单一的复合图像中，以提高整体感知质量和信息含量。当单一模式不足时，这一过程尤为重要；例如，在低光照条件下，红外图像表现良好；或者在详细纹理分析中，可见光图像能提供更高的清晰度。

尽管深度学习推动了图像融合的发展，但一个关键且尚未充分探索的阶段是初始融合结果的后处理。这种增强的核心目标应该是使融合图像与下游机器感知任务的最佳特征空间对齐，而不仅仅是提升其视觉吸引力。然而，设计有效的增强策略仍然具有挑战性，因为它需要促进复杂的信息交换和高级特征提取。

当前的后融合增强方法存在一些关键限制，这些限制影响了它们的有效性，具体如下：

单域简化是现有方法的常见局限，因为大多数方法仅在空间域或频率域中工作。空间域技术（例如基于梯度的增强[1]）擅长细化局部细节，但常常忽略全局结构的一致性。相比之下，频率域方法（例如基于小波的方法）在保持全局结构完整性的同时牺牲了局部纹理的保真度。这种内在权衡导致了持续的“细节结构困境”。

固定权重融合机制也是现有方法的另一个局限。许多方法使用静态权重策略[2]，[3]在不同的模式或分解层次上应用。这种预定的权重无法动态调整以适应图像中变化的内容特征，因此在复杂场景中产生次优的增强效果。

跨域交互不足是当前双域方法的另一个缺陷。即使使用两个域的方法，也通常通过简单的操作（如连接或加法[4]）来整合信息。这种简单的融合方法既无法捕捉空间纹理和频率结构之间的复杂非局部交互，也无法结合目标特征解耦或双域的动态平衡机制。

从根本上说，这些缺点源于将空间域和频率域视为独立而非互补的观念，以及采用了僵化而非自适应的融合策略。因此，现有方法难以充分捕获和利用双域的互补信息。

为了解决这些问题，我们提出了图像融合后双域增强器（PFDBooster）范式。PFDBooster旨在理论上调整增强后的图像以符合下游任务的需求。我们的主要贡献有三个方面：

•

我们提出了一种对称的双域增强架构，整合了跨域注意力和渐进式细化，使得复杂的信息交互超越了简单操作。

•

我们通过将增强过程描述为联合空间频率边缘分布中Wasserstein质心的优化，建立了理论动机，这定义了下游任务性能的上限。

•

我们设计了一个轻量级的、任务自适应的校准模块，使用单一仿射变换来调整每个任务的图像统计信息，确保无需额外推理成本即可进行定制。该框架还通过基于深度特征协方差的语义一致性损失进行了进一步优化。

实验表明，PFDBooster有效提高了下游任务（如语义分割和目标检测）的性能，并保持了适合资源受限环境的轻量级特性。

本文的其余部分组织如下：第2节回顾了图像融合后增强及其视觉任务的相关工作；第3节详细介绍了PFDBooster的技术框架及其方法；第4节介绍了实验结果和分析；第5节讨论了所提出方法的优点和局限性；第6节总结了本文并概述了未来的发展方向。

基于单域优化的图像融合后增强方法

基于单域优化的图像融合后增强方法始终专注于在单一空间域或频率域中的特征优化[5]，通过设计针对性的增强策略来修复融合缺陷。其发展可以分为两个阶段：传统方法和深度学习方法。

在传统方法中，梯度传递融合（GTF）[1]通过计算源图像[6]与融合图像之间的梯度差异来增强边缘细节

方法

本节详细介绍了用于迭代优化融合图像的图像融合后双域增强范式（PFDBooster）。PFDBooster的总体架构如图1所示，包括一个双域探测模块（DD-Probe）用于特征解耦，一个空间域增强器模块（SDBooster）用于细节细化，一个频率域增强器模块（FDBooster）用于结构优化，以及一个跨域动态融合模块（CD-DFM）用于自适应

实验

本章通过综合实验验证了PFDBooster的有效性和优越性，包括基准数据集验证、跨数据集验证以及关键发现的总结。

消融实验

为了全面评估PFDBooster的每个组件，我们在LLVIP [28]数据集上进行了广泛的消融研究，针对IVIF任务进行了实验。我们系统地移除或替换了关键模块，包括双域探测器、空间/频率增强器、方向卷积、动态融合权重和各个损失项。所有实验都在相同的训练和测试协议下进行，以确保公平比较。定量结果见表11。分析如下

结论

本文介绍了PFDBooster，这是一种基于知识的双域增强范式。它超越了现有的基于小波和任务适应的方法。与基于小波变换的方法相比，PFDBooster具有融合、双域协调和任务统一的特点。与最新的任务适应方法相比，PFDBooster提供了更统一的架构、更高的效率和更广泛的应用性。

未来的工作将探索

CRediT作者贡献声明

李森志、李行峰和王鹏：方法论、撰写、审稿和编辑。李超和朱浩：方法论和审稿。

CRediT作者贡献声明

李森志：撰写 – 审稿与编辑、撰写 – 原稿、方法论。李行峰：撰写 – 审稿与编辑、撰写 – 原稿、方法论。朱浩：撰写 – 审稿与编辑、方法论。李超：撰写 – 审稿与编辑、方法论。王鹏：撰写 – 审稿与编辑、撰写 – 原稿、方法论。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了国家重点实验室综合服务网络开放项目基金（项目编号ISN26-16）、国家空间目标感知重点实验室开放项目基金（项目编号STA2025ZCC0403）、遥感应用与创新重点实验室（项目编号LRSAI-2025008）、广东省基础与应用基础研究基金（项目编号2025A1515010258）、深圳市科技计划（项目编号JCYJ20240813180005007）和深圳龙华科技的支持

李森志于2016年在中国北京航空航天大学获得软件工程硕士学位。她目前在中国澳门城市大学数据科学学院攻读计算机科学博士学位。她的研究兴趣包括IVIF处理和深度学习。她曾是中国计算机联合会（CCF）的成员，也是电气与电子工程师协会（IEEE）的研究生成员。