语义引导的扩散采样：一种用于提升以对象分割为导向的多模态图像融合的通用策略

《IEEE Journal of Selected Topics in Signal Processing》：Semantic-Guided Diffusion Sampling: A Generalized Strategy for Enhancing Object Segmentation Oriented Multimodal Image Fusion

红外图像因传感器物理限制存在纹理细节不足问题，传统方法受限于热成像原理分析和纹理信息熵瓶颈。本文提出VTGF-IR框架，通过热辐射重建模块抑制噪声，结合可见光纹理引导模块注入额外纹理信息，并联合优化纹理重建损失和转移损失，实现硬件无关的高质量红外图像重建。实验表明该方法在所有评估指标上均达到最优性能。

　　

摘要：

由于传感器的固有限制，热红外图像的纹理细节较为缺乏。现有的红外图像增强方法受到对热成像原理分析不足以及纹理信息内在熵瓶颈的制约，导致性能不佳。为了解决这一问题，我们提出了可见光纹理引导的自由红外图像重建（VTGF-IR）框架。具体而言，我们基于红外成像原理开发了一个热辐射重建模块来抑制噪声干扰。为了在增强纹理表现能力的同时向红外图像中引入额外的纹理信息，我们设计了一个可见光-红外纹理表示传输模块，该模块利用可见光的纹理编码模式来指导红外图像的纹理重建。此外，我们通过结合重建损失和纹理传输损失来共同优化纹理表示。通过将热成像原理与可见光引导相结合，我们的框架提供了一种与硬件无关的高质量红外图像重建解决方案。实验结果表明，所提出的方法显著增强了红外图像中的纹理细节，在所有评估指标上均达到了先进水平。

引言

红外成像技术具有强大的抗干扰能力和全天候成像特性。与可见光成像技术相比，红外成像不受光照条件的限制，在低光照条件下仍能保持出色的成像性能。与其他观测技术（如雷达）相比，热红外成像具有更高的便携性和更低的成本，因此适用于遥感的广泛应用。该技术服务于多个关键领域，包括：军事侦察和国防安全[1]、[2]、火灾监测[3]、搜救[4]、[5]、野生动物监测[6]、[7]、农业管理[8]、[9]、交通管理和智慧城市发展[10]、[11]，以及地质研究[12]。然而，红外成像技术仍面临一些亟需解决的关键技术挑战。热红外图像主要受探测器物理特性的限制，分辨率较低且缺乏丰富的纹理细节（如图1所示）。这一缺点在视频应用中更为明显。单个帧中缺乏纹理会导致连续图像在时空上的不一致性，从而大幅降低动态观测的准确性。特别是在复杂场景下（例如，突然的光照变化或快速移动的目标），传统的基于时间建模的增强方法往往失效。因此，开发独立于时间处理的高性能单帧增强技术对于提高红外视频的整体质量至关重要。克服这些技术限制是扩大红外成像应用范围的关键。