在恶劣降雨条件下，利用跨模态语义一致性进行可见光-红外联合图像去雨处理

《Pattern Recognition》：Visible-Infrared Joint Image Deraining for Harsh Rain Conditions with Cross-modal Semantic Consistency

本文提出可见光-近红外联合去雨网络，通过动态门融合机制自适应调整多模态特征权重，结合雨概率引导与跨模态预训练策略，有效去除重雨条件下图像模糊与伪影，同时保持色彩与细节真实性。实验验证其在复杂场景下的性能优势。

　　

冯宇欣|李欣|张福伟|徐成培|王振宇|黄涛|董伟生

杭州电子科技大学，中国杭州，311231

摘要

单图像去雨是计算机视觉中一个基础且具有挑战性的任务。然而，传统的图像去雨方法通常依赖于单模态信息或局部深度特征，这使得在暴雨和低能见度条件下难以同时保持结构完整性和颜色保真度。为了解决这些挑战，本文提出了一种可见光-红外联合去雨网络，该网络充分利用了可见光（RGB）和近红外（NIR）模态在纹理、亮度和结构表示方面的互补优势，实现了跨模态的自适应融合和协同优化。具体来说，引入了一种基于雨概率的门控融合机制，动态调整每种模态的贡献——在受雨影响的区域增强结构一致性，同时在非雨区域保持纹理和颜色保真度。此外，还开发了一种两阶段协同训练策略：第一阶段在配对的合成数据上进行跨模态监督预训练，以学习基本的去雨能力；第二阶段利用基于CLIP的语义一致性和频率对齐约束的真实世界非配对数据，实现从合成场景到真实场景的领域适应。在多个真实世界数据集上的广泛实验表明，所提出的方法可以有效去除各种类型的雨迹，同时显著提高图像清晰度和视觉自然度。

引言

图像去雨[1]、[2]是计算机视觉中一个基础且重要的任务。特别是在复杂的雨环境中，图像质量的下降会严重影响智能监控、自动驾驶和交通管理等视觉系统的性能。雨不仅会导致图像整体模糊，还会对图像的纹理、结构和颜色造成复杂干扰，使得后续的任务（如目标识别和语义理解）变得更加困难[3]、[4]、[5]。因此，图像去雨技术的研究具有重要的实际意义和工程价值。

传统的图像去雨方法大致可以分为基于物理模型的方法[6]和数据驱动的方法[7]。基于物理模型的去雨方法通常假设图像退化过程可以用某些数学模型来描述，例如散射模型和雨滴传播模型。这些方法的优点是提供了物理上可解释的解决方案，但在处理复杂的非线性降雨情况时往往过度依赖模型假设，并且难以适应各种复杂的天气和环境条件。

近年来，基于深度学习的数据驱动方法逐渐成为图像去雨领域的主流。特别是卷积神经网络（CNN）、GAN模型、Transformer网络和扩散模型在图像去雨中的应用，可以从数据中自动学习雨的特征，并通过端到端学习实现有效的去雨效果。例如，基于CNN的方法[8]通过多层卷积提取深度特征以实现端到端的去雨；基于GAN的方法[9]、[10]利用生成器-鉴别器对抗训练使恢复的图像与真实场景更加一致；基于Transformer的方法[11]、[12]利用自注意力捕获全局图像信息。基于扩散的去雨方法[13]、[14]通过条件引导的逆向去噪过程从雨天输入重建清晰图像，逐渐将雨天场景的退化分布转换为清晰图像的分布。然而，大多数现有的去雨方法依赖于单模态或局部深度特征，在暴雨、低能见度和复杂光照条件下难以平衡结构恢复和颜色保真度，导致细节丢失或伪影。

为了解决上述当前挑战，本文提出了一种创新的可见光-红外联合图像去雨网络。与依赖单模态的传统方法不同，我们充分利用了可见光（RGB）和近红外（NIR）模态在图像细节、结构信息和亮度恢复方面的互补优势。该网络设计了两个独立的分支：RGB分支负责恢复图像的颜色和细节，而NIR分支则专注于在低能见度条件下提取结构信息，特别是在NIR图像提供更稳定结构特征的雨天场景中。

为了进一步优化去雨性能，我们引入了一种基于雨概率的门控融合机制，根据图像中的雨分布动态调整两种模态的权重分布。在雨天区域，优先考虑NIR模态的结构信息，以确保去雨图像的结构一致性；在非雨天区域，增强RGB模态以恢复更精细的细节，同时保持颜色和纹理保真度。这种自适应特征融合使模型能够有效处理复杂雨天环境中的图像退化。此外，我们提出了一种两阶段协同训练策略。在第一阶段，对配对的合成数据进行监督预训练，使网络学习跨模态特征的联合优化；在第二阶段，对真实的非配对数据应用无监督优化，结合基于CLIP的语义一致性损失和频域对齐约束，以提高模型从合成数据到真实数据的迁移能力，增强其泛化能力和鲁棒性。总之，我们的贡献可以总结如下：

•

我们提出了一种可见光-红外联合图像去雨网络，通过物理一致的高频检测和辐射度一致性分析生成雨概率图。这种设计使得对雨天和非雨天区域的建模更加适应，从而提高了模型的可解释性和泛化能力。

•

我们设计了一个可学习的门控融合模块，将雨概率图与局部方差信息相结合，动态重新校准可见光和近红外模态特征的权重。该机制在受雨影响的区域强调结构一致性，同时在清晰区域保持颜色和纹理保真度。

•

我们引入了一种混合训练框架，结合了由合成数据引导的跨模态预训练和由真实世界数据驱动的无监督自适应优化。这是通过结合CLIP语义一致性约束和频域对齐损失来实现的，从而实现从合成场景到真实场景的平滑适应。

相关工作

相关工作

本节从三个角度回顾了与我们工作核心贡献相关的相关工作：基于深度学习的图像去雨网络、多模态图像去雨技术和领域自适应去雨方法。

方法论

本文提出了一种可见光-红外联合图像去雨网络，通过协同利用可见光（RGB）和近红外（NIR）光谱信息的互补特性，在复杂的雨天条件下实现高质量的图像恢复。如图1所示，整体架构包括两个关键组成部分：一个对称的双分支特征提取网络和一个创新的多模态融合模块。

实验结果

本节包含几个部分，全面对比和展示了所提出去雨方法的效率和鲁棒性。具体来说，我们首先介绍了基本的实验设置。然后在与现有最先进方法的比较中，评估了我们提出方法的去雨性能，并介绍了该方法对下游任务的影响。

消融研究

本节依次验证了所构建的双分支多模态融合去雨网络和训练策略的有效性。

结论

在本文中，我们提出了一种基于跨模态语义一致性的可见光-红外联合去雨网络，用于处理复杂降雨条件下的严重视觉退化。通过利用RGB和NIR模态在纹理、亮度和结构方面的互补优势，该方法能够在低能见度条件下实现稳健的图像恢复。跨模态自适应学习设计支持单模态和双模态输入，即使缺少一种模态也能保证稳定的性能。

CRediT作者贡献声明

冯宇欣：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，软件，资源，方法论。李欣：资源，调查，形式分析，数据管理。张福伟：可视化，验证。徐成培：监督，调查，概念化。王振宇：软件。黄涛：验证，监督。董伟生：监督，资金获取。

利益冲突声明

作者声明在本文的发表过程中不存在利益冲突。

致谢

本工作部分得到了国家自然科学基金（项目编号62302369、62472336和U2570205）和山西省基础研究计划（项目编号202403021222152）的支持。