DerainMPE：一种基于“混合先验专家”（Mixture of Prior Experts）思想的渐进式循环图像去雨模型

《Journal of Visual Communication and Image Representation》：DerainMPE: A progressive recurrent image deraining model with Mixture of Prior Experts

单图像去雨需应对多样雨模式和复杂背景，现有方法依赖单一先验导致适应性不足。本文提出DerainMPE框架，包含MRP分支动态融合颜色、梯度和高斯模糊先验，RFE分支通过主动焦点和尺度感知注意力进行多阶段雨特征提取，DRE分支增强细节恢复。实验表明其PSNR、SSIM指标优于DDN、RESCAN等SOTA方法，尤其在重雨和复杂场景中效果显著。

　　

蒋俊阳|罗宇|梁高全|林立青|林志毅|孙玉萍

广东工业大学计算机科学与技术学院，中国广州

摘要

由于降雨模式的多样性和背景的复杂性，单图像去雨处理具有挑战性。大多数去雨方法通常依赖于单一的先验模型，这限制了它们对不同降雨模式的适应性，并降低了它们在不同降雨强度和方向上的泛化能力。为了解决这些问题，我们提出了DerainMPE，该方法结合了自适应先验和渐进式降雨提取技术，以有效处理多种降雨模式。首先，DerainMPE包含一个降雨先验混合（MRP）分支，其中包含一个先验专家混合（MPE）模块，该模块可以自适应地激活先验以优化雨迹分离。其次，DerainMPE还包括一个渐进式循环降雨特征提取（RFE）分支，该分支具有主动焦点模块和尺度感知卷积注意力模块，用于精确的多阶段降雨特征提取。最后，引入了细节恢复增强（DRE）分支，以确保有效的背景保留。在基准数据集上的实验表明，我们的方法在单图像去雨处理方面优于现有的最先进方法。

引言

单图像去雨处理的目的是从含雨图像中恢复出清晰图像。特别是在大雨条件下拍摄的含雨图像，经常存在对比度低、颜色失真等视觉质量问题。这些退化的图像会负面影响各种高级视觉任务和在非结构化环境中运行的下游多模态系统的性能，例如对象检测和基于内容的图像检索。因此，从这些退化图像中去除雨迹对于提高整体质量并作为视觉基础场景的可靠重建技术至关重要。

目前，单图像去雨处理已受到广泛关注，并成为了一个热门的研究课题[1]、[2]、[3]、[4]、[5]。一般来说，去雨方法可以分为基于传统优化的方法和基于深度学习的方法。基于优化的方法[6]、[7]通常采用单阶段模型，利用基本先验（如梯度和形状）来识别雨迹的延长和椭圆形特征。随着深度学习的进步，神经网络通过将含雨图像直接映射到无雨图像，扩展了这些单阶段模型[8]，从而实现了更丰富的表示，更全面地处理雨迹特征。近年来，多阶段去雨框架因通过多个阶段的渐进式细化有效处理不同大小和密度的雨迹而受到欢迎[9]、[10]、[11]。例如RESCAN[9]和PReNet[12]等模型使用循环架构来迭代改进雨迹去除，通过分层处理捕捉复杂的雨迹模式。尽管取得了成功，但当前基于深度学习的多阶段方法在关注受影响密集区域方面存在挑战，并且往往缺乏对多尺度雨迹特征的适应性，这限制了它们在复杂降雨场景中的有效性。此外，这些方法通常采用直接的累积或迭代技术，难以完全分离分层的雨迹特征，导致在大雨条件下出现残留的雨迹和伪影。此外，它们通常依赖于单一的图像先验，这往往难以处理不同场景中的雨迹去除。

为了解决单一先验方法在处理多样降雨模式和复杂背景方面的局限性，我们设计了一个名为DerainMPE的新模型，其中包含一个降雨先验混合（MRP）分支，该分支结合了多种特定的降雨先验。尽管是在单图像上操作，但我们的设计理念与多模态学习相一致，将不同的物理属性（颜色、梯度、频率）视为互补的潜在模态。在MRP分支中，引入了先验专家混合（MPE）模块，动态整合了多种特定的降雨先验，包括动态颜色先验、梯度先验和高斯模糊先验，以优化雨迹与背景特征的分离。例如，在降雨密集区域，新设计的动态颜色先验可能被赋予更大的权重；而在降雨稀疏区域或背景复杂的区域，则优先考虑梯度先验和高斯模糊先验，以更有效地分离雨迹和背景。此外，我们提出了一个渐进式循环降雨特征提取（RFE）分支，该分支利用多阶段特征提取逐步关注降雨密集区域，减少残留伪影，并保留背景细节，从而提高了在复杂降雨场景中的适应性。这种多阶段设计显著提高了细节保留能力，即使在复杂的大雨场景中也能实现更好的雨迹去除。

为了进一步恢复在多阶段去雨过程中丢失的背景细节，DerainMPE中引入了细节恢复增强（DRE）模块，DRE的输入包括原始含雨图像和RFE及MRP分支预测的雨迹输出。前面的RFE分支生成一个初步去雨后的图像和雨层，然后DRE分支对其进行增强，以确保即使在高度遮挡的区域也能保持高保真度。因此，DerainMPE不仅在雨迹去除方面表现出色，还保留了关键场景细节，提供了视觉上更优秀的去雨图像。

总之，本研究的主要贡献如下：

• 1.
  我们引入了一个先验专家混合（MPE）模块，该模块动态整合了三种轻量级、可解释的先验（动态颜色、梯度、高斯模糊），以实现自适应的雨迹-背景分离。门控机制根据降雨密度和场景复杂性调整每种先验的贡献。
• 2.
  我们设计了一个渐进式循环降雨特征提取（RFE）分支，该分支配备了主动焦点模块（AFM），利用注意力机制精确地定位和提取多尺度雨迹特征，特别是在大雨和复杂降雨条件下。
• 3.
  我们在合成数据和真实世界数据集上进行了广泛的评估，证明了与现有最先进去雨方法相比，在PSNR、SSIM和感知质量方面的一致性改进，证实了所提出框架作为视觉基础多模态场景重建技术的稳健性和泛化能力。

本文的其余部分组织如下。第2节回顾了单图像去雨处理的相关工作。第3节详细介绍了我们的方法。第4节主要包含实验结果和相应的分析。最后，我们在第5节总结了我们的工作。

章节片段

相关工作

单图像去雨处理缺乏视频去雨处理中可用的冗余时间信息，因此面临更大的挑战[13]、[14]、[15]、[16]、[17]、[18]。尽管如此，已经开发了许多去雨技术，这些技术通常可以分为基于传统优化的方法和基于深度学习的方法。

方法

如图1所示，我们提出的DerainMPE遵循一个多分支渐进框架，由三个核心组件组成：降雨先验混合（MRP）分支、渐进式循环降雨特征提取（RFE）分支和细节恢复增强（DRE）分支。

给定一张含雨图像$I_{r\mathrm{ain}\mathrm{in}}$，MRP分支首先计算几个物理上可解释的先验图——动态颜色先验、梯度先验和高斯模糊先验——以表示互补的降雨线索。一个轻量级的门控

实验设置

数据集。我们在三个广泛使用的数据集上训练和测试DerainMPE，即Rain100L [53]、Rain100H [53]和Rain800 [55]，以将我们的方法与几种最先进的去雨方法进行比较，包括DDN [53]、RESCAN [9]、SPANet [54]、PReNet [12]、DRD [23]、DRT [24]、SAPNet [25]、RADN [3]和CoIC [26]。我们比较了在合成场景和真实场景中表现最佳的不同方法，以解决这些场景中的雨迹去除问题。

为了全面

结论

在本文中，我们提出了DerainMPE，这是一种用于单图像去雨的新网络，它由三个分支组成：降雨先验混合（MRP）分支、降雨特征提取（RFE）分支和细节恢复增强（DRE）分支。MRP分支采用先验专家混合框架提供自适应的雨迹先验，然后RFE分支利用这些先验在各种降雨条件下有效提取雨迹。同时，DRE分支专注于恢复

CRediT作者贡献声明

蒋俊阳：撰写——审稿与编辑、验证、方法论、调查、数据管理。罗宇：项目管理、方法论、概念化。梁高全：撰写——审稿与编辑、原始草稿撰写、可视化、验证、资源管理。林立青：概念化。林志毅：形式分析、数据管理。孙玉萍：撰写——审稿与编辑、监督。

使用数据的伦理和知情同意

我们声明与提交的工作没有任何商业或关联利益冲突。我们的实验没有涉及人类参与者或动物研究。已从所有参与者那里获得了发表此研究的书面知情同意。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了广州市黄埔区与发展区国际科学技术合作项目（2023GH17）和广东省自然科学基金 （编号：2025A1515012208）的支持。