编辑推荐：
单图像去雨任务中，传统方法依赖合成数据训练存在泛化能力不足的问题。本文提出一种基于合成与真实雨核字典（RKDs）相互一致性的半监督方法，通过构建新的一致性损失函数，联合优化监督损失与未监督的TV损失，设计交替最小化算法实现高效训练。实验表明，该方法在多个基准数据集上优于现有监督和半监督方法，尤其在真实雨场景中展现出更强的泛化能力。
胡明迪|张瑞芳|罗一思|景秉毅|孟德宇
西安邮电大学通信与信息工程学院，中国西安，710121
摘要
单图像去雨处理是一项重要且具有挑战性的低级视觉任务，对后续应用具有重要意义。主流的基于深度神经网络（DNN）的方法将此问题视为一个端到端的监督学习任务，使用合成的训练数据集，但在实际降雨场景中可能会遇到泛化问题。在这项工作中，我们提出了一种新颖的半监督去雨方法，该方法利用合成雨迹与真实雨迹之间的内在结构关系。具体来说，我们观察到合成雨迹和真实雨迹可能具有不同的结构，但它们的底层雨核可以用具有相似分布的字典来表示。为此，我们通过一种新颖的一致性损失函数来最小化合成雨核字典（RKDs）与真实雨核字典之间的差异，以实现DNN骨干网络的半监督训练。合成雨核字典与真实雨核字典之间的相互一致性能够更准确地描述标记数据与未标记数据之间的结构关系，从而有助于以半监督方式学习出有效且具有泛化能力的去雨网络。为了高效优化这种基于RKDs一致性诱导的半监督损失，我们开发了一种基于交替最小化的算法。在R100L、Rain1400、Rain12等基准数据集以及真实世界数据集上的广泛实验表明，与现有的监督学习和半监督去雨方法相比，我们的方法具有更高的有效性和泛化能力。
引言
户外拍摄的图像经常受到雨迹等恶劣天气条件的影响，导致图像质量下降。这反过来又会影响后续的图像处理任务，例如识别[1]、检测[2]和分割[3]。近年来，文献[4]、[5]、[6]、[7]中对单图像去雨处理的研究兴趣日益增加。
为了解决图像去雨问题，传统方法通常利用图像和雨迹的先验信息来建立优化模型，如稀疏编码[8]、[9]、低秩[10]、非局部均值滤波器[11]、卷积滤波器[12]和高斯混合模型[13]。近年来，基于深度神经网络（DNN）的方法成为主流方法，并被广泛用于单图像去雨处理。这些方法在图像细节保留[14]、[15]、[16]、雨滴检测[17]、雨滴密度估计[18]、优化模型展开[20]等方面进行了设计，以解决图像去雨问题。同时，许多先进的深度学习技术也被应用于图像去雨处理，例如残差学习[21]、[22]、持续学习[23]、注意力网络[24]、生成对抗网络[26]等[27]、[28]、[29]、[30]、[31]、[32]。大多数基于DNN的方法直接从成对的训练数据集中学习深度去雨映射。然而，收集大量真实降雨/非降雨成对数据极其困难。因此，这些基于DNN的方法主要使用合成成对数据在完全监督的方式下训练网络，由于合成雨迹与真实世界雨迹之间的领域差异，不可避免地导致泛化性能受限。
为了解决泛化问题，研究人员自然地将注意力转向了半监督学习策略[33]、[34]、[35]、[36]。例如，Wei等人[33]利用高斯混合模型（GMM）来描述合成雨迹和真实雨迹的特征。Yue等人[34]为标记的合成数据和未标记的真实数据设计了不同的先验格式，并使用动态雨生成器进行去雨处理。Yasarla等人[35]采用高斯过程和潜在向量来获得未标记样本的伪真实值，用于半监督学习。这些开创性的半监督方法利用合成成对图像和真实世界的非成对雨图像来训练网络，从而有效利用了合成数据集和真实世界数据集中的丰富信息，提高了DNN的泛化能力。
在半监督学习框架中，关键在于利用标记数据与未标记数据之间的结构关系[37]。特别是在半监督去雨任务中，准确描述合成雨迹与真实世界雨迹之间的结构关系非常重要。作为这一方向的代表性工作，Wei等人[33]假设合成雨迹和真实雨迹在GMM下具有相似的分布来描述它们之间的关系，而Yasarla等人[35]使用高斯过程来联合建模标记数据和未标记数据的潜在向量。然而，正如普遍认为的[5]、[6]、[38]，合成雨迹和真实世界雨迹可能不具有相似的结构，因此简单地假设它们具有相似的分布可能是不准确的[33]。同时，使用黑盒融合合成雨迹和真实世界雨迹的信息可能不够透明[35]，可能无法充分解释合成雨迹和真实世界雨迹之间的深刻结构关系。在上述问题中，如何以准确且可解释的方式探索合成雨迹和真实世界雨迹之间的深刻结构关系是半监督图像去雨的关键挑战。
为了解决这一挑战，我们在本工作中提出了一种新颖的半监督去雨方法，该方法利用合成雨核字典（RKDs）与真实世界雨核字典之间的内在相互一致性。具体来说，我们观察到尽管合成雨迹和真实雨迹的结构不同，但它们的底层雨核可以用具有相似分布的字典来表示。因此，我们提出了一种新颖的一致性损失函数，以更准确地描述标记数据与未标记数据之间的结构关系。与直接假设合成雨迹和真实雨迹具有相似分布的方法[33]相比，我们的方法通过强制它们的底层RKDs之间的一致性，更准确地捕捉了它们之间的结构关系。与潜在融合方法[35]相比，我们的方法更具可解释性和可理解性。
基于RKDs的相互一致性，我们提出了一种新的半监督范式，同时使用合成雨迹和真实世界雨迹作为监督数据。由于我们的方法更准确地描述了标记数据与未标记数据之间的深刻结构关系，因此预计我们的半监督方法将比监督方法和之前的半监督方法具有更强的泛化能力。为了最小化半监督损失，我们开发了一种基于交替最小化的算法。总之，本工作的贡献包括：
•我们提出了一种基于雨核字典相互一致性的新颖半监督单图像去雨方法。我们的关键观察是，合成雨迹和真实世界雨迹可能具有不同的结构，但它们的底层RKDs应该具有相似的分布。基于RKDs的相互一致性，我们提出了一种新颖的一致性损失函数，以最小化合成雨核字典与真实世界雨核字典之间的差异，从而更准确地描述标记数据与未标记数据之间的结构关系。
•我们将RKDs一致性损失与监督损失和无监督总变分损失结合起来，形成了一种新的半监督学习范式，有机地利用了标记的合成数据集和未标记的真实世界数据集进行训练。为了最小化半监督损失，我们开发了一种高效的基于交替最小化的算法。
•在合成雨迹和真实世界雨迹数据集上的广泛实验验证了我们的方法与现有的监督和半监督图像去雨方法相比具有优越性和泛化能力。
在第2节中，我们介绍了一些相关工作以及我们的方法与它们的区别。第3节详细介绍了所提出的半监督去雨方法。第4节进行了广泛的数值实验，以证明我们方法的有效性。第5节对所提出的方法进行了一些讨论。第6节总结了本文。
小节片段
半监督去雨范式
在文献中，一些工作尝试使用半监督范式来解决图像去雨问题。半监督去雨范式可以分为两种类型。第一种方法没有明确利用合成雨迹与真实雨迹之间的结构关系。例如，Yasarla等人[35]使用高斯过程融合标记的潜在向量和未标记的潜在向量来合成伪真实值，用于半监督去雨处理。
提出的方法
在本节中，我们详细介绍了基于RKDs相互一致性的半监督去雨方法（称为MC-RKD）。首先，我们介绍了一些基于RKD的图像退化模型的初步知识。然后，我们讨论了合成雨迹和真实世界雨迹的结构关系，这使我们得出关键观察：合成雨迹和真实世界雨迹可能具有不同的结构，但它们的底层RKDs可能具有相似的分布。
实验
在本节中，我们将我们的方法与其他最先进的（SOTA）监督和半监督图像去雨方法在合成雨迹和真实世界数据集上进行了比较。具体来说，我们将我们的方法与以下SOTA方法进行了比较：手工制作的方法 DSC [9]。监督方法 DDN [15]、NLEDN [59]、UMRL [60]、PReNet [27]、JORDER-E [17]、LPNet [61]、RCDNet [44] 和 MPRNet [62]。半监督方法 SIRR [33]、Syn2Real [35] 和 MOSS [36]。
实验设置如下。
新颖结构关系的贡献
为了证明我们提出的合成雨迹与真实世界雨迹之间新颖结构关系的有效性，我们考虑比较以下三种方法。第一种是考虑合成雨核字典与真实世界雨核字典之间关系的方法（表示为Ours w/ RKD）。第二种是没有挖掘任何结构关系的方法（表示为Ours w/o RKD）。第三种是没有采用新颖结构关系的方法
结论
在这项工作中，我们提出了一种新颖的半监督学习范式用于图像去雨处理。具体来说，我们利用合成雨核字典与真实世界雨核字典之间的相互一致性，这是图像去雨问题中标记数据与未标记数据之间更准确的结构关系。基于MC-RKD，我们构建了一种新的半监督损失函数来训练去雨网络。然后，我们引入了一种基于交替最小化的算法来高效地最小化
CRediT作者贡献声明
胡明迪：调查、验证、撰写——审阅与编辑、概念化、方法论、撰写——初稿。张瑞芳：验证、调查、形式分析、软件、数据管理、资源。罗一思：撰写——初稿、可视化、验证、撰写——审阅与编辑。景秉毅：方法论、形式分析、撰写——审阅与编辑、监督。孟德宇：概念化、方法论、撰写——审阅与编辑、监督。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
