《Digital Signal Processing》：RID-Net: Towards Real-World Image Dehazing Network Based on Improved CycleGAN and Low-Frequency Fusion
编辑推荐：
未监督图像去雾方法通过改进CycleGAN架构提出RID-Net，采用PConv增强的Res2Net模块和双分支自适应特征融合模块，有效解决传统方法在色偏、计算效率及特征融合方面的不足，显著提升真实场景去雾效果并保持实时性。
Fazhan Tao|Shiyang Dong|Wei Zhang|Qi Chen|Mengyang Li
河南科技大学信息工程与人工智能学院，洛阳，471023，中国
摘要
单图像去雾是低级视觉领域中一个基础而具有挑战性的任务。现有的监督学习方法通常需要成对的训练图像，而在现实世界场景中收集这些图像往往既困难又昂贵。因此，基于循环生成对抗网络（CycleGAN）的无监督方法得到了广泛的研究。这些方法通过使用未配对的真实世界数据进行训练来去除真实模糊图像的雾气。然而，现有的基于CycleGAN的图像去雾方法未能充分利用真实模糊图像中的雾气信息，导致生成的模糊图像不真实，从而限制了网络的去雾性能。此外，这些方法的推理速度通常较慢，难以应用于实时场景。为了解决这些问题，本文提出了一种基于改进的CycleGAN的无监督图像去雾网络（RID-Net）。具体来说，设计了一种基于部分卷积（PConv）的改进Res2Net（IR）模块，该模块在保持低复杂度的同时提供了强大的多尺度特征提取能力。此外，还提出了一种双分支自适应特征融合（DBFF）模块，以在低频成分的指导下指导生成器F合成更真实的模糊图像。最后，大量实验验证了RID-Net在去雾任务中的出色表现，尤其是在真实世界的模糊场景中。
引言
随着计算机视觉领域的不断发展，图像处理技术已成为许多实际应用中的关键组成部分。然而，大气颗粒和水滴会散射和吸收光线，导致图像出现模糊和失真[1]、[2]。雾效应严重影响了图像的质量和可用性，限制了其在户外监控[3]、自动驾驶[4]和航空航天[5]等领域的应用。
早期研究人员主要使用传统的去雾方法，如暗通道先验（DCP）[6]、颜色衰减先验（CAP）[7]、Retinex[8]和直方图均衡[9]，这些方法基于图像增强或对自然图像统计特性的先验知识。尽管这些方法在一定程度上提高了模糊图像的可见度，但它们简单的特征增强或基于手动统计的先验知识的局限性导致去雾效果不理想。
基于监督学习的去雾方法受到了广泛的研究关注，并取得了令人印象深刻的结果[10]、[11]、[12]。然而，这些方法依赖于成对的清晰-模糊训练数据，在实际场景中获取这些数据成本高昂且劳动密集。此外，通过大气散射模型[6]生成的合成模糊图像与真实模糊图像之间存在显著的领域差异，导致监督模型在真实世界场景中的泛化能力较差。这些局限性凸显了需要利用未配对真实世界数据的无监督去雾方法。
为了实现对真实模糊图像的有效去雾，研究基于无监督学习的去雾方法至关重要。近年来，由于其无监督训练方式，CycleGAN在低级视觉领域获得了显著认可。越来越多的研究人员利用CycleGAN的无监督特性，使用真实模糊图像进行网络训练。因此，这些基于CycleGAN的去雾方法在去雾真实模糊图像方面取得了很大进展[13]、[14]、[15]。这些方法通常包括以下组件：（1）生成器F和生成器G，其中生成器F用于将清晰图像转换为模糊图像，生成器G用于将模糊图像转换为清晰图像。（2）判别器DA和判别器DB，其中判别器DA的目的是区分真实模糊图像和生成的模糊图像，判别器DB的目的是区分真实清晰图像和生成的清晰图像。然而，这些方法仍存在以下局限性：（1）生成器对真实模糊图像信息的利用不足，导致合成图像的颜色失真和亮度不平衡，与真实模糊图像存在显著差异；（2）大多数现有方法依赖复杂的特征提取模块来提高性能，导致计算复杂度高和推理速度慢，难以满足实时应用的要求；（3）简单的特征融合操作（如连接和逐元素加法）无法根据特征属性进行自适应调整，而大多数基于注意力的融合模块主要关注局部特征，难以关注全局信息。
因此，为了解决上述问题，提出了一种名为RID-Net的无监督去雾网络。在本研究中，使用未配对的真实世界训练数据来训练RID-Net，因此RID-Net在去雾真实模糊图像方面表现出令人满意的结果和强大的鲁棒性。与许多最先进（SOTA）方法相比，RID-Net在保持极具有竞争力的运行时间的同时，实现了出色的去雾效果。本文的主要贡献总结如下：
- •
为了降低原始Res2Net模块的计算成本同时保持其特征提取能力，设计了一种基于PConv的改进Res2Net（IR）模块。考虑到不同通道之间的特征图高度相似，IR模块仅使用输入特征图的一部分通道进行特征提取，而保持其他通道不变。
- •
为了有效地将真实模糊图像中的雾气信息与清晰图像合并，提出了一种双分支特征融合（DBFF）模块。与简单的特征融合操作相比，DBFF模块通过平衡两个分支的重要性来适应性地融合它们。这有助于生成器F合成更真实的模糊图像。相反，真实的模糊图像也可以帮助生成器F增强其去雾能力。
- •
通过集成改进的Res2Net（IR）模块和双分支特征融合（DBFF）模块，我们提出了一种名为RID-Net的无监督去雾网络，该网络能够在真实模糊图像上进行训练，并提高网络在不可预测的真实世界模糊图像上的去雾性能。
本文其余部分的结构如下：第二节简要总结了各种传统和深度学习方法。第三节描述了所提出的方法。第四节提供了实验细节和结果，验证了该方法的有效性。最后，第五节总结了这项工作。
相关研究
相关工作
随着计算机视觉和图像处理技术的快速发展，图像去雾已成为一个高度关注的研究领域。现有研究根据去雾方法是否使用深度学习技术以及它们是监督学习还是无监督学习，被分为三类[16]、[17]。
整体架构
RID-Net的网络架构如图1所示。它由生成器G和F以及判别器DA和DB组成。生成器G的目的是利用真实模糊图像中的低频成分，从输入的清晰图像（属于清晰图像域）合成真实的模糊图像（属于模糊图像域），从而生成真实的模糊图像（hazy image domain）。生成器G的目的是将伪造的模糊图像转换为重建的清晰图像（reconstructed clear image）。给定一张未配对的训练图像（I_c, I_h），其中I_c表示清晰图像，I_h表示模糊图像。
数据集详情
由于所提出的去雾网络采用无监督方式进行训练，我们使用未配对的图像进行训练。共选择了6000张清晰图像和6000张真实模糊图像来训练网络模型。这6000张清晰图像来自RESIDE数据集的RESIDE-OTS（户外训练集），6000张真实模糊图像包括3000张来自RTTS（真实世界任务驱动测试集）的图像和3000张来自URHI（未标注真实模糊图像集）的图像。
结论
在本文中，我们提出了一种基于改进的CycleGAN的图像去雾网络RID-Net。为了减少合成图像和真实模糊图像之间的领域差异，RID-Net使用未配对的真实世界图像有效提高了对真实模糊图像的去雾性能。首先，设计了一个基于PConv的IR模块来组成生成器G和F，使生成器具有强大的多尺度特征提取能力。其次，我们将DBFF模块引入生成器F。
CRediT作者贡献声明
Fazhan Tao：概念化、方法论、软件开发、调查、形式分析、撰写——原始草稿。Shiyang Dong：数据整理、撰写——原始草稿。Wei Zhang：可视化、调查。Qi Chen：资源获取、监督。Mengyang Li：概念化、资金获取、资源管理、监督、撰写——审稿与编辑。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
