SRDR：风格恢复与细节补充对单张图像去雾效果至关重要

《Computer Vision and Image Understanding》：SRDR: Style recovery and detail replenishment matter for single image dehazing

本文提出基于风格恢复与细节增强的去雾网络SRDR，通过分解去雾任务为风格与细节两个子任务，结合预训练的MAE模型与多方向卷积，设计三个核心模块实现高效信息融合，显著优于现有方法。

　　

李月华|裴松伟|杨文正|刘冰峰|王书怀

北京邮电大学，北京 100876，中国

摘要

单图像去雾作为典型的低级视觉任务，在物体检测和自动驾驶等实际应用中具有重要意义。目前，大多数图像去雾方法侧重于直接学习雾蒙蒙图像与清晰图像之间的整体差异，这使得学习任务变得极具挑战性，并在一定程度上限制了去雾效果。在本文中，我们借鉴了风格迁移任务中对图像风格和内容的处理方法，认为雾蒙蒙图像的退化通常涉及风格的转变和细节的隐藏。因此，我们可以根据这两个方面来分解和解决去雾任务，从而降低去雾网络的学习难度，实现更有效的图像去雾效果。基于这一思路，我们提出了一种专注于风格恢复和细节补充的去雾网络——SRDR。该网络首先分别恢复雾蒙蒙图像的风格和细节，然后结合这两方面的信息进行去雾处理。SRDR主要由三个模块组成：风格恢复模块（SRM）、细节补充模块（DRM）和交叉融合模块（CFM）。SRM通过调整预训练的MAE模型来实现风格恢复，DRM利用多方向卷积进行细节补充，CFM则负责信息聚合。大量实验表明，SRDR在多个主流数据集上取得了先进的性能。

引言

随着计算机视觉技术的广泛应用，输入图像的质量对下游任务的准确性有着重要影响。如何有效解决图像去雾问题一直是计算机视觉低级任务研究的热点（Sun等人，2022年；Dwivedi和Chakraborty，2025年；Zheng等人，2023年；Guo等人，2022年；Cai等人，2016年；Liu等人，2019年；Sun等人，2021年；Song等人，2023年；Feng等人，2023年）。例如，在自动驾驶和全天候监控领域，图像去雾是提高后续任务准确性和鲁棒性的前提条件。图像去雾的效果直接关系到许多下游任务的性能，因此受到了众多研究人员的关注。

图像去雾方法通常可以分为基于先验知识的方法和基于学习的方法（Guo等人，2022年；Noori等人，2024年）。早期的基于先验知识的去雾方法依赖于手工制作的特征（Fattal，2014年；He等人，2010年）。随着深度学习在计算机视觉领域的深入研究，图像去雾模型得到了广泛研究（Sun等人，2022年；Sun等人，2021年；Li等人，2017年；Feng等人，2023年；Qin等人，2020年；Song等人，2023年；Kang等人，2024年）。其基本思想是利用神经网络从退化图像中提取特征，并尝试根据这些特征将其恢复为清晰图像。大多数图像去雾模型通过对原始分辨率的图像进行卷积或自注意力操作来提取特征（Qin等人，2020年；Guo等人，2022年；Zheng等人，2023年；Gautam等人，2023年）。此外，一些方法通过下采样和多尺度结果的融合来处理多尺度分辨率下的图像去雾问题。

然而，这些去雾网络通常直接学习雾蒙蒙图像与清晰图像之间的整体差异，这导致它们面临较大的学习挑战，从而在一定程度上影响了去雾效果。受到风格迁移任务的启发，我们认为雾蒙蒙图像的退化主要涉及两个方面：风格的转变和细节的隐藏（Gatys等人，2015年；Chen等人，2020年；Deng等人，2020年）。图像风格迁移（Lyu等人，2023年；Gatys等人，2015年；Xu等人，2021年）通常使用内容图像和风格图像合成新图像，保留内容图像的内容信息并体现风格图像的风格特征。本文旨在设计一种能够根据这两个方面执行不同子任务，从而有效降低学习难度的去雾网络，提升去雾效果。

具体来说，我们提出了一种从两个方面解决去雾问题的网络：风格恢复和细节补充。网络的一部分专注于学习更多风格信息（如亮度、对比度、颜色等）以实现风格恢复；另一部分则专注于学习具体细节（如纹理和线条）以实现细节补充。我们将这个网络命名为“SRDR”（风格恢复与细节补充）。SRDR包含三个模块：风格恢复模块（SRM）、细节补充模块（DRM）和交叉融合模块（CFM）。SRM负责风格恢复，DRM负责细节补充和增强，CFM则负责整合SRM和DRM的输出信息，以实现更好的去雾效果。主流的图像去雾数据集主要由合成数据组成，因此使用这些数据集训练的模型普遍存在泛化能力不足的问题。近年来，大规模预训练模型（PTMs）在各种视觉任务中表现出色，这些模型使网络能够获得丰富的先验知识。为了充分利用PTMs的优势，本文通过设计一种去雾MAE模块来实现SRM，该模块基于掩码自编码器（MAE）（He等人，2022年）网络进行改进。此外，本文还提出了一种两阶段渐进式多任务训练方法，有助于将预训练的大模型有效应用于图像去雾任务。在三个图像去雾数据集上的测试表明，SRDR的性能显著优于其他方法，并达到了先进水平。SRDR的技术创新之处在于其系统的分解策略和专门的架构设计。与将去雾视为单一的整体图像到图像转换问题的传统方法不同，我们的分析表明，当同时处理风格的转变和细节的隐藏时，去雾效果更佳。这一见解促使我们为每个方面设计了专门的模块，从而降低了各组件的学习复杂性，提升了整体性能。

总结来说，本文的主要贡献如下：

• •
  我们认为雾蒙蒙图像的退化涉及风格的转变和细节的隐藏，提出了一种专注于风格恢复和细节补充的有效去雾方法——SRDR。
• •
  我们通过调整预训练的MAE模型来设计去雾MAE以实现风格恢复，并提出了一种两阶段渐进式多任务训练方法。
• •
  大量实验表明，SRDR在合成数据和真实世界场景中均优于现有最先进方法。

章节摘录

图像去雾

图像去雾是将雾蒙蒙的图像恢复为清晰图像的过程（Lai等人，2014年；Zhao等人，2020年）。早期，人们依靠先验知识和手工制作的特征来实现去雾，使用了最大对比度（Tan，2008年）、暗通道先验（DCP）（He等人，2010年）、颜色-线条（Fattal，2014年）、颜色衰减先验（CAP）（Zhu等人，2015年）等技术。然而，这些方法往往去雾效果不佳。

动机

在介绍网络的具体实现之前，我们首先解释设计该网络的动机。我们认为雾蒙蒙图像的退化主要影响数据分布，导致亮度、颜色和对比度等风格的变化。尽管如此，一些细节（如纹理、线条和图形）仍然被隐藏。为了说明这一点，我们评估了雾蒙蒙图像与清晰图像之间的风格和内容差异。

数据集

在我们的实验中，我们在三个不同的数据集上评估了模型的性能：RESIDE（Li等人，2018年）、Haze4K（Liu等人，2021年）和NH-Haze（Ancuti等人，2020年）。RESIDE数据集（Li等人，2018年）是一个广泛用于真实和合成图像去雾的数据集，包含五个子集：室内训练集（ITS）、室外训练集（OTS）、合成对象测试集（SOTS）、真实任务驱动测试集（RTTS）和混合主观测试集（HSTS）。

结论

在本文中，我们提出了一种有效的去雾网络SRDR，通过关注风格恢复和细节补充两个关键方面来解决去雾问题。我们通过调整预训练的MAE模型来实现风格恢复，并采用多方向卷积进行细节补充。实验结果表明，SRDR在各种任务中均取得了先进的结果。

CRediT作者贡献声明

李月华：撰写——审阅与编辑、初稿撰写、可视化、验证、软件开发、方法论设计、数据分析、概念化。裴松伟：撰写——审阅与编辑、初稿撰写、指导、资源协调、项目管理、资金筹集。杨文正：软件开发、方法论设计、概念化。刘冰峰：撰写——审阅与编辑、验证、软件开发。王书怀：撰写——审阅与编辑、验证、软件开发。

利益冲突声明

作者声明以下可能的利益冲突：裴松伟表示获得了国家自然科学基金的支持。如果还有其他作者，他们声明没有其他可能影响本文研究的利益冲突或个人关系。

致谢

本工作部分得到了国家自然科学基金（NSFC）（项目编号61772061）的支持。