多方向频率感知与全局-局部特征聚合网络在单图像去雾中的应用

《Displays》：Multi-directional frequency perception and global–local feature aggregation network for single image dehazing

多方向频率感知与全局-局部特征聚合网络提升图像去雾效果，通过分解频率域信息抑制低频干扰并保留结构细节，结合空间方向特征重组捕获长程依赖，再经内容增强融合模块实现多尺度特征优化，实验表明该方法在合成与真实数据集上均优于现有SOTA方法。

　　

张晓东|顾秋鹏|高少树|姜明浩

中国石油大学（华东）计算机科学与技术学院青岛软件研究院，山东省智能油气工业软件重点实验室，青岛266580，山东，中国

摘要

图像去雾仍然是一个具有挑战性的逆问题，因为雾霾分布的复杂性和多样性。许多现有方法主要集中在空间域，而忽略了频域中可用的互补信息。此外，卷积神经网络（CNN）由于其局部感受野的限制，可能无法捕捉长距离依赖性和全局上下文信息。为了解决这些问题，我们提出了一种多方向频率感知和全局-局部特征聚合网络（MPFANet）。具体来说，首先，我们提出了多方向频率感知（MDFP）模块。通过将特征分解为方向频率子带，MDFP模块能够抑制雾霾引起的低频干扰，同时保留各向异性的结构线索，从而更精确地恢复退化场景中的方向敏感细节。然后，我们设计了一个全局-局部特征聚合（GLFA）模块，通过特征重组来建模长距离依赖性，并结合多尺度残差增强来嵌入局部细节。最后，我们提出了内容增强融合（CEF）模块，该模块在解码阶段通过通道特定的空间注意力整合来自编码器的多级特征，增强语义一致性并保留精细细节。广泛的实验表明，与最先进的方法相比，MPFANet在合成和真实世界数据集上都取得了更好的性能。此外，针对高级视觉任务的实验进一步验证了我们方法的有效性和泛化能力。

引言

雾霾是一种常见的大气现象，由悬浮颗粒与空气中的水蒸气相互作用引起。它通常会导致图像退化，表现为模糊、对比度降低和颜色失真，严重影响视觉质量[1]。这种退化不仅降低了图像的固有可用性，还严重阻碍了高级视觉任务的性能，包括对象检测[2]、[3]和语义分割[4]、[5]。作为基本的图像增强技术，图像去雾近年来受到了学术界和工业界的广泛关注。特别是，单图像去雾是一个高度不适定的问题，因为观测信息有限，使得从退化图像中准确恢复清晰场景变得复杂且具有挑战性。

早期的传统去雾方法[6]、[7]、[8]、[9]主要依赖于手工制作的先验来恢复清晰图像。然而，在复杂的真实世界场景中，这些方法估计的参数往往与真实值有显著偏差，导致去雾结果中出现明显的颜色失真和重要图像细节的丢失。

随着深度学习的快速发展，基于卷积神经网络（CNN）的方法[10]、[11]、[12]在图像去雾方面显示出比传统算法显著的优势，并成为主流方法。这些基于深度学习的方法的强大性能主要源于其强大的特征表示能力和端到端学习框架[14]、[15]。然而，卷积作为大多数CNN架构的基本构建块，本质上是一个具有固定且有限感受野的局部操作，这限制了其捕捉雾霾分布中非局部相似性和空间相关性的能力。此外，雾霾会显著抑制高频细节并扭曲低频成分，导致频域中的非均匀退化。尽管如此，大多数现有的去雾网络主要关注空间域特征提取，并没有明确捕捉由雾霾引起的频域变化，从而限制了它们的整体去雾效果。

为了解决这些限制，本文提出了一种端到端的图像去雾网络，称为MPFANet。具体来说，它主要由多方向频率感知模块（MDFPM）、全局-局部特征聚合块（GLFAB）和内容增强融合模块（CEFM）组成。我们提出的MDFPM不是均匀处理高频信息，而是利用方向感知的频率分解来更好地分离雾霾主导的成分和结构相关细节。进一步采用自适应的频率感知调制在恢复过程中强调信息成分，从而更忠实地恢复细节。为了有效捕捉雾霾图像中的长距离依赖性和局部结构细节，提出的GLFAB沿着列和行维度顺序重组特征图，使远距离区域在局部感受野内相互作用。在每个阶段，应用多尺度残差块和深度可分离卷积来提取多个尺度上的空间模式。通过沿两个正交空间方向处理特征并用尺度自适应的局部操作进行增强，GLFAB隐式地建模了全局依赖性，同时保留了细粒度的空间结构——这比自注意力机制的计算复杂度要低得多。在编码阶段，GLFAB和MDFPM以双分支并行结构排列，允许空间和频率特征相互作用和互补，以增强表示效果。此外，我们提出了CEFM来融合编码和解码阶段的特征。CEFM利用输入特征生成通道特定的空间注意力权重，使模型能够关注通道维度上的雾霾相关变化。

总结来说，本工作的贡献可以总结如下：

• •
  我们提出了一种多方向频率感知模块（MDFPM），将方向感知的频率建模引入去雾网络，增强了各向异性结构并改善了边缘和纹理等细节的恢复。
• •
  我们设计了一个全局-局部特征聚合块（GLFAB），它沿着水平和垂直方向顺序重组特征，使局部感受野内的非局部相互作用成为可能。这种结构隐式地捕捉了长距离依赖性，同时保留了局部细节。
• •
  内容增强融合模块（CEFM）通过通道特定的空间注意力机制自适应地融合编码器和解码器的特征。通过为每个通道学习独立的空间注意力图，CEFM实现了细粒度的空间调制，并有效突出了雾霾相关区域，从而提高了恢复图像的感知质量和一致性。

部分摘录

图像去雾

基于先验的方法：在早期的图像去雾研究中，方法主要依赖于手工制作的统计先验或人类视觉启发式来估计雾霾图像的传输图和大气光，然后使用大气散射模型（ASM）[16]来恢复清晰图像。例如，He等人[6]提出了暗通道先验（DCP），它假设在大多数无雾霾图像的非天空区域，至少有一个颜色通道的强度较低

方法

在本节中，我们首先介绍所提出网络的总体架构，然后描述其组件GLFAB、MDFPM和CEFM的详细信息，最后给出损失函数。

实验

在本节中，我们在合成数据集和真实世界图像上评估了所提出的方法。结果与最先进（SOTA）方法进行了比较。此外，还进行了消融研究以验证我们框架中每个单独模块的有效性。

结论

在本文中，我们提出了MPFANet，这是一个端到端的图像去雾网络，它联合建模了空间域和频域特征，并促进它们之间的相互作用，以更好地捕捉与雾霾相关的信息。我们的MPFANet由三个关键模块组成：多方向频率感知模块（MDFPM）、全局-局部特征聚合块（GLFAB）和内容增强融合模块（CEFM）。首先，MDFPM使用小波变换将特征图分解为一个

CRediT作者贡献声明

张晓东：撰写 – 审稿编辑、方法论、概念化。顾秋鹏：撰写 – 审稿编辑、软件、方法论、概念化。高少树：资源、调查、数据管理、概念化。姜明浩：调查。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本研究得到了国家自然科学基金的支持，项目编号为61801517。