基于全局-局部不确定性对比的物理指导反演网络，用于无监督云层去除

《Neural Networks》：Global–Local Uncertainty-Contrastive Physics-Guided Inversion Network for Unsupervised Cloud Removal

　　

龚世文|冯观博|刘琼|李润洲|孙航

华中科技大学电子信息与通信学院，中国湖北武汉 430074

摘要

近年来，无监督云去除方法得到了广泛探索并取得了显著进展。然而，现有方法往往缺乏对重建图像的有效约束，限制了其生成高质量云去除图像的能力。此外，控制云形成的物理机制尚未有效地融入现有云去除模型中，导致图像容易出现颜色失真和结构不一致性问题。为了解决这些问题，我们提出了一种基于全局-局部不确定性对比度的物理引导反换单元的网络（GUPI-Net）用于无监督云去除。具体而言，所提出的双向全局-局部不确定性对比度框架（BGLUC）引入了一种基于每个区域预测不确定性的不确定性引导加权机制，从而在高不确定性区域增强细节恢复能力，同时在低不确定性区域加强全局一致性。此外，我们设计了一个物理引导反换单元（PGIM），该单元通过同时估计特定的大气光先验和空间变化的传输图，并通过受物理原理启发的反演方案融合这些参数，在特征层面形成与大气散射机制一致的表现。最后，我们构建了一个名为 CloudQuad 的基准多表面遥感图像云去除数据集。在我们提出的数据集和公共数据集上的实验表明，GUPI-Net 的性能优于几种先进的无监督雾和云去除方法。

引言

云是由于水蒸气和悬浮颗粒在大气中凝结而形成的现象。随着工业化的快速发展和气候条件的日益复杂，云覆盖率在光学遥感图像中变得更加普遍，导致图像可见度和辐射质量显著下降。被云污染的图像通常存在亮度不平衡、光谱失真和表面细节丢失的问题，这严重阻碍了后续的高级视觉任务，包括目标检测（Wang等人，2020年）、（Wang等人，2025a年）、土地覆盖分类（Lan等人，2023年）、（Chen等人，2022年）和变化检测（Tang等人，2025年）、（Feng等人，2025年）。因此，开发有效的云去除图像方法变得越来越重要，因为这对于提高图像质量和增强下游遥感应用的准确性和可靠性至关重要。

早期的云和雾去除方法（Zhang等人，2002年）（Shen等人，2014年）（He等人，2011年）主要依赖于手工制作的物理先验来重建无云图像。然而，这些先验估计的不准确性经常导致恢复结果不满意。随着深度学习的迅速发展，已经开发出了基于监督的云去除方法（Meraner等人，2020年）（Liu等人，2023年）（Ding等人，2024年）（Li等人，2024年），这些方法利用成对的有云和无云数据集来学习跨领域转换，实现更准确的图像恢复。尽管如此，现实世界中成对样本的稀缺性仍然对这些基于监督的框架的可扩展性和泛化能力构成了持续的障碍。为了减少对成对数据的依赖，最近的研究（Zhang等人，2025年）（Liu等人，2025b年）（Pan等人，2025年）转向了无监督云去除，旨在从未配对的数据中学习无云表示。尽管取得了这些进展，当前的云去除方法仍然存在两个主要问题：

1) 如何施加有效的表示约束以实现更准确的图像重建。 大多数无监督去雾和云去除方法（Zi等人，2022年）（Li等人，2020年）（Yang等人，2022b年）（Gui等人，2023年）都是基于 DisentGAN 框架构建的，该框架包括两个关键阶段：物理参数解耦和重建。在解耦阶段，网络使用三个生成器将输入的有云图像分解为三个不同的输出：一个去云图像、一个传输图和大气光参数。在重建阶段，这些输出通过物理云退化模型重新组合，从而实现无监督学习。虽然该框架将物理约束纳入了学习过程，但在解耦和重建阶段缺乏一致的特征级约束，使得网络难以同时保持全局结构一致性和局部细节的真实性。因此，生成的图像往往在内容和细节上表现不足，导致结构模糊、颜色失真以及整体恢复质量下降。

2) 现有的云去除方法在潜在表示学习中缺乏对物理建模的有效整合，导致对云形成和消散的物理理解不足。 大多数现有的云去除方法（Chen等人，2024年）（Zhang 和 Wang，2022年）（Sun等人，2024年）采用注意力机制来提高网络有效提取和表示特征的能力。然而，这些方法往往忽略了特征空间中的物理表示，从而妨碍了网络捕捉对重建清晰图像至关重要的潜在特征的能力。结果是，生成的输出中经常会出现残余云。因此，在特征空间中融入强大的物理建模对于提高云去除性能和确保重建过程的物理一致性至关重要。

为了解决上述挑战，我们提出了一种基于全局-局部不确定性对比度的物理引导反换单元的网络（GUPI-Net）用于无监督云去除。具体而言，给定一个有云图像，端到端网络首先生成一个去云图像，而参数估计网络预测传输图和大气光。这些输出被输入到大气散射模型（ASM）中模拟退化过程，生成一个重新云化的图像，并与原始有云输入进行比较，以确保结构和内容的一致性。同时，输入图像以及预测的物理参数被反向输入到 ASM 中，以获得与端到端输出一致的物理引导去云图像。鉴别器通过区分生成的图像和未配对的真实清晰图像来进一步精细化学习过程，提高恢复输出的真实性。为了进一步增强全局语义和局部纹理的真实性，所提出的双向全局-局部不确定性对比度框架（BGLUC）引入了一种基于不确定性的加权机制，动态调整全局结构一致性和局部细节重建的相对重要性。该机制根据每个区域的预测不确定性动态调整全局和局部对比度损失的相对重要性——在高不确定性区域（如云边缘和重叠处）加强局部约束，以恢复细节，同时在稳定区域强调全局一致性，以保持结构和颜色的稳定性。通过这种具有不确定性意识的对比设计，模型从退化和恢复两个方向学习互补的表示，从而实现更准确、保留细节且物理一致的云去除结果。此外，还引入了一个物理引导反换单元（PGIM），将云和表面的物理特性嵌入特征空间，增强了物理表示，并确保恢复过程遵循基本的大气原理。

本文的主要贡献总结如下：

1) 通过精心设计的 BGLUC 框架，所提出的模型将端到端网络与参数估计网络集成在一起。通过利用输入的有云图像和生成的输出，它通过具有不确定性意识的全局-局部对比度损失来执行云去除和图像重建，从而显著提高了图像质量。

2) 提出了一个物理引导反换单元（PGIM），该单元利用物理反换单模型全面考虑了云和图像在特征层面的物理属性，准确提取潜在清晰图像的感知特征，从而改进了云去除过程。

3) 我们提出了 GUPI-Net，这是一种将 BGLUC 和 PGIM 无缝集成的新方法。此外，我们构建了一个名为 CloudQuad 的基准多表面遥感云去除数据集，包括四大类：水体、陆地、农村和城市地区。在 CloudQuad 和 RICE（Lin 等人，2019年）等具有挑战性的数据集上的实验表明，BGLUC-Net 的性能优于最先进的方法。

节片段

相关工作

本节简要概述了近期遥感图像云去除方法的进展。在 2.1 节中，我们介绍了基于先验的云去除方法，然后在 2.2 节中讨论了监督学习云去除方法。2.3 节

我们的方法

在本节中，我们详细描述了所提出的 GUPI-Net。首先在 3.1 节介绍 BGLUC 框架，然后在 3.2 节介绍 PGIM。在 3.3 节中，我们详细阐述了 GUPI-Net 使用的损失函数。

实验结果

本节从 4.1 节概述的实验设置开始，包括数据集处理、参数配置和评估指标。4.2 节和 4.3 节分别进行定量和定性分析，将我们的算法与七种先进的云去除方法进行比较：CycleDehaze（Engin 等人，2018年）、DisentGAN（Yang 等人，2018年）、USID（Li 等人，2023年）、D4（Yang 等人，2024年）、UCL（Wang 等人，2024年）、Frdiff（Liu 等人，2025a年）、DehazeSB（Lan 等人，2025年）。

局限性

尽管 GUPI-Net 表现强劲，但它仍然存在几个局限性。在云非常密集或几乎不透明的区域，严重的信息丢失可能会阻碍结构和纹理的准确恢复，导致细节不完整或局部颜色偏差。此外，物理引导反换单元依赖于对大气光和传输的准确估计。当这些与退化相关的参数估计不准确时，反换单过程可能会引入伪影或

结论

在本文中，我们介绍了用于遥感图像无监督云去除的 GUPI-Net。通过集成 BGLUC 框架和 PGIM，该云去除方法的性能显著提高。研究表明，我们的 BGLUC 框架通过引入双向全局-局部不确定性对比度约束，有效增强了网络的表示和重建能力，从而提高了重建图像的真实性，并实现了鲁棒性

数据和代码可用性

数据和代码将按请求提供。

CRediT 作者贡献声明

龚世文：撰写——原始草案，方法论。冯观博：撰写——审阅与编辑，监督。刘琼：监督，数据整理。李润洲：可视化，数据整理。孙航：调查，资金获取。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。