编辑推荐:
提出基于自监督框架Generate-to-Remove(G2R)和时空协同网络Spectral–Spatial Mamba(SSMamba)的多时相云去除方法,通过以云图自身作为监督目标,结合光谱与空间双分支网络建模,有效解决传统方法依赖跨时相标签导致的时空不一致问题,实验表明该方法在细节恢复和泛化能力上优于现有技术。
张成尧|王凤燕|张旭青|王明昌|陈峰|吴翔
中国吉林大学地球探测科学与技术学院,深部地球探测与成像国家重点实验室,长春130026
摘要
开发一种实用且稳健的云去除方法一直是遥感领域的重要研究目标。现有的多时相方法通常使用其他采集日期的无云图像作为训练样本。然而,光学观测固有的时间异质性给这一方法带来了内在限制。为了解决这些问题,我们提出了一种基于“生成到去除”(Generate-to-Remove,G2R)自监督框架的新型云去除策略。与传统方法不同,G2R将带云的图像本身作为监督目标,从而在重建过程中引入时间约束,实现云覆盖区域下方原始表面特征的准确恢复。此外,为了解决现有多时相网络在模拟时空动态和跨维度交互方面的不足,我们设计了光谱-空间Mamba(Spectral–Spatial Mamba,SSMamba)网络。该网络基于结构化状态空间模型,采用针对多时相输入的双光谱和空间分支,实现协同表示学习和高效的特征交互。这种设计能够充分利用不同时间观测之间的光谱一致性和空间依赖性,从而提高细节恢复能力和泛化能力。在多个真实图像场景上的实验结果表明,所提出的框架不仅能够准确重建云覆盖区域,而且相比现有最先进方法具有显著优势,显示出其在实际应用中的巨大潜力。
引言
光学遥感作为地球观测的基本工具,能够直观且高精度地获取地表信息,为环境监测、资源调查和地球系统研究提供重要数据支持(Tian等人,2025;王涛等人,2025a;严等人,2025;叶等人,2025)。然而,光学传感器对大气条件非常敏感,特别容易受到云层遮挡的影响,这往往导致图像部分或大面积数据丢失(刘等人,2024)。研究表明,全球超过一半的地表每年都受到不同程度的云层覆盖影响,这不仅严重降低了图像的可用性,还破坏了观测记录的完整性和时间一致性(King等人,2013)。因此,有效的云去除是充分发挥光学遥感潜力的前提。高质量云去除方法不仅提高了图像的可用性和时间连续性,还为土地利用分类、农业监测、城市扩张分析和灾害管理等下游任务提供了可靠的支持(Haider等人,2025;王刚等人,2025c;邢等人,2024;张等人,2025a)。
云对光学遥感图像的影响非常复杂,因为云的厚度、形态和空间分布具有显著的时间空间变异性(杨等人,2024;张伟等人,2025b)。薄云通常会导致光谱失真和辐射衰减,而厚云可能会完全遮挡地表信息,使得从单张图像中恢复底层特征成为一个典型的病态问题(彭等人,2024;王明等人,2025b)。随着卫星星座和重访能力的进步,多时相光学数据的获取变得越来越普遍(王军等人,2025d)。在时间序列中,即使某张图像受到严重云层污染,其他时间的相应观测通常包含部分无云或低云覆盖区域,从而提供了冗余和互补的信息,有助于恢复被遮挡的地表特征(童等人,2025)。此外,地表动态的连续性和规律性进一步增强了时间维度结构化建模的可行性。与依赖异构SAR数据的方法相比,多时相光学图像本身提供了更丰富的关联性和上下文约束,使其成为当前云去除研究中最有前景和广泛应用的方法之一(顾等人,2025)。
尽管多时相观测提供了宝贵的辅助信息,但目前主流方法在训练范式和输出确定性方面存在根本性限制。一种广泛使用的方法是使用相邻日期的无云图像作为训练标签,隐含地假设地表目标的时间不变性。然而,这一假设在实践中经常被违反:植被会经历物候变化,农田会经历耕作、播种和收获周期,水体会季节性结冰或融化。这种时间异质性在将其他日期的图像视为真实值时引入了系统性的标签错误,导致模型学习到的映射与物理现实偏离。另一个关键问题是,这些方法通常使用多张图像作为输入,但生成单一的重建输出,没有时间约束,产生的结果无法归属于任何实际采集时间,本质上是合成或“伪造”的图像。这种时间不确定或光谱不一致的输出削弱了它们在需要时间真实性的下游应用(如变化检测、物候分析和时间序列建模)中的适用性。这些问题共同凸显了迫切需要一种新的范式,以避免时间标签不匹配,并在重建中强制时间一致性。
最近的基于深度学习的云去除模型取得了显著进展。MRF-Net引入了 patch 内/之间的连贯性约束,以在相邻 patch 之间实现一致的恢复,从而减轻了由 patch 处理引起的块状伪影和边界不连续性(徐等人,2024)。DehazeXL 利用全局建模处理大图像,并有效结合了全局上下文和局部细节特征,实现了全场景薄云去除,显著提高了整体恢复的一致性(陈等人,2025)。然而,当前的网络设计仍面临几个关键限制。基于 CNN 的架构严重依赖局部卷积;虽然能够有效提取细粒度特征,但在捕捉全局依赖性方面存在局限性。这种限制常常导致重建模糊和结构不一致,尤其是在处理大面积云覆盖或突然的地表变化时(文等人,2022)。基于 Transformer 的模型利用自注意力,在建模长距离依赖性和整合多尺度特征方面表现出色(刘等人,2023)。然而,它们的二次计算复杂性对高分辨率遥感数据提出了挑战。更重要的是,有效的云去除不仅需要恢复精细的空间细节和光谱一致性,还需要协调多时相观测中的时间动态,以准确重建云污染图像的原始地表特征。
为了克服这些根本限制,我们提出了一个双视角框架,重新定义了多时相云去除的训练范式和网络架构。首先,我们引入了生成到去除(G2R)框架,该框架不同于依赖时间不匹配标签的传统范式。相反,G2R 使用目标日期的带云图像本身作为监督,并明确对恢复目标施加时间约束。具体来说,G2R 从光学厚云区域估计大气光,并在目标日期观测的清晰区域合成云污染;然后训练模型从合成云污染的输入映射到云图像采集时的相应无云表面表示,确保重建与实际观测时间一致。其次,为了解决现有架构的固有弱点——包括 CNN 的局部性偏差、Transformer 的二次复杂性以及在时间约束下空间和光谱特征的协调不足——我们设计了光谱-空间状态空间模型 SSMamba。利用结构化状态空间模型(SSM)的效率和长距离建模能力,该架构为多时相图像中的光谱和空间输入构建了双分支结构。它实现了协同的多维特征建模和跨维度交互,从而充分利用多时相遥感数据中的光谱一致性和空间依赖性,提高细节恢复能力和泛化能力。通过将生成性 G2R 范式与 SSMamba 架构相结合,我们实现了时间一致、光谱真实且纹理清晰的去云重建,如图 1 所示。
本研究的主要贡献总结如下:
(1)多时相云去除的范式转变。为了克服依赖跨时间监督的根本限制,我们提出了 G2R 范式,通过自监督将时间约束引入重建过程,确保在云图像观测时间准确恢复地表特征。
(2)我们设计了一个轻量级的云去除网络 SSMamba,基于状态空间模型进行空间-光谱协同重建。通过选择性增强时空特征和空间与光谱信息之间的双分支交互,SSMamba 能够精细恢复云污染区域。
(3)在多个真实世界场景上的实验表明,G2R 和 SSMamba 的结合具有实际价值,生成的时间一致、光谱可靠且纹理清晰的无云结果。
部分内容
云去除
光学遥感中的云去除本质上是一个病态逆问题,旨在从云污染的低质量观测中重建原始地表反射率,以提高卫星图像的可用性(宁等人,2025)。传统方法主要依赖于大气辐射传输和地表光谱特性的物理建模(徐等人,2019)。这些方法通常将云视为对地表反射率的扰动,并尝试
G2R 云去除框架
尽管多时相观测提供了有价值的补充信息,现有的深度学习云去除方法仍存在内在限制。大多数方法依赖相邻日期的无云图像作为训练标签,隐含地假设观测目标的时间不变性。然而,实际上,地表高度动态,经历物候变化、农业活动或水文变化,这些都会引入系统性的标签噪声
实验设计
为了全面评估所提出的方法,我们基于 Sentinel-2 Level-2A 图像设计了两种实验设置,研究区域的空间分布如图 6 所示。第一个实验旨在验证所提出的 G2R 自监督框架和 SSMamba 模型在真实世界条件下的有效性。我们在实验 1 中采用了严格的保留瓦片级测试协议,以确保训练/验证和测试之间的空间独立性
土地利用和土地覆盖类型对云去除性能的影响
为了进一步评估不同方法在不同地表条件下的鲁棒性,我们基于土地利用和土地覆盖(LULC)数据进行了评估(张和李,2022)。研究区域包括七个代表性类别——水体、森林、淹没植被、农田、建筑区、裸土和草地——涵盖了与真实世界遥感应用相关的广泛光谱和结构多样性。图 15 总结了
结论
本研究提出了一个双视角云去除框架,重新定义了学习范式和架构设计,从而克服了现有多时相方法严重依赖跨时间监督的根本限制。首先,我们提出了 G2R 自监督云去除框架,该框架利用带云图像本身作为训练目标。通过对重建过程施加时间约束,G2R 能够准确恢复土地
CRediT 作者贡献声明
张成尧:撰写 – 审稿与编辑,撰写 – 原始草稿,可视化,方法论,数据管理。王凤燕:撰写 – 审稿与编辑,监督,资源获取,方法论,资金获取,概念化。张旭青:监督,方法论。王明昌:监督,资金获取。陈峰:验证,数据管理。吴翔:可视化,软件。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
本工作得到了 国家自然科学基金 的支持,项目编号分别为 42330708、42077242 和 42171407。