数据交互式Mamba驱动的SAR-光学融合云去除技术

《Knowledge-Based Systems》：Data-Interactive Mamba Driven SAR-Optical Fusion Cloud Removal

基于SAR-光学融合的云去除模型MDFuse-CR提出双分支特征提取框架，结合数据交互视觉Mamba模块和可逆神经网络模块，通过预训练和云影自适应损失函数实现高效云去除与细节重建。

　　

Fajing Liu|En Li|Yixiao Liu|Sijie Zhou|Yuanyuan Wu|Chao Ren

电子与信息工程学院，四川大学，成都，610065，中国

摘要

合成孔径雷达（SAR）图像与光学（OPT）数据同步，能够重建被云层和阴影遮挡的遥感图像，因为SAR具有穿透云层的能力。然而，现有的SAR-光学融合技术用于云层去除的方法很少，且主要针对全局云层去除，导致在密集云层区域特征重建不足，并在无云区域产生伪影。此外，当前方法缺乏从各个模态独立学习的能力，当SAR或OPT信号较弱时无法建立全面的数据恢复关联。为有效解决这些问题，本文提出了一种新的模型（MDFuse-CR）。首先，基于状态空间模型的数据交互式视觉mamba（DI_ViM）被提出，然后与可逆神经网络（INN）结合使用，创建了一个双分支互补特征提取模块。其次，引入了一种基于云影检测算法的云影自适应损失函数，旨在最小化处理对无云区域的影响。第三，采用预训练方法去除SAR和OPT图像中的噪声。最后，证明了该方法在云层去除效果和推理速度方面的优越性（无需使用Transformer）。在公共数据集SEN12MS-CR上的实验结果表明，所提出的方法表现出更好的性能。与第二种最佳方法相比，MDFuse-CR的平均PSNR和SSIM值分别提高了1.4%和2.8%，而平均MAE和SAM值分别降低了5.4%和1.8%。源代码可在https://github.com/Jing220/MDFuse-CR获取。

引言

深度学习方法在自然图像处理中表现出显著的性能，这激发了人们对其在遥感图像处理中应用的关注[1]、[2]、[3]、[4]、[5]。具体而言，遥感图像是观察地表结构数据的关键来源[6]、[7]、[8]、[9]。然而，从遥感图像中获取全局或详细信息经常受到云层覆盖的阻碍。根据CALIPSO的联合观测[10]，全球云层覆盖率约为69%，而陆地表面的云层覆盖率约为55%。因此，去除遥感图像中的云层覆盖以实现连续可靠的数据获取已成为近年来的研究重点[11]、[12]、[13]。

然而，密集的云层对任何光学波长都不透明，完全干扰了反射信号，从而阻碍了对地球表面的观测[14]，并在云层覆盖区域导致纹理信息的完全丢失[15]。幸运的是，合成孔径雷达（SAR）的出现有效缓解了这一问题，因为它能够穿透云层、雾霾和其他气候条件，得益于其长波长，能够捕捉到云层覆盖下的详细地表特征和纹理[16]。

与其他云层去除策略相比，SAR-光学融合基于SAR成像的物理特性具有独特的优势。多时相方法[17]、[18]依赖于时间连续性，容易受到季节性或光照变化的影响，而基于空间的重建方法[19]、[20]在完全被密集云层遮挡的区域无法发挥作用。相比之下，SAR提供了稳定的结构和后向散射信息，不受云层和光照条件的影响，即使在光学观测完全受阻的情况下也能恢复地表纹理[16]。因此，SAR-光学融合方法能够更可靠地恢复缺失的细节，并确保在各种天气条件下进行连续的地表监测，在云层去除任务中得到广泛应用[14]、[15]、[21]、[22]、[23]、[24]、[25]、[26]。

尽管这种方法相比多时相和基于空间的云层去除方法具有更强的时间相关性和更短的空间距离[12]等优势，但仍存在以下缺点。首先，目前基于SAR-光学融合的方法很少，这些方法主要基于全局云层去除技术[12]、[27]，可能会导致无云区域的信息质量下降。其次，这些方法严重依赖于SAR和OPT数据之间的协同作用[12]，当任一模态的可靠性较弱时，云层去除效果不佳。第三，效果更好的模型主要基于Transformer及其核心注意力机制[21]、[27]、[28]。然而，Transformer的计算复杂度与序列长度的平方成正比[29]、[30]，显著降低了模型推理效率。此外，云影会吸收从地面反射的光线，破坏光学图像。

为了解决上述问题和限制，本文提出了一种双分支特征提取模型，用于从OPT和SAR图像中捕获特征，如图1(a)和图2所示。在一个分支中，设计了数据交互式视觉mamba（DI_ViM）模块来从两种输入模态中提取互补特征。在另一个分支中，使用了包含可逆神经网络（INN）[31]的高频细节特征（HFDF）提取模块，从单一输入中独立提取特征。此外，利用提出的云影检测算法生成了单通道掩码，以减少处理过程中对无云区域的损害。最后，采用预训练方法去除SAR和OPT图像中的噪声，进一步提高云层去除和重建质量。总体而言，本工作的主要贡献总结如下：

•

我们提出了一种基于新的双分支多模态特征提取方法的SAR-光学融合云层去除算法（MDFuse-CR），即使SAR或OPT图像质量较低，也能有效提取互补特征和单独特征，从而恢复云层覆盖区域的详细特征。

•

基于Mamba的MDFuse-CR具有与Transformer方法相当的建模能力，但推理速度更快。具体而言，MDFuse-CR的推理速度比使用参数匹配的Transformer快5倍。

•

我们提出了一种基于结合云影检测方法的掩码的云影自适应损失函数。这种创新的损失函数有助于精确定位云层覆盖区域，同时减少对无云区域的影响。

•

我们利用提出的云影算法区分输入数据中的云层和阴影内容。此外，在OPT和SAR图像中采用预训练方法来减少噪声干扰并提高图像重建质量。

章节片段

基于SAR-光学数据融合的云层去除

遥感图像中的云层去除一直是广泛研究的主题[32]、[33]。由于SAR能够穿透云层并持续观测地球表面，SAR-光学融合在云层去除任务中得到了广泛应用。现有的基于数据驱动深度学习的SAR增强云层去除方法可以分为三类：卷积神经网络（CNN）[14]、生成对抗网络（GAN）[34]、[35]、[36]、[37]和Transformer[15]

概述

所提出的MDFuse-CR由三个部分组成：双分支编码器、R-解码器和预训练部分。编码器包括特征整合（FI）模块、门控残差特征融合（GCR-Fuse）模块以及双分支特征提取模块，后者由数据交互式视觉mamba（DI_ViM）块和高频细节特征（HFDF）提取块组成。重建解码器（R-Decoder）包括图像重建（IR）模块

实验

首先介绍使用的数据集和实现细节。然后，与现有方法进行了一些定性和定量比较。最后，通过消融研究验证了提出的模块和损失函数。

结论

本文介绍了一种高效的SAR-光学融合遥感云层去除模型（MDFuse-CR），它包含两个特征提取分支。一个分支DI_ViM专门用于提取SAR和OPT之间的互补特征。另一个分支依赖于可逆神经网络（INN），从单个输入数据中独立提取尽可能多的特征，以确保模型的稳定性。与基于Transformer的模型不同

CRediT作者贡献声明

Fajing Liu：撰写——原始草稿、可视化、验证、软件、方法论、调查、形式分析、概念化。En Li：撰写——原始草稿、可视化、软件、资源、方法论、调查、形式分析、数据整理。Yixiao Liu：可视化、验证、监督、资源、数据整理。Sijie Zhou：可视化、验证、形式分析、数据整理。Yuanyuan Wu：可视化、监督、资源。Chao Ren：撰写——审阅

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了国家自然科学基金（项目编号62171304）的支持，以及四川省科技支撑计划（项目编号2025JDRC0011、2024ZYD0263、2024ZHCG0191）的支持，还得到了中国航天科技集团多传感器智能检测与识别技术研发中心的种子资金项目（项目编号ZZJJ202402-02）和中央高校基本科研业务费（项目编号SCU2023D062）的支持