基于扩散模型的数据增强方法在Pol-SAR图像中的土地覆盖分割应用

《Pattern Recognition》：Diffusion Model-Based Data Augmentation for Land Cover Segmentation in Pol-SAR Imagery

本文针对极化合成孔径雷达（Pol-SAR）图像数据获取困难及标注精度不足的问题，提出基于极坐标变换和扩散模型的数据增强方法，并设计引导采样策略生成图像-标签对，有效提升土地覆盖分割性能。

　　

崔坤勋（Keunhoon Choi）|金秀诺（Sunok Kim）|孙光勋（Kwanghoon Sohn）

机构：延世大学电气与电子工程系 地址：韩国首尔西大门区延世路50号，邮编03722

摘要

极化合成孔径雷达（Pol-SAR）能够提供包含地表物理纹理信息的图像，这对于土地覆盖分类非常有用。然而，获取Pol-SAR图像和精确的分类图非常困难，这限制了公众对大型数据集的访问，并阻碍了深度学习方法达到最佳性能。为了解决这个问题，我们提出了两种方法。首先，我们将通道轴转换为极坐标，以便更好地利用Pol-SAR数据中的地表信息。这使得深度学习模型可以直接学习极化角度，从而提高分类性能并解决扩散模型中的通道不平衡问题。其次，我们引入了一种基于扩散模型的数据增强框架，用于生成带有对应土地覆盖图的Pol-SAR图像。通过使用高斯分布的对称性将土地覆盖图表示为二维格式，与独热编码相比，这种方法可以减少GPU内存消耗。我们还提出了一种引导采样策略，当只有土地覆盖图可用时也能生成配对的Pol-SAR图像。实验结果验证了这些方法在Pol-SAR数据集上的有效性。

引言

近年来，各种基于深度学习的算法被应用于遥感任务，如场景分类[1]、变化检测[2]、建筑物分割[3]、土地覆盖分类[4]、目标检测[5]和异常检测[6]。土地覆盖分类是一种语义分割形式，它将地球表面的每个像素分类为不同的土地覆盖类型，如城市区域、农田或森林。它是许多应用中的关键步骤，包括土地利用规划、森林监测[7]、城市扩张分析[8]和气候变化研究[9]。

电光（EO）图像在遥感中得到广泛应用，但受到云层覆盖或夜间等条件的限制，因此需要采用主动传感器，如合成孔径雷达（SAR）。SAR因其全天候的鲁棒性而受到广泛关注[10]，特别是极化SAR（Pol-SAR）利用垂直和水平极化提供了关于地表的更丰富信息。然而，尽管有这些优势，获取大型公共Pol-SAR数据集仍然具有挑战性[11]，而获取高质量的地面真实标签则受到SAR固有特性的进一步阻碍，例如难以进行精确标注以及频繁的土地利用变化。

为了解决这些问题，我们提出了改进Pol-SAR图像上土地覆盖分类性能的有效方法。首先，我们引入了从笛卡尔坐标到极坐标的转换，使卷积神经网络（CNN）能够直接利用极化角度，该角度编码了地表的关键结构信息[12]。这种方法通过有效分离能量幅度和结构散射模式，在双极化和四极化数据集上都实现了良好的泛化能力。

其次，我们提出了一种基于扩散模型的数据增强方法，以实现高质量、多样化的土地覆盖分类图像生成。与通常需要预先存在标签或容易发生模式崩溃的GAN基方法[14]不同，我们的框架学习了Pol-SAR图像和分类图的联合分布，从而可以同时生成完美对齐的图像-标签对。这种方法有效地合成了复杂的土地覆盖边界和与表面相关的信息，非常适合卫星图像。

最后，我们提出了一种引导采样策略，利用我们的配对生成框架从土地覆盖图生成Pol-SAR图像。当真实的Pol-SAR图像不可用时，这种能力有效地解决了数据稀缺的问题。

我们总结本文的贡献如下：

•

我们提出了一种极坐标转换方法，以有效利用Pol-SAR图像中的丰富信息。

•

我们引入了一种使用扩散模型生成配对Pol-SAR图像和地面真实土地覆盖图的方法，以提高分类性能。

•

基于此，我们设计了一种称为“引导采样”的策略，仅使用土地覆盖标签即可生成配对的Pol-SAR图像。

图1展示了我们方法的总体框架，而图2展示了配对的Pol-SAR图像和土地覆盖图，比较了实际数据与我们的方法生成的样本。

章节片段

土地覆盖分类

Pol-SAR能够在多种天气条件下捕获详细的地表信息，非常适合土地覆盖分类任务。使用Pol-SAR数据进行土地覆盖分类的现有方法大致可以分为传统的统计方法和基于深度学习的技术。

早期的方法侧重于统计特性和物理属性，使用了多步骤检索方案[15]、地表敏感性分析[16]等技术

问题陈述与公式化

鉴于Pol-SAR图像提供的丰富几何信息，它在土地覆盖分类任务中起着至关重要的作用。然而，传统的深度学习方法通常直接将Pol-SAR图像输入CNN，这限制了它们充分利用Pol-SAR数据独特属性的能力[12]。此外，深度学习模型需要大量的标注训练数据才能达到高分类精度，而获取高质量的配对土地覆盖数据

实验结果

在本节中，我们展示了实验结果，以证明所提出方法的有效性。我们首先描述了实验设置，包括数据集、实现细节和评估指标。然后，我们展示了土地覆盖分类和消融研究的定量和定性结果。

结论

在本文中，我们提出了一种利用Pol-SAR图像独特特性的新型土地覆盖分类方法。为了充分利用Pol-SAR数据中蕴含的丰富信息，我们提出了一种将通道表示转换为极坐标的转换技术，从而显著提高了分类性能。我们还引入了一种使用扩散模型的数据增强策略，以应对训练数据有限的挑战。

CRediT作者贡献声明

崔坤勋（Keunhoon Choi）：撰写 – 审稿与编辑、撰写 – 原稿、可视化、验证、软件开发、方法论研究、数据分析、概念化。金秀诺（Sunok Kim）：撰写 – 审稿与编辑、撰写 – 原稿、可视化、验证、项目监督、方法论研究、数据分析、概念化。孙光勋（Kwanghoon Sohn）：撰写 – 审稿与编辑、撰写 – 原稿、可视化、验证

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。