通过语义编辑驱动的变化合成实现遥感语义变化检测

《Pattern Recognition》：Remote Sensing Semantic Change Detection via Semantic Editing-driven Change Synthesis

语义变化检测通常需要大量标注数据，而合成数据在真实场景中泛化能力差。本文提出SECS-SCD方法，通过马尔可夫驱动的语义掩膜编辑模拟真实变化，结合空间对齐的跨注意力扩散模型生成伪变化对，并利用多核MMD对齐合成与真实数据特征，降低对严格配准标注的依赖。

　　

徐正义|吴浩然|姜文|耿杰

西北工业大学电子与信息学院，中国西安，710072

摘要

语义变化检测（SCD）通常需要大量的语义标签和繁琐的注释工作，而基于合成数据训练的模型由于领域偏移，往往难以很好地泛化到真实场景中。为了解决这些问题，我们提出了通过语义编辑驱动的变化合成进行遥感语义变化检测的方法（SECS-SCD）。变化事件被建模为对语义掩码的马尔可夫驱动编辑，伪变化对则通过一个具有空间对齐的交叉注意力和基于坐标的定位编码的掩码条件潜在扩散模块生成。掩码采样先验通过参考注入来保留未改变的区域。在合成数据和有限的真实数据上进行联合训练，并通过多核MMD进行正则化，以对齐潜在表示并减轻多时间偏差，从而减少对严格配准的双时间标签的依赖，并在真实的SCD数据集上实现稳健的性能。

引言

由于语义变化检测（SCD）在环境监测[1]、城市规划[2]、农业管理[3]和灾害评估[4]等领域的关键应用，它受到了越来越多的研究关注。随着深度神经网络的快速发展，基于深度学习的SCD方法在准确性[5]和泛化能力[6]方面取得了显著进展。然而，这些方法的成功在很大程度上依赖于大规模、准确注释的多时间数据集。与单图像任务相比，注释多时间变化标签要复杂得多且成本更高[7]。此外，SCD还需要额外的语义标签和多种变化类型，进一步增加了注释的难度。因此，减轻语义变化检测的数据收集和注释负担仍然是遥感领域的一个主要挑战。

为了解决这个问题，本文提出了一种新的语义变化检测方法SECS-SCD，该方法利用语义编辑驱动的变化合成来减少对大规模注释数据集的依赖。合成数据生成作为一种有前景的替代方法，可以解决真实注释数据集的局限性[8]。最近的研究表明，合成数据可以有效补充有限的真实世界数据[9]，增强模型的泛化能力，并减轻标注工作量。基于生成对抗网络（GANs）[10]和扩散模型[11]的方法在根据语义标签合成真实图像方面显示出巨大潜力；然而，大多数现有方法仅关注单图像语义合成，并没有明确建模语义变化检测所需的双时间变化过程。现有的SCD合成数据方法面临两个主要挑战：合成场景的真实性和多样性不足，以及合成数据与真实数据之间的显著领域偏移。

为了解决这些挑战，我们提出了SECS-SCD方法，该方法通过马尔可夫过程整合实例级语义编辑，并使用潜在扩散模型进行空间对齐的条件图像合成。本文的主要贡献总结如下：1.

引入了一种基于马尔可夫的语义掩码编辑方法，用于参数化和模拟实例级别的真实语义变化，准确反映多样化的真实世界土地覆盖转换。这一过程有效地生成了复杂的语义变化场景，显著增强了合成数据集的多样性和真实性。

2.

提出了一种基于空间对齐的交叉注意力条件扩散模型的伪变化合成模块（PCS），以精确控制基于编辑后的语义掩码的合成图像的空间精度。通过将空间位置信息纳入交叉注意力机制，我们的方法确保了语义掩码和合成图像之间的空间一致性，解决了真实性和时间一致性挑战。

3.

为了减轻合成数据集和真实数据集之间的领域偏移，设计了一种基于多核最大均值差异（MK-MMD）的联合自适应训练方法。我们引入了一种混合核函数，以对齐合成数据集和真实数据集之间的潜在特征空间，有效纠正了多时间特征偏差，使模型能够在不同数据集之间泛化。

本文的其余部分结构如下：第二节简要回顾了语义变化检测和合成数据生成中的现有方法和关键技术。第三节详细介绍了所提出的SECS-SCD框架并描述了实现细节。第四节提供了大量的实验结果和讨论。最后，第五节总结了我们的研究结论和未来方向。

部分摘录

语义变化检测

语义变化检测（SCD）涉及检测多时间图像之间的像素级变化，并区分特定的“从...到...”变化类别。现有方法分为三类：分类后比较、直接分类和多任务方法。分类后方法[12]使用双分支网络从双时间图像中独立提取特征，并逐像素比较分类图。直接分类方法[13]将SCD视为

概述

在本文中，提出了SECS-SCD方法，用于在准确配准的多日期图像有限的情况下进行可靠的语义变化检测。如图1所示，基于马尔可夫的语义掩码编辑模块对土地覆盖转换进行建模，并生成相应的多时间语义掩码。然后，潜在扩散模型根据这些掩码合成相应的伪变化图像，通过空间对齐的交叉注意力模块整合空间信息，以确保位置

实验

我们提供了关于所使用数据集的详细信息，并介绍了训练过程中的实验参数设置。为了验证所提方法的有效性，首先使用OpenEarthMap数据集[32]进行语义掩码编辑和训练扩散模型以合成多时间语义变化检测数据。然后，使用合成数据和SECOND数据集[15]的一部分训练集进行联合训练。最后，进行实验

结论

为了解决变化检测任务中数据收集和注释的高成本问题，本文提出了通过语义编辑驱动的变化合成进行遥感语义变化检测的方法（SECS-SCD）。基于马尔可夫的语义编辑模块生成与观察到的类别共现统计一致的实例级语义转换，为合成数据集增添了合理的土地覆盖动态。掩码条件下的潜在扩散模型合成了视觉上真实的

CRediT作者贡献声明

徐正义：写作 – 审稿与编辑，撰写原始草稿，可视化，验证，软件，方法论，调查，形式分析，概念化。吴浩然：验证，软件，数据管理。姜文：写作 – 审稿与编辑，监督，项目管理，资金获取。耿杰：写作 – 审稿与编辑，监督。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了中国国家自然科学基金（项目编号62271396）的支持。