在城市村庄中统一语义分割和变化检测：ZY-UV基准测试与MutualTemp框架

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Unifying semantic segmentation and change detection in urban villages: The ZY-UV benchmark and MutualTemp framework

提出ZY-UV多时相基准数据集和MutualTemp框架，解决城市村落检测与动态分析的跨任务优化问题，提升复杂城市环境下的监测效果。

　　

张旭婷|黄欣

武汉大学遥感与信息工程学院，中国武汉，430079

摘要

城市村庄（UV）检测旨在识别嵌入在城市结构中的非正式定居点，这些定居点具有独特的村庄形态，对于精准的城市更新和可持续的城市管理至关重要。现有的数据集和检测方法在UV的语义分割方面取得了进展，但它们主要强调单时间尺度的映射，忽视了跨时间变化的分析，导致UV的动态演变没有得到充分探索。为了填补这一空白，我们引入了ZY-UV，这是首个专门用于UV联合语义分割和变化检测的大规模、高分辨率多时间尺度基准数据集。ZY-UV基于2.1米ZiYuan-3卫星图像构建，覆盖了中国六个地理环境多样的城市，并提供了精心标注的多城市UV边界和成对的双时间序列图像。这种设计能够在异构的城市环境和不同的成像条件下系统地评估空间语义和时间动态。在此基础上，我们提出了MutualTemp，一个多任务学习框架，通过共享的孪生编码器和相互调节的温度参数来协调语义分割和变化检测。通过动态调整任务特定的特征分布和平衡梯度流，MutualTemp有效地减轻了任务之间的干扰，适应了相对的任务难度，并提高了跨领域的泛化能力。ZY-UV和MutualTemp共同构成了一个全面的平台，用于推进城市村庄监测，不仅为评估多任务和领域适应策略提供了具有挑战性的基准，也为未来在大规模城市动态、跨城市知识转移和快速变化的城市环境中的稳健地理空间智能研究奠定了实用基础。

引言

城市村庄（UV）检测（Crivellari等人，2023年；Xiao等人，2023年；Zhang等人，2024年）是指识别在城市结构中表现出独特村庄形态特征的非正式定居点，这些定居点以有机的空间布局、密集的低层建筑和复杂的行人网络为特点。这一过程对于在精准城市更新和维护项目中实现数据驱动的决策至关重要（L. Chen等人，2021年；Wei等人，2023年），尤其是在像中国这样的发展中国家。

随着中国从以增长为导向的扩张转向城市维护模式，大规模的UV转型（Tu和Zhang，2023年；Ma，2025年）已成为可持续再生策略的基石。这一政策演变应对了紧迫的社会空间挑战：低标准的住房条件、不足的公共服务提供以及这些定居点固有的社区碎片化问题。

因此，有效实施精准再生计划需要能够捕捉城市形态统计特征和动态变化的稳健地理空间监测方法。如图1所示，这些方法对于基于证据的定居点演变评估至关重要，以支持数据驱动的UV治理。

最近，中国发布了几种标准化的UV数据集及其相应的检测方法，这些方法支持场景分类（Huang等人，2015年；Liu等人，2017年）或语义分割（Crivellari等人，2023年；Xiao等人，2023年；Li等人，2025年）。然而，这些资源主要关注单时间尺度的UV检测，忽略了同一地理区域内跨时间的变化分析。

为了填补这一空白，本文介绍了ZY-UV，这是一个专为联合学习空间语义理解和时间变化监测而设计的多时间尺度基准数据集。ZY-UV使用高分辨率（2.1米地面采样距离）的ZiYuan-3卫星图像构建，涵盖了六个地理环境多样的中国城市，并提供了成对的双时间序列图像。基于ZY-UV，我们使用代表性的基线方法进行了一系列实验，包括语义分割和变化检测。结果表明，不同城市之间存在显著的领域差异，这些差异由建筑密度、建筑风格和成像条件的变化以及其他固有挑战（如小对象识别和时间外观不一致性）引起。这些发现表明，ZY-UV不仅是推进联合语义和变化理解的具有挑战性的基准，也是研究跨城市泛化、领域适应和多任务学习（MTL）在真实城市场景中的宝贵资源。

另一方面，现有的语义变化检测（SCD）方法，如ChangeStar（Zheng等人，2021年）、STANet（Chen和Shi，2020年）、A2Net（Li等人，2023年）、SCNet（Jiang等人，2025年）和SNUNet（Fang等人，2021年），主要依赖于孪生编码器或基于注意力的（Vaswani等人，2017年）融合技术。此外，还系统地研究了SCD模型的各种训练策略（Daudt等人，2019年），包括结合语义分割（SS）和变化检测（CD）分支的分离和顺序学习方案。需要澄清的是，与传统的多类语义SCD不同，本工作的任务专注于UV-SCD，即城市村庄的二元语义变化检测。具体来说，我们的数据集为每个时间戳提供了语义标签（城市村庄与背景），并通过它们的时间不一致性生成二元变化掩码。它检测特定语义类别（城市村庄）的出现或消失。为了进一步协调SS和CD的联合优化，我们提出了MutualTemp，这是一个通过相互约束的温度参数动态调节梯度贡献的多任务学习框架。MutualTemp引入了一个任务难度感知的优化机制，根据每个任务的相对难度自动调整来自共享DINOv2编码器的表示贡献。具体来说，该框架使用共享的孪生编码器从双时间图像中提取特征，然后使用两个任务特定的解码器进行语义分割和变化检测。在编码器的最后一层和每个解码器之间插入了一个可学习的温度参数。这两个温度相互约束，使它们的乘积固定为1，确保增加一个任务的温度会相应减少另一个任务的温度。这种机制不仅促进了两个任务在其各自解码器中的独立优化，还使模型能够从任务特定的解码器自适应地分配表示权重回共享编码器。因此，我们的MutualTemp能够在不增加额外模型参数的情况下有效提高SS和CD的整体性能。

利用ZY-UV数据集和提出的MutualTemp框架，我们将我们的方法与几种最先进的语义变化检测方法进行了比较。实验结果表明，我们的方法在具有挑战性和多样性的城市环境中实现了更好的MTL性能，验证了其在UV检测和变化检测方面的有效性和鲁棒性。

基于这些动机和挑战，本研究做出了以下关键贡献：

• ZY-UV基准：我们构建了第一个同时支持语义分割和变化检测的多时间尺度UV数据集，为评估联合空间-时间分析和领域适应方法提供了具有挑战性和地理多样性的资源。
• MutualTemp框架：我们提出了一种温度调节的多任务优化策略，能够自适应地平衡任务难度，减少干扰并提高整体性能。
• 城市动态综合平台：ZY-UV和MutualTemp共同建立了一个统一的平台，实现了UV定居点的大规模监测，促进了跨城市泛化研究，并支持未来在城市场景中研究稳健的MTL。

通过整合精心策划的数据集和原则性的多任务优化策略，我们的工作为理解和管理快速变化城市中城市村庄的动态演变提供了新的研究基础和实用工具。数据集和代码将在https://github.com/zxt9/ZY-UV上提供。

部分摘录

城市村庄检测

最近，越来越多的研究发布了各种UV数据集并引入了先进的方法。

最初的研究工作主要通过卫星图像分类来识别UV（Huang等人，2015年；Liu等人，2017年），重点是在特定地理区域内检测其存在。然而，这些方法往往受到分类重点的制约，而忽略了精确的边界划分，从而限制了它们的

数据集概述

ZY-UV是首个专为UV的联合空间-时间分析设计的基准数据集，解决了两个核心任务：

• 1.
  单时间语义分割（SS）：
• 2.
  跨时间变化检测（CD）：

值得注意的是，尽管SCD通常在多类土地利用/土地覆盖（LULC）转换的背景下进行研究，但在本工作中，我们考虑了一个特定于任务的

概述

我们进一步提出了MutualTemp，一个用于联合SS和CD的多任务学习框架，如图5所示。它引入了一个相互温度机制，通过这两个温度动态调整任务特定特征及其梯度。与固定或启发式损失加权的传统方法不同，MutualTemp在稳定两个任务特定解码器的解耦训练的同时调节中间特征。这允许每个解码器优化

数据集

所有使用的数据集的图像和注释，包括HiUCD（Tian等人，2022年）、SECOND（Yang等人，2021年）、HRSCD（Daudt等人，2019年）和提出的ZY-UV，都被裁剪成512 × 512大小的块。对于原始空间范围小于512像素的块，图像应用了零填充，而相应的注释区域则使用忽略的类别索引进行填充。四个数据集的训练、验证和测试划分如下所述，

结论

本研究提出了ZY-UV，这是首个用于城市村庄联合语义分割和变化检测的大规模、高分辨率多时间尺度基准数据集，以及MutualTemp，一个新颖的多任务学习框架。ZY-UV提供了六个中国城市的精心标注的双时间序列卫星图像，能够系统地评估复杂城市环境中的空间语义和时间变化。在ZY-UV和三个公共SCD基准数据集上进行了广泛的实验，

CRediT作者贡献声明

张旭婷：撰写——审稿与编辑，撰写——初稿，可视化，验证，软件，资源，项目管理，方法论，调查，正式分析，数据整理，概念化。黄欣：撰写——审稿与编辑，验证，监督，资源，项目管理，方法论，调查，资金获取，正式分析，数据整理，概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

这项工作部分得到了中国国家重点研发计划（项目编号：2024YFF1306102）的支持，以及中国国家自然科学基金（项目编号：42271328）的支持。