基于相似性启发式融合与可逆变换学习网络的多模态跨城市语义分割

多模态跨城市语义分割方法SFITNet通过可逆变换学习策略ITLS实现异构传感器特征对齐，并设计跨域相似性信息交互模块CDSiM有效利用多源互补信息，解决传统融合方法忽视域差异的问题，在C2Seg-AB和Su-Wu数据集上验证了方法有效性。

　　

摘要：

多模态跨城市语义分割的目标是将在一个城市中、基于多个标记源域（MSDs）训练好的网络应用于另一个城市的多个未标记目标域（MTDs），其中这些不同的域指的是不同的传感器模态。然而，来自不同传感器的遥感数据会增加融合域空间中的域偏移程度，使得特征对齐变得更加困难。同时，传统的融合方法仅考虑MSDs（或MTDs）内部的互补性，这浪费了跨域的相关信息，并且忽略了对于域偏移的控制。为了解决上述问题，我们提出了一种基于相似性的融合与可逆变换学习网络（SFITNet）用于多模态跨城市语义分割。为了减轻多模态融合域中对齐难度增加的问题，我们提出了一种可逆变换学习策略（ITLS），该策略采用拓扑视角来进行无监督的域适应。该策略旨在基于可逆神经网络（INNs）在特征融合后，模拟MSD与MTD之间的潜在分布变换函数，从而在两个特征空间内独立地进行分布对齐。此外，我们还设计了一个跨域相似性启发式信息交互模块（CDSiM），该模块在融合阶段考虑了MSD与MTD之间的对应关系，有效利用了多模态互补信息，并促进了融合域偏移的后续对齐。语义分割测试在公共的C2Seg-AB数据集和一个新的多模态跨城市Su-Wu数据集上进行。与一些最先进的技术相比，实验结果证明了所提出的SFITNet的优越性。

引言

遥感图像语义分割是遥感图像智能解释领域的一个研究热点，为城市规划、土地测量、环境监测、军事侦察等领域提供了重要的信息支持。语义分割是指为遥感图像中的每个像素分配一个土地覆盖类别。与传统需要人工干预的算法相比，基于深度学习的方法具有更高的自动化水平，在遥感语义分割方面取得了显著成就。然而，当前在单一城市环境中的语义分割方法需要大量的标记数据进行监督训练[1]、[2]。同时，训练数据和测试数据需要满足独立同分布的假设，这限制了处理具有时空变换的跨城市语义分割任务的能力。最近，多模态与人工智能模型的联合发展以及其域适应性已被证明可以提高跨城市任务的处理能力[3]。在这种情况下，有效利用来自不同平台或传感器的多模态数据之间的互补信息，并设计出鲁棒的算法来增强模型的泛化能力，是跨城市语义分割发展的关键趋势。