动态四重态转换学习在双模遥感分类中的应用

《Information Fusion》：Dynamic Quadruplet Transition Learning for Dual-modal Remote Sensing Classification

双模态遥感分类中，传统方法存在模态信息失真、冗余度高的问题。本文提出动态四元组迁移学习方法，通过跨模态表达生成辅助模态，构建四元组桥梁实现模态转换，设计动态损失函数平衡模态差异，并引入四元组筛选指标优化训练。实验表明该方法在多区域数据集上显著优于现有算法。

　　

朱浩|易晓宇|焦立成|李晓彤|马文平|侯彪|王双

西安电子科技大学人工智能学院，教育部智能感知与图像理解重点实验室，中国西安 710126

摘要

双模态遥感分类通过利用内部一致性有效结合了不同模态的图像。双模态遥感图像的表示可能有所不同，但它们具有一个共同的基本特征。需要深度学习网络来保留相关信息的同时去除冗余信息。一方面，有必要探索不同模态之间的内在共性，减少模态之间的差异，并弥合特征之间的高层语义差距，从而创造融合条件。另一方面，在特征融合过程中，必须强调每种模态的互补优势，突出它们的独特特征并去除共享的冗余特征。本文提出了一种用于双模态图像分类的动态四元组转换学习方法。与之前的方法相比，我们减少了网络的人为设计，遵循原始数据的驱动方式，并取得了良好的性能。具体来说，我们通过模态转换学习获取辅助模态，这些辅助模态构成了四元组。辅助模态包含了原始模态的独特特征，使它们成为原始模态之间的桥梁。我们通过特征提取网络捕捉四元组中特征分布的差异，以平衡和缩小不同模态之间的语义差距。辅助模态能够更准确地捕捉不同模态的独特特征，实现更层次化的特征融合，而不是简单的直接融合。最后，我们在训练过程中引入了四元组评估指标来筛选出更好的四元组。在多个数据集上的结果验证了所提算法的有效性和稳定性。我们的代码和模型可在以下链接获取：https://github.com/Xidian-AIGroup190726/RS-classification-DQTL。

引言

近年来，随着遥感技术的快速发展[1]，高空间分辨率图像[2]和多光谱图像[3]可以轻松获得[4]。基于高分一号、高分二号、高分四号、Landsat 8 OLI、MODIS、Landsat 7 ETM+、QuickBird、IKONOS等遥感卫星[5]，我们可以同时获取同一场景的两张图像[6]。这两张图像包括一张具有丰富光谱信息但空间分辨率较低的多光谱图像（MS）和一张空间分辨率较高但光谱信息较少的优质全色图像（PAN）[7]。这两张图像描绘了同一场景，但存在特定的视觉差异。由于当前的技术限制[8]，获取同时具有多光谱和高空间分辨率的遥感图像仍然成本高昂[9]。因此，提高单张图像中信息的完整性变得至关重要。通过利用空间和光谱数据之间的内在一致性，我们可以将保存良好的空间细节与可靠的光谱信息结合起来，形成融合特征，从而实现精确的分类任务[10]。

与纯多光谱图像分类相比，双模态图像融合分类旨在从两种模态中提取独立特征（图1），并有效利用各自的优点来提高分类性能。许多研究已经广泛探讨了双模态图像融合分类的有效性，但仍有很多挑战需要克服。

首先，保留原始模态信息至关重要。在图像级融合方法[11]、[12]、[13]、[14]、[15]、[16]中，原始图像通常在与其他模态融合之前会经过标准化的“分解-传输-重组”过程。然而，分解后的信息可能会偏离原始信息，导致颜色失真和光谱失真等问题，这些问题最终会损害融合后分类任务的性能。

其次，从两种模态中提取独立特征也需要两者之间共享信息的基础。许多研究[17]、[18]、[19]将这种共享信息作为融合过程的基础。共享信息是跨模态特征交互的关键“沟通桥梁”；没有它，模态融合可能会破坏原始模态信息的完整性。因此，我们的工作旨在识别这种共享信息，以缩小模态差距并提高模态融合的可靠性。

最后，在融合方法中保持各个模态的独立性仍然很重要。在许多基于深度学习的方法[20]、[21]中，通常通过某些编码器-解码器（例如Transformer[22]、Mamba[23]）的帮助将不同特征合并，这种方法将特征汇聚到一个分支中，通常可以获得良好的性能。然而，这些方法不会保留模态信息的完整性，增加了独特信息被干扰的风险。这不仅容易导致不可逆的信息丢失，降低了模态信息的独立性，而且从根本上削弱了模态融合的核心意义。

可以看出，双模态图像融合分类的关键挑战在于在融合过程中同时解决三个方面：提供稳定的模态通信通道、保持模态信息的独立性以及保留原始图像细节。最终融合的特征应有效反映多模态特征，而不会引起特征混淆或冗余。这需要仔细考虑模态之间的相关性和独立性，并采用有针对性的融合策略，以实现更优秀的图像分类性能。

基于对上述研究的分析，我们提出了动态四元组转换学习。本文的贡献如下：

1)

我们提出了一种动态四元组转换学习范式，利用不同模态图像的内部一致性进行模态转换。在第一阶段，我们通过跨模态表达获得包含模态图像特征的辅助模态。与使用噪声作为输入相比，这种方法降低了模态生成的难度，提高了模态生成的质量。在第二阶段，借助这些辅助模态，我们构建了作为模态之间通信桥梁的四元组。通过分析四元组中主模态和辅助模态之间的特征分布，我们可以更准确地保留不同模态的独特信息，并更好地整合它们的特征。

2)

为了更好地关注四元组中主模态和辅助模态之间的关系，我们设计了一种动态学习方法，使用混合损失函数来衡量四元组中不同模态特征之间的差异。为了防止由于直接融合导致独特模态信息的丢失，我们使用辅助模态逐步调整模态之间的分布差异，保留它们的独特特征。通过这种动态学习方法，我们增强了各个模态的属性和特征，同时平滑地减少了模态之间的差异，从而提高了模型的识别和分类能力。

3)

我们引入了一个评估指标，并设置了紧凑性和独立性评估指标来在训练过程中选择优秀的四元组。这些指标有助于训练并促进稳定四元组的提取。我们通过实验验证了所提方法的有效性，多个数据集上的结果证明了该算法的卓越性能。

本文的其余部分安排如下。第2节介绍了遥感多源分类的相关工作。第3节详细介绍了所提出的方法。第4节描述了数据集并讨论了实验结果。第5节总结了本文。

章节片段

相关工作

根据融合模式的不同，大多数双模态遥感图像分类的相关研究可以分为图像级、特征级和混合级形式。

提出的方法

针对上述挑战和动机，我们提出了一种新颖的跨模态遥感融合范式。图2展示了我们方法的整体算法流程图。为了端到端训练我们的方案，我们采用了两阶段的学习方案。

在第3.1节中，我们介绍了辅助模态的生成。在第3.2节中，我们介绍了模态转换学习。最终，我们设置了质量指标

实验结果

本节评估了不同地区的遥感数据集，并将我们的方法与几种最先进的算法进行了比较。实验结果和分析如下所示。

结论

本文提出了一种动态四元组转换学习方法，以提高双模态遥感图像的分类性能。通过利用MS和PAN图像之间的内在一致性，该方法通过辅助模态生成构建了跨模态通信桥梁，并使用动态损失函数提高了分类性能。在多个数据集上的实验表明，该方法的有效性优于

CRediT作者贡献声明

朱浩：写作 – 审稿与编辑、监督、项目管理、方法论。易晓宇：写作 – 原始草稿、可视化、软件、方法论。焦立成：形式分析、概念化。李晓彤：验证、调查。马文平：监督、资源。侯彪：形式分析、概念化。王双：资金获取、数据管理。

利益冲突声明

我们声明与任何可能不当影响我们工作的个人或组织没有财务或个人关系。我们对任何产品、服务和/或公司没有专业或其他形式的个人利益，这些利益可能会影响题为“双模态遥感分类的动态四元组转换学习”的手稿的立场或评审。