OmniShift Spatial MixFormer：一种通用网络模型，用于高光谱图像的跨场景分类

《Knowledge-Based Systems》：OmniShift Spatial MixFormer Generalization Network for Cross-Scene Classification of Hyperspectral Image

高光谱图像分类中提出OS2MGnet模型，通过物理模型生成器模拟光照、大气等六类域偏移，结合互信息一致性监督器和多尺度空间判别器提取不变特征，有效提升跨场景泛化能力。

　　

韩星宇|姜峰|文世平|田海天

中南财经政法大学统计与数学学院，武汉，430073，中国

摘要

领域泛化（Domain Generalization，DG）在跨场景高光谱图像分类（Cross-Scene Hyperspectral Image Classification，HSIC）中起着至关重要的作用，因为它使模型能够在训练期间仅使用源领域（Source Domain，SD）的数据进行泛化。然而，现有的DG方法在生成有效的伪图像和在复杂场景中保持泛化能力方面仍存在局限性。为了解决这些挑战，我们提出了一种新的对抗学习框架，称为OmniShift Spatial MixFormer泛化网络（OS2MGnet），用于跨场景HSIC。首先，设计了一个生成器来模拟六种真实的领域变化场景——光照、大气效应、传感器特性、物候、噪声和视角——从而增强对多样化未见场景的泛化能力。据我们所知，这是第一个基于物理遥感原理共同建模一系列领域变化的方法。此外，使用互信息一致性监督器（Mutual Information Consistency Supervisor）来确保生成的伪图像保留了SD的语义标签和领域不变特征。最后，OS2MGnet的判别器利用通道级交互学习提取联合的空间-光谱特征，有效地将判别性特征与场景特定特征分离，从而在复杂场景中实现强大的性能。实验结果表明，OS2MGnet在复杂场景中实现了出色的泛化能力，甚至在准确性上超越了某些领域适应模型。

引言

遥感图像的广泛覆盖能力支持资源探索、军事监视和农业规划等关键应用[1]、[2]、[3]、[4]。利用丰富的光谱信息[5]、[6]，高光谱图像（HSI）极大地推动了像素级分类技术的发展[7]、[8]。高光谱图像分类（HSIC）的主要目标是准确识别和分类各种地理特征，这对科学管理和决策至关重要[9]。

基于卷积神经网络（CNNs）[10]、[11]和Transformer[12]、[13]的单场景模型已经出现，并在特定条件下表现出优异的性能[14]、[15]。然而，这些模型通常需要大量的标记数据进行训练[14]、[15]，并且严重依赖于训练数据（源领域）和测试数据（目标领域）遵循相同的统计分布这一假设[16]。实际上，源领域（SD）代表用于训练模型的标记数据，而目标领域（TD）对应于模型必须泛化的真实世界未标记数据。不幸的是，收集和标记足够的高质量训练数据成本高昂[17]、[18]。此外，传感器差异、光照条件和地理差异等因素可能导致SD和TD数据之间的分布差异显著[19]、[20]。如图1所示，Pavia大学（PaviaU）和Pavia中心（PaviaC）数据集的伪彩色表示，不同场景的视觉和统计特征可能有显著差异。在实际应用中，模型通常使用仅来自图1(a)中所示场景的数据进行训练，但它们预计将在图1(b)中所示的完全未见过的场景中部署和运行。SD和TD之间的这种差异构成了一个重大挑战。尽管单场景方法在SD内表现出强大的性能，但当泛化到新的和不熟悉的场景时，它们的效果通常会显著降低。

目前，跨场景HSIC模型作为一种有效的解决方案应运而生。这些模型旨在克服单场景方法的局限性，从而在以前未见过的环境中实现强大而准确的分类。领域适应（Domain Adaptation，DA）[15]、[21]和领域泛化（Domain Generalization，DG）[22]、[23]代表了跨场景HSIC模型的两个主要分支。这两种方法都促进了从标记的源场景到未标记的目标场景的知识转移，显著增强了模型处理以前未见过的环境的能力。然而，DA和DG在目标、数据可用性和实际应用性方面存在显著差异。

首先，在训练目标方面，DA旨在学习SD和TD之间的领域不变特征，使用这些特征在新场景中实现HSIC。例如，BiDA[24]采用了先进的技术，如耦合多头交叉注意力和双向蒸馏损失，以实现特征交互和跨领域相关性挖掘，并允许在噪声条件下稳健地提取不变特征。DG的目标是增强模型在多样化场景中的泛化能力，确保即使在未见过的环境中也能保持强大的性能[25]、[26]。例如，使用在多云、下雨和下雪的日子收集的图像训练模型，使模型能够在未见过的雾天条件下实现HSIC。

其次，在数据可用性方面，DA方法在训练期间需要一些标记的或未标记的TD数据。相比之下，DG方法仅使用SD数据进行训练，在训练期间完全不需要TD数据[16]、[26]。在实际应用中，我们无法预先确定模型将部署的场景，也无法在训练阶段访问目标数据[19]。因此，DA的应用范围有限。基于DG的方法具有更广泛的应用前景和实际价值[26]。

自从2023年DG方法首次引入跨场景HSIC以来，已经取得了显著的进展。然而，仍有一些关键挑战尚未解决。首先，许多跨场景HSIC模型生成的伪图像在风格多样性方面表现有限。此外，缺乏证据证实这些生成器正确模拟了真实的领域变化。其次，大多数现有模型缺乏有效的约束策略，以确保生成的伪图像保留与SD相同的语义类别信息。伪图像和SD图像之间的语义不一致可能会损害判别器提取领域不变特征的能力，最终降低性能。第三，现有模型在提取HSI数据的复杂特征方面能力有限，无法有效地区分判别特征和场景特定干扰。这一根本限制限制了跨场景的泛化能力，并在复杂场景中降低了鲁棒性，导致在具有挑战性的条件下的性能不佳。

为了解决这些限制，我们提出了一个用于跨场景HSIC的OmniShift Spatial MixFormer泛化网络（OS2MGnet）。该模型包括三个核心组件：一个OmniShift HyperSpectra合成器生成器（OSHS2G）、一个互信息一致性监督器（MICS）和一个多尺度空间混合器判别器（MSMD）。OSHS2G利用遥感物理模型来模拟多样的变化场景。它具有全方向的变化模拟能力，实现了六维领域变化的联合建模，从而本质上确保了生成伪图像的质量。MICS通过互信息学习调整伪图像，确保它们保留关键的判别信息，同时保持与SD的语义一致性。此外，MSMD旨在完全学习光谱和空间信息。通过交互式学习机制，它有效地提取领域不变特征，并成功地区分判别特征和场景特定干扰。因此，整个模型展示了出色的跨场景泛化能力，并对复杂场景表现出强大的适应性。

本研究的主要贡献如下：

•

OSHS2G被提出用于合成符合多样化领域变化场景的伪图像。据我们所知，这是第一个能够通过遥感物理模型模拟多种领域变化现象的方法。

•

MICS用于保持生成的伪图像和SD数据之间的语义一致性。这种机制保证了伪图像保留了关键的领域不变特征。

•

MSMD旨在实现多尺度光谱-空间特征提取，同时区分与场景相关的判别特征。

•

OS2MGnet在挑战性场景中展示了出色的跨场景泛化能力和一致的性能优势，明显优于某些DA方法。

本文的其余部分组织如下。第2节描述了相关工作。第3节详细介绍了提出的OS2MGnet。第4节展示了全面的实验结果。最后，第5节总结了本文。

部分摘录

生成对抗网络

生成对抗网络（GANs）在跨场景HSIC中展示了显著的实用性[27]，使其成为DA和DG中的关键技术。首先，GANs可以通过对抗过程对齐SD和TD的特征分布。这一过程还提取了领域不变特征，为细粒度的类别级对齐提供了更统一的特征空间[8]。GANs还促进了从SD和扩展领域收集同一类别样本的过程，使得

提出的方法

本文介绍的OS2MGnet包括三个主要组件：OSHS2G、MSMD和MICS。OS2MGnet的框架如图2所示。该模型的根本创新在于其能够模拟多样的领域变化，从而在复杂的真实世界条件下实现强大的泛化。首先，从SD数据中提取指定大小的图像块并输入OSHS2G。OSHS2G可以模拟不同场景之间的领域变化，实现六种类型领域的联合建模

数据集描述

本研究使用了三个跨场景HSIC数据集进行模型评估。Houston数据集使用Houston2013（空间维度349×1905像素）作为SD，Houston2018（空间维度209×955像素）作为TD。这些数据集由不同的传感器在不同年份获取，分别包含144个和48个光谱带。实验在其48个重叠的光谱区域上进行，包含7个土地覆盖类别。Pavia数据集采用PaviaU（空间维度610×340

结论

在本文中，我们介绍了用于跨场景高光谱图像（HSI）分类的OmniShift Spatial MixFormer泛化网络（OS2MGnet）。核心思想是物理引导的六种真实领域变化的模拟——光照、大气、传感器、物候、噪声和视角——使模型能够直接从源领域数据中学习泛化表示。通过嵌入物理一致的生成机制，OS2MGnet解决了先前方法的局限性

CRediT作者贡献声明

韩星宇：方法论、软件、撰写-原始草稿。姜峰：概念化、方法论、撰写-审阅与编辑。文世平：撰写-审阅与编辑、监督。田海天：撰写-审阅与编辑、监督。

CRediT作者贡献声明

韩星宇：撰写 – 原始草稿、软件、方法论。姜峰：撰写 – 审阅与编辑、方法论、概念化。文世平：撰写 – 审阅与编辑、监督。田海天：撰写 – 审阅与编辑、监督。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

这项工作部分得到了中国教育部人文社会科学基金（项目编号22YJAZH038）的支持，部分得到了中国国家自然科学基金（项目编号61773401和12371486）的支持。