高光谱图像(HSI)是一种高维遥感技术。与其他形式的图像相比,HSI提供了丰富的光谱特征(Wang等人,2023年)。它的应用范围非常广泛(Shimoni等人,2019年;Hao等人,2018年;Feng等人,2024a年)。HSI分类是HSI处理中的关键技术,已经受到了广泛关注(Ghamisi等人,2018年;Xu等人,2024年;Ahmad等人,2024年)。
近年来,作为数据处理技术的深度学习(Zhao等人,2023b年;Xiao等人,2025a年)在遥感领域也受到了广泛关注(Song等人,2025年;Li等人,2025a年)。与传统方法不同,深度学习方法消除了对复杂手动特征设计的需求,从而提高了模型的自动化和智能能力(Wambugu等人,2021年)。研究人员提出了各种模型结构来改进从HSI中提取特征,从而提高分类性能(Sun等人,2022年;Li等人,2025b年;Abidi和Sellami,2024年)。此外,研究还探索了超出架构修改的训练方法改进,以提高模型分类性能。Li等人(2023a年)在变压器预训练中引入了掩码重建,结合了监督学习和对比学习来进行网络微调,以实现更优的分类结果。Huang等人(2023a年)考虑了空间-光谱特征中的线性和非线性关系,整合了流形学习来提高模型性能。Zhao等人(2023a年)开发了一个结合多注意力变压器和超像素分割的主动学习框架,显著提高了样本标记的效率。
虽然上述方法提高了分类性能,但它们主要适用于训练样本和测试场景具有相同分布的情况(Wambugu等人,2021年;Xiao等人,2025b年)。具体来说,这些研究假设训练和测试数据收集的条件是一致的。然而,在实际应用中,由于成像设备、照明等因素的变化,训练和测试数据可能表现出不一致的样本分布。因此,HSI跨场景分类已成为一个重要的实际任务(Peng等人,2019年;Qin等人,2024年;Feng等人,2024b年)。一些方法可以在目标域中仅使用少量样本进行适应(Luo等人,2025年;Zhang等人,2024年)。它们通常专注于目标域中标签的对齐和选择与利用。在各种方法中,无监督域适应因其能够在不需要目标域标签的情况下实现鲁棒的分类性能而受到了广泛关注(Liu等人,2021b年;Fang等人,2022年;Li等人,2023b年;Zhang等人,2023年)。Zhang等人(2021年)提出了判别性协同对齐,以协同减少几何和统计偏差,并施加重建约束以提高子空间投影的鲁棒性。Li等人(2023c)将置信学习与对比学习相结合,提出域相似性损失来提高域适应性能。Ning等人(2024年)将原型纳入对比学习框架,作为语义相似样本的代表性嵌入,并提出了DIC-proCA。Feng等人(2024c)开发了CCGDA,该方法基于置信度和伪标签分布的统计计算对目标域样本进行采样和重采样,以减轻类别不平衡对模型的影响。在无监督域适应中,伪标签是指基于在源域上训练的模型为未标记的目标样本分配的类别预测。这些伪标签通常用作替代监督,以指导在缺乏真实注释的情况下的目标域微调。Cai等人(2024年)提出了一个多级框架(MLUDA),包括图像、特征和逻辑层之间的域对齐,并实现了显著的分类性能。
尽管当前的无监督域适应方法已经展示了相当大的效果,但它们的单一网络结构往往难以完全处理复杂HSI中存在的多方面特征。在实际场景中,域偏移可能由多种因素引起,包括时间、空间、传感器相关和环境变化。假设不同形式的信息对这些多样化因素引起的域偏移同样敏感是过于简化的。分别处理不同类型的信息可以更细致地关注当前任务中由复杂因素引起的各自域偏移。此外,大多数现有方法依赖于目标域的伪标签进行微调,通常采用选择高置信度样本或根据置信度级别分配权重的策略。Seydgar等人(2022年)使用高斯分布来表示标签集的不确定性,选择特征值与分布密切匹配的未标记样本来生成伪标签。Wei等人(2024年)使用阈值进行目标类别选择,并通过类别级和实例级标签蒸馏来过滤源域偏差。在跨场景高光谱图像(HSI)域适应中,伪标签被广泛用于为未标记的目标样本提供替代监督。然而,在严重的域偏移下——特别是类别条件偏移下——预测置信度往往是伪标签正确性的不可靠指标。因此,现有方法通常会丢弃置信度较低的样本,即使它们可能仍然包含有信息量的线索。因此,根本挑战不在于选择更置信的样本,而在于如何安全地利用模糊样本而不放大错误的类别假设。不幸的是,当前的HSI伪标签策略缺乏明确的机制来解决这一风险。与旨在估计伪标签置信度或正确性概率的概率或集成式伪标签方法不同,我们的重点不是提高伪标签的准确性,而是防止在优化过程中强化不可靠的类别假设。
为了解决这个问题,我们提出了一个结合虚拟类监督的专家混合框架(VCMoE),用于HSI分类中的无监督域适应。该框架整合了空间和光谱专家来捕获特定模态的类别信息,同时还有一个通过空间-光谱掩码重建任务进行正则化的重建专家,以稳定跨模态交互建模。该框架不依赖置信度阈值,而是利用专家之间的共识和分歧来表征类别间的不确定性。对于专家预测冲突的样本,引入了一种虚拟类策略,在优化过程中抑制不可靠的类别假设,从而实现风险意识的伪标签监督。然后使用这些伪标签通过线性路由器来微调模型,该路由器自适应地为目标域推断加权专家预测。需要说明的是,专家混合(MoE)是一种成熟的神经架构,其中门控函数将每个输入路由到一小部分专门的专家网络(子模型),从而实现条件计算和专业化(Jacobs等人,1991年;Shazeer等人,2017年)。在本文中,我们遵循标准的MoE术语(Cai等人,2025年):“专家”指的是专门的神经网络分支(而非人类专家),而我们的“专家会议”表示基于共识的融合过程,该过程聚合了多个专家的输出。
我们工作的主要贡献可以总结如下:
(1) 基于高光谱图像(HSI)独特的空间和光谱特征,我们设计了专门的专家网络来独立捕获空间和光谱信息。此外,引入了一个重建专家来模拟空间-光谱交互,并增强高级语义表示的学习。在这个多专家框架的基础上,我们利用专家之间的分歧作为监督信号,实现风险意识的伪标签学习,用于跨场景高光谱图像分类。
(2) 为了在域偏移下安全利用伪标签,我们设计了一种专家会议机制,利用多个专家之间的共识和分歧来表征类别间的不确定性。目标样本被分类为一致、讨论中和冲突的情况,并相应地应用不同的监督策略,以避免在微调过程中强化不可靠的类别假设。
(3) 对于专家预测冲突的样本,我们提出了一种虚拟类监督策略,通过选择性地抑制高风险类别的梯度来重塑优化目标。这使得模糊样本能够提供有信息量的负面证据,而不会导致错误的正向伪标签,从而提高跨场景高光谱图像分类的鲁棒性。
本文的后续部分组织如下:第2节概述了我们提出的方法。第3节提供了详细的实验评估和批判性分析。最后,第4节阐述了从我们的工作中得出的结论。