专家团队与虚拟课堂的结合,用于高光谱图像分类中的无监督领域自适应

《Engineering Applications of Artificial Intelligence》:Mixture of experts with virtual class for unsupervised domain adaptation in hyperspectral image classification

【字体: 时间:2026年02月18日 来源:Engineering Applications of Artificial Intelligence 8

编辑推荐:

  跨场景高光谱图像分类中提出混合专家框架VCMoE,通过空间、谱、重建三专家协同,利用专家共识与分歧机制分类样本,结合虚拟类监督抑制高风险类别的梯度放大,有效解决伪标签置信度阈值依赖问题。

  
作者:季向宇 | 高景鹏
哈尔滨工程大学信息与通信工程学院,中国哈尔滨 150001

摘要

基于伪标签的方法在无监督域适应跨场景高光谱图像(HSI)分类中受到了广泛关注。然而,现有方法通常在域偏移下统一处理空间和光谱信息,并且通常依赖置信度阈值来过滤伪标签,这可能会丢弃有信息量的样本或在严重偏移下放大错误。为了解决这些问题,我们提出了一个结合虚拟类监督的专家混合框架,用于HSI域适应。该框架包括一个空间专家和一个光谱专家,以捕获特定模态的类别线索,同时还有一个通过空间-光谱掩码重建任务进行正则化的重建专家,以增强跨模态交互建模。该框架不使用阈值,而是通过专家共识和分歧来对目标样本进行分类,并应用风险意识的伪标签监督,其中冲突的样本通过基于虚拟类的梯度抑制来贡献,而不是不可靠的正向强化。在三个跨场景基准测试上的实验表明,与最先进的方法相比,该框架具有持续的改进,验证了其有效性和鲁棒性。

引言

高光谱图像(HSI)是一种高维遥感技术。与其他形式的图像相比,HSI提供了丰富的光谱特征(Wang等人,2023年)。它的应用范围非常广泛(Shimoni等人,2019年;Hao等人,2018年;Feng等人,2024a年)。HSI分类是HSI处理中的关键技术,已经受到了广泛关注(Ghamisi等人,2018年;Xu等人,2024年;Ahmad等人,2024年)。
近年来,作为数据处理技术的深度学习(Zhao等人,2023b年;Xiao等人,2025a年)在遥感领域也受到了广泛关注(Song等人,2025年;Li等人,2025a年)。与传统方法不同,深度学习方法消除了对复杂手动特征设计的需求,从而提高了模型的自动化和智能能力(Wambugu等人,2021年)。研究人员提出了各种模型结构来改进从HSI中提取特征,从而提高分类性能(Sun等人,2022年;Li等人,2025b年;Abidi和Sellami,2024年)。此外,研究还探索了超出架构修改的训练方法改进,以提高模型分类性能。Li等人(2023a年)在变压器预训练中引入了掩码重建,结合了监督学习和对比学习来进行网络微调,以实现更优的分类结果。Huang等人(2023a年)考虑了空间-光谱特征中的线性和非线性关系,整合了流形学习来提高模型性能。Zhao等人(2023a年)开发了一个结合多注意力变压器和超像素分割的主动学习框架,显著提高了样本标记的效率。
虽然上述方法提高了分类性能,但它们主要适用于训练样本和测试场景具有相同分布的情况(Wambugu等人,2021年;Xiao等人,2025b年)。具体来说,这些研究假设训练和测试数据收集的条件是一致的。然而,在实际应用中,由于成像设备、照明等因素的变化,训练和测试数据可能表现出不一致的样本分布。因此,HSI跨场景分类已成为一个重要的实际任务(Peng等人,2019年;Qin等人,2024年;Feng等人,2024b年)。一些方法可以在目标域中仅使用少量样本进行适应(Luo等人,2025年;Zhang等人,2024年)。它们通常专注于目标域中标签的对齐和选择与利用。在各种方法中,无监督域适应因其能够在不需要目标域标签的情况下实现鲁棒的分类性能而受到了广泛关注(Liu等人,2021b年;Fang等人,2022年;Li等人,2023b年;Zhang等人,2023年)。Zhang等人(2021年)提出了判别性协同对齐,以协同减少几何和统计偏差,并施加重建约束以提高子空间投影的鲁棒性。Li等人(2023c)将置信学习与对比学习相结合,提出域相似性损失来提高域适应性能。Ning等人(2024年)将原型纳入对比学习框架,作为语义相似样本的代表性嵌入,并提出了DIC-proCA。Feng等人(2024c)开发了CCGDA,该方法基于置信度和伪标签分布的统计计算对目标域样本进行采样和重采样,以减轻类别不平衡对模型的影响。在无监督域适应中,伪标签是指基于在源域上训练的模型为未标记的目标样本分配的类别预测。这些伪标签通常用作替代监督,以指导在缺乏真实注释的情况下的目标域微调。Cai等人(2024年)提出了一个多级框架(MLUDA),包括图像、特征和逻辑层之间的域对齐,并实现了显著的分类性能。
尽管当前的无监督域适应方法已经展示了相当大的效果,但它们的单一网络结构往往难以完全处理复杂HSI中存在的多方面特征。在实际场景中,域偏移可能由多种因素引起,包括时间、空间、传感器相关和环境变化。假设不同形式的信息对这些多样化因素引起的域偏移同样敏感是过于简化的。分别处理不同类型的信息可以更细致地关注当前任务中由复杂因素引起的各自域偏移。此外,大多数现有方法依赖于目标域的伪标签进行微调,通常采用选择高置信度样本或根据置信度级别分配权重的策略。Seydgar等人(2022年)使用高斯分布来表示标签集的不确定性,选择特征值与分布密切匹配的未标记样本来生成伪标签。Wei等人(2024年)使用阈值进行目标类别选择,并通过类别级和实例级标签蒸馏来过滤源域偏差。在跨场景高光谱图像(HSI)域适应中,伪标签被广泛用于为未标记的目标样本提供替代监督。然而,在严重的域偏移下——特别是类别条件偏移下——预测置信度往往是伪标签正确性的不可靠指标。因此,现有方法通常会丢弃置信度较低的样本,即使它们可能仍然包含有信息量的线索。因此,根本挑战不在于选择更置信的样本,而在于如何安全地利用模糊样本而不放大错误的类别假设。不幸的是,当前的HSI伪标签策略缺乏明确的机制来解决这一风险。与旨在估计伪标签置信度或正确性概率的概率或集成式伪标签方法不同,我们的重点不是提高伪标签的准确性,而是防止在优化过程中强化不可靠的类别假设。
为了解决这个问题,我们提出了一个结合虚拟类监督的专家混合框架(VCMoE),用于HSI分类中的无监督域适应。该框架整合了空间和光谱专家来捕获特定模态的类别信息,同时还有一个通过空间-光谱掩码重建任务进行正则化的重建专家,以稳定跨模态交互建模。该框架不依赖置信度阈值,而是利用专家之间的共识和分歧来表征类别间的不确定性。对于专家预测冲突的样本,引入了一种虚拟类策略,在优化过程中抑制不可靠的类别假设,从而实现风险意识的伪标签监督。然后使用这些伪标签通过线性路由器来微调模型,该路由器自适应地为目标域推断加权专家预测。需要说明的是,专家混合(MoE)是一种成熟的神经架构,其中门控函数将每个输入路由到一小部分专门的专家网络(子模型),从而实现条件计算和专业化(Jacobs等人,1991年;Shazeer等人,2017年)。在本文中,我们遵循标准的MoE术语(Cai等人,2025年):“专家”指的是专门的神经网络分支(而非人类专家),而我们的“专家会议”表示基于共识的融合过程,该过程聚合了多个专家的输出。
我们工作的主要贡献可以总结如下:
(1) 基于高光谱图像(HSI)独特的空间和光谱特征,我们设计了专门的专家网络来独立捕获空间和光谱信息。此外,引入了一个重建专家来模拟空间-光谱交互,并增强高级语义表示的学习。在这个多专家框架的基础上,我们利用专家之间的分歧作为监督信号,实现风险意识的伪标签学习,用于跨场景高光谱图像分类。
(2) 为了在域偏移下安全利用伪标签,我们设计了一种专家会议机制,利用多个专家之间的共识和分歧来表征类别间的不确定性。目标样本被分类为一致、讨论中和冲突的情况,并相应地应用不同的监督策略,以避免在微调过程中强化不可靠的类别假设。
(3) 对于专家预测冲突的样本,我们提出了一种虚拟类监督策略,通过选择性地抑制高风险类别的梯度来重塑优化目标。这使得模糊样本能够提供有信息量的负面证据,而不会导致错误的正向伪标签,从而提高跨场景高光谱图像分类的鲁棒性。
本文的后续部分组织如下:第2节概述了我们提出的方法。第3节提供了详细的实验评估和批判性分析。最后,第4节阐述了从我们的工作中得出的结论。

方法片段

提出的方法

VCMoE的训练阶段分为专家训练阶段和微调阶段。VCMoE的总体框架如图1和图2所示。实验使用了部分标记的源域数据和所有未标记的目标域数据进行训练。特征提取模块分别提取光谱、空间和融合特征,作为光谱信息专家、空间信息专家和重建专家的输入。

实验结果与分析

在我们的实验设置中,我们从源域(SD)中提取了每个类别50个标记实例,并使用了目标域(TD)中的所有未标记样本进行训练。在训练之前,所有数据集都经过了归一化。我们使用总体准确率(OA)、平均准确率(AA)和Kappa系数(κ×100)作为评估我们模型分类效果的指标。每个实验进行了10次,平均结果为

结论

在本文中,我们提出了VCMoE用于HSI分类中的无监督域适应。这种方法的主要目标是开发能够有效捕获不同特征类型中类别信息的专家网络,从而全面关注各种特征形式的类别信息。为了解决伪标签利用的局限性——这应该被视为一个风险管理问题,而不仅仅是一个纯粹的置信度估计任务——我们设计了一个专家

CRediT作者贡献声明

季向宇:写作——审阅与编辑,撰写——原始草稿,可视化,验证,软件,方法论,调查,形式分析,数据管理,概念化。高景鹏:写作——审阅与编辑,验证,监督,资源管理,项目协调,资金获取,形式分析,概念化。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系,这些利益或关系可能会影响本文报告的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号