《Neurocomputing》：Beyond distribution shifts: Adaptive hyperspectral image classification at test time
编辑推荐：
HSI分类鲁棒性研究提出HyperTTA框架，通过构建九类退化基准数据集、设计多尺度SSTC模块与CELA轻量级TTA策略，有效提升模型在噪声、模糊等退化条件下的分类性能，在PU和WHLK数据集上均优于现有方法。
Xia Yue|刘安峰|陈宁|黄晨佳|刘慧|黄周|方乐媛
中南大学计算机科学与工程学院，中国长沙，410083
摘要
高光谱图像（HSI）分类模型对由实际退化因素（如噪声、模糊、压缩和大气效应）引起的分布变化非常敏感。为了解决这一挑战，我们提出了HyperTTA（用于高光谱退化的测试时自适应Transformer），这是一个能够在多种退化条件下增强模型鲁棒性的统一框架。首先，我们构建了一个多退化高光谱基准测试，系统地模拟了九种典型的退化情况，从而能够全面评估分类模型的鲁棒性。基于这个基准测试，我们开发了一种具有多级感受野机制和标签平滑正则化的光谱-空间Transformer分类器（SSTC），以捕捉多尺度的空间上下文并提高泛化能力。此外，我们引入了一种轻量级的测试时自适应策略——基于置信度的熵最小化LayerNorm适配器（CELA），该策略通过最小化高置信度未标记目标样本上的预测熵来动态更新LayerNorm层的仿射参数。这种策略无需访问源数据或目标标签即可确保可靠的适应。在两个基准数据集上的实验表明，HyperTTA在广泛的退化场景中优于现有的最佳方法。代码将在
https://github.com/halfcoder1/HyperTTA处公开。
引言
近年来，高光谱遥感因其能够为每个像素获取密集且连续的光谱信息而受到越来越多的关注[1]。这种丰富的光谱特征使得表面材料的精细区分成为可能，并支持了包括环境监测[2]、精准农业[3]、矿产勘探[4]和城市规划[5]在内的广泛应用。与传统多光谱图像相比，高光谱图像（HSI）提供了显著提升的光谱分辨率，能够更可靠地识别微妙的材料差异。
尽管有这些优势，高光谱图像分类仍然是一项具有挑战性的任务。HSI数据的高维度常常导致众所周知的维度灾难[6]，再加上标记样本的稀缺性[7]，严重限制了模型的泛化能力。此外，强烈的类内变异性和高的类间相似性[8]、[9]、[10]进一步复杂化了学习过程。在现实世界中，光照变化、大气效应、传感器噪声和采集条件[11]、[12]等因素引入了训练数据和测试数据之间的不可忽视的分布变化，导致在理想条件下训练的模型性能显著下降。
为了在不依赖标记目标数据的情况下应对分布变化，测试时自适应（TTA）作为一种有效且灵活的学习范式最近应运而生[13]、[14]。与依赖训练期间目标域数据的传统领域适应方法[15]、[16]、[17]不同，TTA仅使用未标记的测试样本在推理时直接调整预训练模型。典型的TTA策略包括熵最小化[18]、[19]、归一化统计适应和自编码机制。这种范式特别适用于遥感应用，因为测试时的条件高度动态且目标注释通常不可用。这项工作的初步版本已作为预印本发布[20]。
尽管TTA在自然图像识别和医学成像任务中展示了有希望的结果[21]、[22]、[23]、[24]、[25]，但其应用于高光谱图像分类的研究仍大多处于探索阶段。大多数现有的TTA方法是针对低维RGB数据设计的，并假设输入统计特性相对简单，这些特性并不直接适用于高维且光谱相关的高光谱图像[26]。此外，传统的领域适应方法通常需要多阶段的重训练过程或访问标记目标数据[27]、[28]，这限制了它们的可扩展性和实用性。目前还缺乏用于系统评估真实高光谱退化场景下TTA方法的基准数据集和标准化评估协议。
受到这些限制的启发，本文提出了一种新的基于TTA的框架，用于在多种退化条件下实现鲁棒的高光谱图像分类。本研究的主要贡献总结如下：
•我们构建并发布了第一个系统模拟九种典型实际退化情况的高光谱TTA基准测试，包括雾、条纹噪声、加性高斯噪声、零均值高斯噪声、泊松噪声、卷积模糊、椒盐噪声、JPEG压缩和截止噪声。该基准测试能够标准化地评估模型在多种退化条件下的鲁棒性和适应性。
•我们设计了一个SSTC模块，该模块结合了多级感受野机制来捕捉不同尺度的空间特征，并采用标签平滑策略来减轻过拟合问题，从而在噪声监督下提高鲁棒性。
•我们提出了一种基于置信度的TTA策略，称为CELA模块，该模块通过在推理过程中仅更新LayerNorm层的仿射参数来进行无源适应。这种适应是通过在高置信度目标样本上最小化熵来实现的，从而提高对未见目标分布的泛化能力，而无需依赖源数据或目标标签。
•通过整合SSTC和CELA模块，我们开发了一个名为HyperTTA的统一TTA框架，用于在严重退化条件下的高光谱图像分类。在PU和WHLK数据集上的广泛实验表明，HyperTTA在准确性、鲁棒性和泛化能力方面始终优于现有的分类和TTA基线。
部分摘录
高光谱图像分类的深度学习
深度学习方法在高光谱遥感中受到了越来越多的关注，因为它们能够从原始数据中自动提取具有代表性的光谱-空间特征[29]、[30]。卷积神经网络（CNN）通过3D-CNN等变体得到了扩展，这些变体能够同时处理高维输入，共同建模光谱和空间信息[31]。为了在保持准确性的同时提高效率，Tri-CNN[32]引入了一种多尺度3D-CNN架构
方法
在本节中，我们介绍了
HyperTTA（用于高光谱退化的测试时自适应Transformer），这是我们提出的一个框架，旨在实现在不同且未知的退化条件下的鲁棒高光谱图像分类。如图1所示，整个框架由三个主要组成部分构成：
•多退化模拟器（MDS）：为了模拟真实的分布变化，我们使用九种典型的退化类型（例如雾、条纹噪声、高斯噪声）构建了一个目标域数据集
数据集
为了验证我们算法的有效性，我们将该算法应用于两个公共数据集：帕维亚大学数据集（PU）和WHU-Hi-LongKou数据集（WHLK）：
•帕维亚大学数据集如图3所示，由ROSIS传感器在2003年拍摄，该数据集包含了帕维亚大学（意大利）周围的340个像素，空间分辨率为1.3米，具有115个光谱带（430–860纳米）。去除12个噪声带后，剩余103个带。该数据集包含9种土地覆盖类别。
•结论
在本文中，我们研究了高光谱图像分类在各种退化条件下的鲁棒性，并提出了一种名为HyperTTA（用于高光谱退化的测试时自适应Transformer）的框架，以提高模型对多种退化条件的鲁棒性。具体来说，我们首先构建了一个全面的多退化高光谱数据集，模拟了九种典型的退化类型，从而能够系统地评估模型在挑战性场景下的性能。
CRediT作者贡献声明
夏月：撰写——审稿与编辑、撰写——原始草稿、可视化、验证、软件、资源、方法论、调查、形式分析、数据整理、概念化。刘安峰：撰写——审稿与编辑、监督、资源、数据整理、概念化。陈宁：撰写——审稿与编辑、监督、资源、项目管理、方法论、调查、资金获取、概念化。黄晨佳：撰写——审稿与编辑，
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
致谢
本研究部分得到了中国国家自然科学基金（项目编号U2344216、62425109和U22B2014）的支持，以及湖南省科技计划项目基金（项目编号2022RSC3064）的支持。
夏月于2020年在中国长沙的中南大学获得计算机科学学士学位。她目前在中南大学计算机科学与工程学院攻读博士学位。她的研究兴趣包括机器学习、遥感和高光谱图像处理。
