基于几何代数的增强型双分支对比网络设计，用于少样本高光谱图像分类

《Pattern Recognition》：Geometric Algebra Enhanced Twin-Branch Contrastive Network Design for Few-Shot Hyperspectral Image Classification

高光谱图像分类在少数样本场景下面临模型复杂度高和参数冗余问题，本文提出基于几何代数的双分支对比网络GA-TBCNet，通过几何积建模光谱通道间关系，设计双分支结构融合多尺度特征，结合加权对比损失和自适应交叉熵损失优化，在四个数据集上验证其有效性。

　　

张如军|曹文明|刘启凡

广东省多媒体信息服务工程技术研究中心（深圳大学电子与信息工程学院），中国广东省深圳市南海大道3688号，518060

摘要

由于高光谱图像（HSI）包含丰富的光谱信息，高光谱图像分类被应用于许多领域。然而，收集带有标签的HSI样本需要大量的时间和人力。因此，有效的少样本高光谱图像分类（FS-HSIC）成为一个关键的研究前沿。以往的FS-HSIC研究主要使用实值卷积神经网络（CNN）进行。然而，实值CNN通过独立的权重隐式地学习通道间的关系，当训练样本有限时，无法充分捕捉这些关系。为了克服这些缺点，我们提出了一种高效的几何代数增强型双分支对比网络（GA-TBCNet）用于FS-HSIC。该框架能够模拟图像中每个像素的光谱通道之间的局部相关性，非常适合处理样本数量少且多样性高的HSI数据集。我们设计的方法包括两个分支，分别处理不同大小的样本对。这一过程扩展了训练集。在每个分支中，使用基于几何代数的CNN（GA-CNN）提取光谱-空间特征。然后，引入注意力-残差块（ARB）模块来关注通道和空间维度中更重要的特征。此外，还引入了加权对比损失来处理具有挑战性的样本对，并帮助模型朝着正确的方向进行拟合，同时设计了额外的自适应交叉熵损失来学习两个分支之间的最佳融合比例。在四个常用的HSI数据集上的广泛实验表明，所提出的GA-TBCNet架构在FS-HSIC中取得了令人满意的结果。

引言

高光谱遥感技术能够捕获从数十到数百个狭窄且相邻的光谱带的数据，覆盖可见光、近红外和红外区域[1]，从而提供更为详尽和精细的光谱分辨率。丰富的光谱信息使得高光谱遥感技术在农业、环境监测、地质学、林业、城市规划和安全监测等多个领域得到广泛应用。然而，由于高光谱图像（HSI）的覆盖范围广泛且表面特征多样，获取足够的带标签样本仍然是一个挑战。因此，少样本高光谱图像分类（FS-HSIC）旨在利用光谱和空间信息来识别每个像素的所属类别，即使只有有限的带标签样本可用。

早期的HSI分类研究主要依赖于光谱信息和手工制作的浅层特征[2]，忽略了空间上下文信息，难以提取深层特征，这限制了分类性能。近年来，深度学习方法如卷积神经网络（CNN）[3]、空间-光谱注意力方法[4]和基于特征增强方法[5]在高光谱分类中取得了显著的性能提升。然而，它们的有效性在很大程度上依赖于大量带标签数据的可用性。HSI中复杂的光谱信息需要专家进行标注，这使得标注过程既耗时又成本高昂。因此，获取足够的带标签样本对于实际应用仍然是一个重大挑战。也有一些先进的HSI分类方法，例如，傅等人[6]提出了结合增强残差模块和空间-通道注意力机制的ReSC-net；李等人[7]引入了基于状态空间模型的MambaHSI，该模型以线性复杂度建模长距离依赖关系；王等人[8]提出了在大型高光谱数据集上预训练的HyperSIGMA，通过稀疏采样注意力增强跨任务泛化能力。尽管取得了这些重要进展，但在少样本场景中仍存在局限性，包括模型复杂性高、计算需求大以及未能充分建模通道间的几何关系。因此，探索更高效和有效的FS-HSIC方法仍然是一个重要的研究重点。

在早期，CNN是深度学习领域的研究焦点。实值CNN是传统的卷积神经网络，其中所有操作（包括卷积、激活和权重参数）都在实数域中执行$R$。在处理多通道输入时，实值卷积核执行通道间的加权求和：$y={\sum }_i^N$，其中w_ij是每个输入-输出通道对的独立学习权重。这种公式依赖于数据驱动的权重学习来隐式捕捉通道间的统计相关性，这需要足够的训练样本。然而，在少样本场景中，训练样本不足会阻碍这些通道间依赖关系的充分学习。此外，为每个输入-输出通道对分配的独立权重引入了大量可学习的参数，使得模型在训练样本有限时容易过拟合。因此，实值CNN不适合FS-HSIC场景。李等人[9]提出了一种几何代数卷积神经网络（GA-CNN）框架，首先使用1-D GA-CNN提取光谱特征，然后使用3-D GA-CNN进一步提取联合的光谱-空间特征，实现光谱通道间几何结构关系的整体建模。然而，这种方法在FS-HSIC场景中存在几个局限性。1-D GA-CNN只能学习光谱带之间的相关性，无法保留像素的内部空间结构。此外，单分支架构在单一尺度上进行特征提取，缺乏多尺度特征融合能力。

为了解决上述问题，我们设计了如图1所示的几何代数增强型双分支对比网络（GA-TBCNet）架构，该架构包括基于几何代数（GA）的卷积块、注意力-残差块（ARB）模块和全局平均池化（GAP）层。该架构利用几何积运算，能够模拟高光谱图像中的光谱-空间依赖关系，即使在少样本训练场景中也能增强特征的可区分性。几何积将HSI像素表示为多向量，整合了光谱和空间信息。这种方法通过利用内在的代数约束（例如，双向量和三向量运算）来减少高维和样本稀缺的高光谱数据中的过拟合现象，并提取具有辨识力的光谱-空间特征。此外，该方法限制了模型训练参数的自由度。

受到高光谱图像由多个光谱带组成的启发，每个光谱带包含关于地表对象特征的不同信息。此外，基于监督学习的分类方法通常需要大量带标签的样本进行模型训练。然而，在这种情况下，缺乏带有真实样本标签的足够数据会使得准确估计分类器参数变得困难[10]。因此，HSI分类面临少样本学习（FSL）的挑战，即仅使用少量带标签的样本进行分类。我们使用的FSL算法[11]不同于遵循支持集和查询集范式的方法[12]。我们的少样本学习模型从有限的带标签数据中学习，并泛化到相同类别的数据。在FSL中，我们可能需要更多数据来充分捕捉数据内部的关联，从而存在过拟合的风险。因此，我们利用基于GA的CNN同时对多个通道进行卷积操作。所提出的基于GA的CNN的核心思想是将每个像素表示为多向量，建模HSI中光谱带之间的几何依赖关系。通过使用几何卷积操作，可以捕捉通道间的依赖性和相互作用，并将来自多个通道的信息编码为单一参数，从而实现参数共享和减少。至于ARB模块，其关键组件包括2-D基于GA的卷积、残差块和注意力块，这些组件旨在关注通道和空间维度中更重要的特征。2-D GA CNN可以保留像素的内部空间结构信息。我们构建了一个分支来使用GA-CNN和ARB模块提取空间-光谱信息，并通过组合两个这样的空间-光谱分支来构建基于GA的双分支对比网络。基于GA的双分支结构可以获得互补的空间-光谱表示，加权对比损失可以有效解决少样本学习中标签样本有限和类别间细微差异的问题。

我们改进和提出的模型已在四个不同的HSI数据集上进行了严格测试。这些实验的结果明确证明了它们的优越性能。总结来说，本文的主要创新贡献如下：•

在少样本场景中，利用几何代数能够捕捉不同通道间高维光谱特征的内部潜在关系，以及描述特征间上下文连接的全局依赖关系。

•

我们提出了一种高效的架构，与现有方法相比具有更高的分类准确性。我们设计了新的基于GA的卷积层，减少了神经参数的数量。

•

我们设计了ARB模块来保留HSI的几何信息，并在通道和空间维度上强化重要特征。模块内的注意力块利用全局信息来增强有价值的特征信息，同时抑制不太重要的特征。

本文的结构如下：第2节总结了相关工作，第3节描述了我们的方法，第4节介绍了数据集和评估指标，第5节讨论了实验细节和结果，第6节总结了本文，A部分介绍了几何代数的背景。本文使用的符号表和GA-TBCNet的参数表都放在A部分。

部分摘录

基于GA的神经网络

基于几何代数（GA）的神经网络通过多向量表示和几何积运算，在HSI的光谱和空间域中保持几何关系，因此吸引了越来越多的研究兴趣。李等人[13]引入了四元数来保持光谱带间的空间相关性并减少信息损失，提出了自适应加权四元数Zernike矩算法。该算法为像素自适应地分配权重

方法论

基于之前的分析，我们在本节提出了一种高效的几何代数增强型双分支对比网络（GA-TBCNet）。图1展示了我们方法中使用的架构概览。首先，样本将被分为训练集和测试集。在训练阶段，首先构建样本对。对于每个类别，同一类别内的样本被配对形成正样本对，而不同类别的样本被配对形成

高光谱数据集

我们在四个基准数据集上评估了所提出的GA-TBCNet：Indian Pines（IP）、Pavia University（PU）、Salinas Valley（SA）和HanChuan。实验中，数据集被随机分为训练集和测试集。训练集用于训练特征提取网络，而测试集用于预测整个图像的标签。表1分别介绍了四个数据集中每个类别的带标签样本数量。

IP数据集是通过

实验与讨论

本节评估了GA-TBCNet在IP、PU、SA和HanChuan数据集上使用有限样本的性能。我们将其与前沿方法进行比较，并进行了详细的模型分析以验证其有效性。

结论

在本文中，我们提出了一种高效的GA-TBCNet架构用于FS-HSIC。该方法能够有效捕获光谱-空间结构特征，并通过利用几何代数的原理减少模型参数的数量。基于GA的卷积用于处理空间和光谱信息。ARB模块用于捕捉通道和空间维度中更重要的特征，GAP层用于分类。我们利用加权

CRediT作者贡献声明

张如军：撰写——原始草稿、可视化、验证、监督、软件、方法论、调查、形式分析、数据整理、概念化。曹文明：撰写——审稿与编辑、监督、资金获取、概念化。刘启凡：撰写——审稿与编辑、验证、监督。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

本工作得到了国家自然科学基金（项目编号61771322）、深圳市基础研究基金（项目编号JCYJ20220531100814033）和中国博士后科学基金（项目编号GZC20240652）的支持。