SSDMamba：一种用于高光谱图像分类的谱-空间双分支模型

《Neurocomputing》：SSDMamba: A spectral–spatial dual-branch mamba for hyperspectral image classification

高光谱图像分类中提出SSDMamba框架，通过DS Spatial Mamba分支捕获长程空间依赖，FFT Spectral Mamba分支建模光谱全局周期性，并设计动态交互融合模块优化特征交互。实验表明该方法在四大数据集上参数更少且精度更高。

　　

邓兆鹏|周正|赵浩然|吴庚申|孙欣

青岛理工大学信息与控制工程学院，中国青岛市

摘要

高光谱图像（HSI）分类是遥感领域的一个关键研究焦点。然而，有效且高效地建模复杂的光谱-空间关系仍然是一个根本性的挑战。尽管卷积神经网络（CNN）和Transformer在高光谱图像分类中得到了广泛应用，但CNN难以捕捉长距离依赖性，而Transformer则受到计算复杂性的限制。最近，一种名为Mamba的选择性状态空间模型（SSM）展现出了显著潜力。然而，由于光谱-空间交互的复杂性，直接将Mamba应用于高光谱图像分类仍面临诸多挑战。为了解决这一问题，我们提出了一种基于Mamba的新型架构——光谱-空间双分支Mamba用于高光谱图像分类（SSDMamba），该架构能够同时建模光谱和空间数据，并高效融合这两种类型的信息。具体来说，我们设计了一个DS空间Mamba（DSSM）模块，利用单向扫描方式轻量级地处理空间长距离信息；随后提出了一个FFT光谱Mamba（FSM）模块，高效处理光谱数据以建立全局连接；最后，动态交互融合模块（DIFM）动态且高效地融合光谱和空间特征。在四个基准高光谱图像数据集上的广泛实验表明，与其它方法相比，SSFMamba在参数更少的情况下实现了更高的准确率。

引言

随着地球观测技术的快速发展，高光谱图像（HSI）分类已成为遥感领域的一个关键研究方向[1]。与传统光学方法不同，HSI能够捕获数百个光谱带中的丰富信息[2]、[3]，从而在环境监测[4]、精准农业[5]和资源管理[6]、[7]等关键领域实现精确的地面目标检测。虽然传统的机器学习（ML）方法[8]、[9]为高光谱图像分类奠定了基础，但这些方法依赖于浅层、手工设计的描述符，难以表征复杂的光谱-空间特征。因此，深度学习（DL）[10]、[11]已成为主流方法，其在自动特征提取方面具有更强的能力。

当前的深度学习方法大致可以分为图卷积网络（GCNs）[12]、[13]、CNNs[14]、[15]和基于Transformer的架构[11]、[17]。然而，主流方法在建模能力和效率之间存在显著的权衡，如图1所示。基于CNN的模型受到局部感受野的限制，难以捕捉长距离依赖性；而基于Transformer的模型虽然具有全局建模优势，但其自注意力机制会导致计算复杂度过高[18]。为了解决这些固有局限，我们提出了一种新型框架，旨在有效建模长距离依赖性同时确保计算效率。

近年来，选择性状态空间模型（SSMs）——尤其是结构化状态空间序列模型（S4s）[19]——的出现有效解决了上述问题。Mamba模型[20]、[21]通过添加选择性机制进一步改进了S4s，使模型能够根据输入选择相关信息。与Transformer相比，Mamba[22]在保持线性计算复杂度的同时具备强大的全局建模能力。因此，Mamba模型被广泛应用于计算机视觉领域，例如在遥感中，它被用于图像分类[23]、目标检测[24]、变化检测[25]等任务，并取得了显著成果。然而，直接将Mamba模型用于高光谱图像分类效果不佳，因为高光谱图像包含空间数据和光谱数据两种类型。直接分类会导致数据处理不足。尽管基于Mamba的方法（如MambaHSI和WaveMamba）在捕捉高光谱图像中的长距离依赖性方面显示出潜力，但在特征融合方面仍存在局限。现有方法通常依赖简单的加权策略或直接连接来融合空间和光谱特征，未能有效建模两者之间的深层交互机制。此外，这些方法大多忽略了频域信息在增强特征区分能力方面的作用。

为了解决这些问题，本文提出了一种名为SSDMamba的新型高光谱图像分类框架，旨在同时建模空间-光谱信息和长距离依赖性。如图2所示，SSDMamba仅保留了Mamba架构的核心模块以确保计算效率。为了明确处理高光谱数据的固有空间-光谱异质性，引入了两个专门的分支：DS空间Mamba（DSSM）采用单向扫描策略捕捉长距离空间纹理相关性，而FFT光谱Mamba（FSM）将快速傅里叶变换集成到Mamba模块中。与强调多尺度局部细节的小波基方法不同，FSM能够有效建模全局光谱周期性和各光谱带之间的频率分布，特别适用于捕捉内在的光谱冗余和抑制光谱间冗余。此外，为克服现有空间-光谱融合方法中常见的简单加权或连接策略导致的有限信息交换问题，我们提出了动态交互融合模块（DIFM），该模块采用可学习的交互机制自适应地校准空间和光谱特征，从而在复杂场景中提高鲁棒性。

总结来说，我们的主要贡献如下：

• •
  我们采用完整图像进行端到端训练策略，使模型能够处理整张图像，突破了传统方法在长距离建模方面的局限，实现了高效且准确的长距离信息捕获和建模。
• •
  我们为空间和光谱分别设计了Mamba模块，DSSM和FSM利用Mamba的高级长距离建模能力提取更有效的分类信息。
• •
  我们提出了DIFM进行交互，通过交互方法高效结合空间和光谱信息，并利用残差结构提高训练稳定性和表达能力。

我们在四个高光谱图像数据集上进行了大量实验，结果表明，我们的方法比现有的基于CNN和Transformer的最先进（SOTA）高光谱图像分类模型表现得更好，同时也将我们的方法与现有的基于Mamba的方法进行了比较，结果同样优异。

章节摘录

机器学习和深度学习方法

过去，基于机器学习和深度学习的方法被广泛用于高光谱图像分类任务，其中图卷积网络（GCNs）、CNNs和基于Transformer的方法是深度学习方法的主要组成部分[27]、[28]。

以往应用于高光谱图像分类的方法基于机器学习，如支持向量机（SVM）、最大似然分类（MLC）和随机森林（RF）等。然而，这些方法难以有效区分细微的变化

初步介绍

SSMs源自经典的连续时间状态空间框架，在该框架中引入中间状态变量以建立输入、状态和输出之间的线性关系。在这种范式下，一维输入序列

$$被投影到一个隐藏状态$$，随后映射到一个输出$$。一个线性常微分方程自然地描述了这一过程：$$

这里，$$代表状态矩阵，$$作为投影参数。

动机和方法概述

高光谱图像分类是利用高光谱图像中丰富的光谱和空间信息对像素或区域进行分类的过程[56]。理想的模型应具备三种能力：首先，它应能够捕捉长距离空间依赖性以保持全局上下文；其次，它应能够识别复杂且冗余的光谱特征以提取区分性模式；第三，它应促进空间和光谱之间的高效交互

实验

在本节中，我们首先介绍了四个著名的公开高光谱图像数据集：帕维亚大学数据集、休斯顿数据集、武汉大学-湖北汉川数据集和武汉大学-湖北洪湖数据集。接着详细阐述了实验设置，包括评估指标、比较方法和实现细节。最后，通过全面的定量分析和消融实验评估了所提方法的有效性。

结论

本文提出了一种端到端的双分支Mamba框架SSDMamba，用于高光谱图像分类。该框架由两个互补模块组成：DS空间Mamba（DSSM）通过单向扫描捕捉长距离空间依赖性，FSM在频域高效建模全局光谱关系。通过将快速傅里叶变换（FFT）集成到Mamba结构中，该框架增强了光谱-空间表示学习能力

CRediT作者贡献声明

邓兆鹏：撰写 – 审稿与编辑。周正：撰写 – 原稿。赵浩然：项目管理、方法论。吴庚申：资源、形式分析。孙欣：撰写 – 审稿与编辑、监督。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。

致谢

本工作得到了山东省自然科学基金（ZR2023QF043）和澳门特别行政区科学技术发展基金-国际合作研究（0001/2025/AIJ）的支持。

邓兆鹏于2019年获得山东科技大学博士学位。目前他是青岛理工大学的硕士导师，研究方向包括机器视觉、图像处理和智能控制。