基于相关性感知的学习自引导网络在高光谱融合成像中的应用

《Information Fusion》：Correlation-aware Learning Self-guiding Network for Hyperspectral Fusion Imaging

高光谱图像融合中，传统方法存在局部关注与全局信息不足的问题。本文提出CLSNet，通过HIGF模块实现层次化信息引导，结合SCSC编码器进行多带补偿，有效抑制局部噪声并增强语义边缘。实验表明该方法在模拟和真实数据集上均优于现有SOTA方法，且在分类任务中显著提升重建质量。

　　

杨恒|刘金阳|段仁伟|李书涛

湖南大学人工智能与机器人学院，湖南省视觉感知与人工智能重点实验室，中国长沙卢山南路410082

摘要

将低分辨率高光谱图像（LR-HSI）与高分辨率多光谱图像（HR-MSI）融合，是获取高分辨率高光谱图像（HR-HSI）的常用方法。然而，高光谱数据的高维性和冗余性给有效特征提取带来了挑战。尽管现有的融合方法通常采用注意力机制来挖掘具有更强信息表达能力的特征以降低分析复杂性，但这些方法主要关注局部区域，难以捕捉高光谱图像中不同区域之间的相互关系。为了解决这些问题，我们提出了一种基于相关性感知的学习自引导网络（CLSNet）。CLSNet结合了分层信息引导融合（HIGF）模块，该模块由相关性感知的学习自引导机制驱动，逐步建立局部和全局的空间-光谱依赖性。这种设计使网络能够利用全局相关信息进行特征重建，从而减少局部噪声的干扰并增强语义边界的恢复。此外，引入了条带压缩空间补偿（SCSC）编码器来生成HR-MSI的多个条带表示，并通过辅助校正条带来生成通道级补偿系数，实现精确的空间信息补充。通过一系列实验，我们证明了我们的方法在模拟和真实数据集上都优于其他最先进的方法。我们进一步验证了其在下游应用中的有效性，其中重建的HR-HSI显著提高了分类性能。

引言

高光谱成像能够捕捉数百个窄波段的丰富光谱信息，从而实现对表面材料和场景内细微差异的精确表征。由于这一能力，它已被广泛应用于环境监测、城市规划、资源勘探、物体分类和目标检测等领域。然而，硬件限制通常会导致光谱分辨率和空间分辨率之间的权衡，使得直接获取高分辨率高光谱图像（HR-HSI）变得困难，从而限制了其在实际应用中的效用[1]。相比之下，多光谱图像（MSI）包含较少的光谱波段，但提供了更高的空间分辨率，因此更容易获取。为了缓解光谱-空间分辨率的权衡，开发了高光谱图像融合方法，通过整合低分辨率高光谱图像（LR-HSI）的光谱丰富性和高分辨率多光谱图像（HR-MSI）的空间细节来重建HR-HSI [2]，[3]，[4]。

现有的LR-HSI和HR-MSI融合方法大致可以分为基于锐化、基于模型和基于深度学习的方法[5]，[6]，[7]。锐化方法通过将LR-HSI与高分辨率全色图像（PANs）结合来提高空间分辨率，其中PANs提供空间细节，而LR-HSI保留光谱丰富性。这些方法计算效率高且易于实现，但在利用光谱信息方面存在局限性，常常导致光谱失真。基于模型的方法通过成像或统计模型建立LR-HSI和HR-MSI之间的关系来指导融合过程，从而在保持光谱完整性的同时提高空间分辨率。诸如稀疏表示、矩阵分解和张量分解等技术在保持HR-HSI质量和减少信息损失方面显示出有效性[8]。然而，尽管这些方法在保留细节和抗噪声方面具有鲁棒性，但它们受到复杂模型构建的需求以及训练和优化对先验知识的强烈依赖性的限制。

随着深度学习的快速发展，卷积神经网络（CNN）已成为LR-HSI和HR-MSI融合的核心技术[10]，[11]，[12]。然而，它们固定的局部感受野限制了捕捉长距离和全局依赖性的能力[13]，[14]。为了解决这一限制，变换器架构作为一种强大的替代方案出现[15]，[16]，[17]。变换器的关键优势在于自注意力机制，该机制为输入的不同位置分配自适应权重，从而对图像内的长距离依赖性进行建模。然而，注意力机制存在固有局限性。如图1左侧面板所示，与[18]，[19]中描述的正常自注意力公式一致，每个位置的查询向量是通过对该位置的特征应用线性投影获得的。这意味着查询构建仅由当前位置的局部信息驱动，而没有明确注入来自其他区域的可能相关信息进行指导。在没有全局上下文的情况下，该机制无法区分局部波动是对应于有意义的结构变化还是噪声，使得模型容易受到局部干扰的影响。此外，LR-HSI中包含的全局语义结构往往被忽略，导致语义边界的恢复不足。因此，重建的HR-HSI质量往往下降。

为了解决上述问题，我们提出了一种新颖的相关性感知学习自引导网络（CLSNet）。CLSNet的核心是分层信息引导融合（HIGF）模块，该模块结合了相关性感知的学习自引导机制。这种机制允许模块选择性地提取和整合与当前位置最相关的信息，从而减轻局部噪声的影响并增强语义边界的恢复。具体来说，HIGF模块首先利用LR-HSI和HR-MSI的局部信息来指导HR-HSI的初步融合，然后整合与当前位置相关的全局相关信息，共同指导两个输入以实现深度融合。此外，我们引入了条带压缩空间补偿（SCSC）编码器来提高HR-MSI的表示能力并进行通道级信息补偿。SCSC编码器构建多个条带以适应HR-MSI，并应用辅助校正条带来生成通道补偿系数。在这些系数的指导下，HR-MSI进行空间信息补偿和增强，确保更有效的特征整合。我们的贡献可以总结如下：

1. 设计了一种新颖的相关性感知学习自引导机制，该机制通过在全球维度上查询相关信息来引导融合模型关注具有更强空间和光谱信息表达能力的特征，从而降低模型信息分析的复杂性。

2. 提出了条带压缩空间补偿编码器。它构建多个条带来统计分析输入特征的信息分布，并为每个通道生成空间补偿信息。

3. 在模拟和真实数据集上的实验结果表明，我们的方法优于几种最先进的方法，并实现了更好的重建性能。此外，其在分类任务中的有效性也得到了进一步验证。

相关工作

相关工作

本节简要总结了高光谱融合成像的最新进展，这些进展可以分为基于锐化的方法、基于模型的方法、基于深度学习的方法以及用于高光谱融合成像的信息引导方法。

提出的方法

建立了一种有效的融合方法。它可以聚合局部和全局信息，共同指导特征融合，并补偿HR-MSI每个通道的空间信息。本节提供了所提出方法的概述，随后详细描述了模块结构及其具体操作原理。

数据集

我们在三个广泛使用的高光谱数据集上评估了所提出的CLSNet的性能：CAVE数据集、哈佛数据集和KAIST数据集。CAVE数据集包含32幅高光谱图像（HSIs），空间分辨率为512×512像素，31个光谱波段。哈佛数据集包含50幅HSIs，空间分辨率为1040×1392像素，31个光谱波段。KAIST数据集包含30幅HSIs，空间分辨率为2704×3376像素，31个光谱波段。

消融研究

在本节中，我们研究了所提出的HIGF模块和SCSC编码器的有效性。为了公平性和简洁性，所有消融实验都在CAVE数据集上进行，使用了五个代表性指标：PSNR、ERGAS、SAM、SSIM和RMSE。

为了评估HIGF模块的贡献，我们构建了多种消融设置。具体来说，${\text{N}}_{\text{C}}$用一个3×3的卷积层替换HIGF，${\text{N}}_{\text{R}}$用一个由两个3×3卷积和一个跳跃组成的ResBlock替换它。

图像融合的应用

在本节中，我们评估了所提出的融合方法在下游分类任务中的有效性。使用空间分辨率为349×1905、144个光谱通道的休斯顿数据集作为HR-HSI。根据[26]中的工作，将HR-HSI的每36个光谱通道平均起来生成4个通道的HR-MSI，记为HR-MSI。为了构建低分辨率数据，我们应用了一个标准差为3的9×9高斯核，然后进行下采样。

结论

在本文中，我们提出了一种协作式自引导学习网络，以实现HR-HSI的高质量重建。我们的方法采用自引导学习机制对LR-HSI和HR-MSI进行全局相关性分析。在光谱和空间相关信息的共同指导下，模型能够专注于处理不同输入图像中缺失和互补的信息，从而提高模型的鲁棒性和其重建细节的能力。

CRediT作者贡献声明

杨恒：撰写——审稿与编辑，撰写——原始草稿，方法论。刘金阳：验证。段仁伟：项目管理。李书涛：项目管理。

利益冲突声明

无。