利用核积分和渐进重采样实现任意尺度下的空间-光谱融合

《Information Fusion》：Arbitrary?Scale Spatial–Spectral Fusion using Kernel Integral and Progressive Resampling

空间-光谱融合神经网络算子实现任意尺度超分辨率重建，通过Galerkin积分与渐进重采样积分捕获多尺度信息，注意力驱动编码器优化双模态特征融合，在多个数据集上显著优于现有方法。

　　

魏莉|徐红辉|权月倩|陈哲|郑建伟

机构：浙江工业大学，城市：杭州，省份：浙江，国家：中国

摘要

得益于深度学习技术的蓬勃发展，空间-光谱融合（SSF）被视为打破使用昂贵设备获取高光谱图像（HSI）传统的理想替代方案。然而，尽管取得了显著进展，现有解决方案仍需要为不同的尺度因子训练和存储多个模型。为了解决这一困境，我们提出了一种空间-光谱融合神经算子（SFNO），在算子学习框架内实现任意尺度的SSF。具体而言，SFNO从逼近理论的角度出发，通过点卷积层将两个退化函数的特征嵌入到高维潜在空间中，从而捕获更丰富的光谱特征信息。随后，利用Galerkin积分（GI）机制近似函数空间之间的映射，最终通过降维步骤生成高分辨率的HSI。此外，我们还提出了一种渐进式重采样积分（PR）方法，在三重核积分中对积分域进行重采样，以提供非局部多尺度信息。这两种积分机制的协同作用使SFNO能够轻松处理训练过程中从未遇到的放大因子。在CAVE、Chikusei、Pavia Centre、Harvard以及真实世界数据集上的广泛实验表明，我们的SFNO相比现有最先进方法有显著改进。特别是在CAVE、Chikusei和Pavia Centre数据集上进行8倍上采样时，SFNO在PSNR方面分别比第二好的模型提高了0.56 dB、1.05 dB和0.72 dB。我们的代码可在以下链接公开获取：https://github.com/weili419/SFNO。

引言

高光谱成像能够捕捉连续光谱带中的场景，与传统单波段或有限波段图像相比提供了更详细的细节，并提高了各种应用的准确性，如目标检测[1]、生物多样性保护[2]和地理空间决策[3]。然而，由于硬件限制，同时获得高空间分辨率和丰富光谱信息的高光谱图像仍然具有挑战性。超过100个波段的图像通常空间分辨率较低，而空间分辨率较高的图像则波段较少。作为一种替代方案，将高分辨率多光谱图像（HrMSI）与低分辨率高光谱图像（LrHSI）融合生成高分辨率高光谱图像（HrHSI）的技术——即空间-光谱融合（SSF）[4]——受到了越来越多的关注。实际上，SSF技术可以融合高光谱图像和多光谱图像，提取HrMSI无法检测到的信息，从而增强图像的丰富性和精确度。SSF的最新进展催生了多种有前景的方法。然而，这些方法要么需要大量参数[5]、[6]、[7]，要么性能不佳[8]、[9]。更重要的是，当考虑新的尺度因子时，现有方法通常需要大量重新训练才能保证性能。在实践中，由于硬件的不断演变，尺度变化很常见，这使得许多现有方法要么不切实际，要么资源消耗巨大。

从根本上说，这种不灵活性源于在离散向量空间中处理数据。为了解决这个问题，我们转向了神经算子（NOs）[10]、[11]、[12]，它们旨在学习无限维连续函数空间之间的映射[13]。与传统基于实例的学习方法不同，NOs通过积分计算自然地学习更丰富的特征，从而在不同分辨率下实现高泛化能力和可解释性。例如，基于傅里叶[10]和变压器[11]的NOs能够捕捉长距离依赖性，但计算复杂度相对较高，为O(nlogn)和O(n^2)。不幸的是，到目前为止，NOs尚未被用于SSF。在这项研究中，我们尝试通过创新一种基于变压器的NO变体来填补这一空白，该变体能够学习整体的空间-光谱表示，即每个特征能够整合来自整个空间域和所有光谱带的信息，同时保持线性时间积分复杂度。图1展示了一些初步结果，其中圆的半径表示GFLOPs的量度。显然，其他最先进的竞争方法在性能上远远落后于SFNO。

总之，我们提出了一种轻量级架构，该架构明确解决了分布外融合问题，在单一尺度训练并在任意尺度上进行评估时仍能保持强劲性能。据我们所知，这是首次利用神经算子来解决域外空间-光谱融合问题的工作。主要贡献有四点：

•

通过学习无限维空间中LrHSIs、HrMSIs和HrHSIs之间的函数映射，我们的开创性SSF模型实现了高可解释性，并自然克服了任意尺度泛化的挑战。

•

为了捕获SSF任务所需的多尺度信息，我们在传统NO框架内创新了一种多核联合序列，使最终模型能够捕捉上下文依赖性。

•

为了充分利用丰富的光谱内部信息，并适应神经算子的单输入范式中的双输入特性，我们引入了注意力驱动编码器（ADE）。该模块在将光谱图像输入神经算子架构之前对其进行预处理，以实现双光谱处理。

•

所提出的网络在四个基准高光谱数据集上的SSF任务中实现了最先进的性能，并在真实世界光谱数据上提供了最佳重建质量。

部分摘录

空间-光谱融合

高光谱图像超分辨率是一个具有不适定性特征的挑战性问题。常见的方法是使用先验或正则化来约束优化方程[14]。已经采用了多种先验来规范高光谱图像超分辨率问题。例如，低秩先验[15]利用高光谱图像光谱带之间的强相关性，在低维子空间内高效建模光谱信息。非局部相似性[16]、[17]等

空间-光谱融合神经算子

在本节中，首先从第3.1节中的NOs角度重新审视SSF问题。然后，我们在3.2节中介绍了线性时间运行的Galerkin型积分，在3.3节中介绍了渐进式重采样积分，在3.4节中介绍了注意力驱动编码器。这些模块在3.5节中组合在一起形成SFNO。

实验与分析

在本节中，我们首先描述了实验设置，包括数据集、数据模拟和实现细节。然后，我们介绍了一些用于与我们的SFNO进行比较的算法以及评估指标。在此基础上，展示了在三个流行数据集上的定性和定量结果。最后，进行了消融实验以验证我们提出的模块的有效性。

消融研究

在本节中，我们对实际组件的正面/负面影响进行了全面分析。为简洁起见，分析重点关注了CAVE数据集的4×域内融合。所有报告的结果都是十次独立运行的平均值。

1) 核积分数量（KI）的影响：在创建SFNO的过程中，我们仔细研究了不同数量的核积分的效果。如表5(a)所示，3倍的核积分产生了最佳效果

结论

在本文中，我们提出了SFNO，这是一种有效且高效的方法，通过核积分整合图像函数，使我们的开创性空间-光谱融合（SSF）模型具有高可解释性，并具备在任意尺度上泛化的能力。具体来说，结合了Galerkin型积分和渐进式重采样两种方案来获取多尺度信息。此外，还详细介绍了ADE模块，用于初步整合空间

CRediT作者贡献声明

魏莉：撰写 – 审稿与编辑，撰写 – 原始草稿，监督，软件，资源，项目管理，方法论，调查，形式分析，数据管理，概念化。徐红辉：调查，形式分析，数据管理，概念化。权月倩：资源，项目管理，方法论。陈哲：验证，监督，软件。郑建伟：撰写 – 审稿与编辑，资金获取。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。