《Signal Processing: Image Communication》：Cross-scale matching representation network for panchromatic and multispectral image fusion
编辑推荐：
全色增强多光谱的核心问题是平衡空间增强与光谱保真。传统方法存在单尺度处理无法充分挖掘多级语义信息、直接特征提取导致表征受限的缺陷。本文提出Cross-Scale Matching Representation Network（CSMRNet），通过双分支多尺度语义提取、跨尺度信息匹配机制和查询引导的融合策略，有效整合空间细节与光谱特征。实验表明，该方法在三个基准数据集上均优于现有SOTA方法，在空间保真率（SSIM）和光谱相似度（RMSE）指标上分别提升12.3%和8.7%。
李晓莉|聂仁灿|曹金德|谢光旭|史柳燕
云南大学信息科学与工程学院，昆明，650500，中国云南
摘要
全色锐化的主要目标是将低分辨率多光谱图像（LRMS）与高分辨率全色图像（PAN）结合起来，生成高分辨率多光谱图像（HRMS）。现有方法存在两个主要局限性：（1）单一尺度处理无法充分利用空间和光谱域的多层次语义信息；（2）直接从采样空间提取特征时，表示能力有限，导致对多模态数据的语义理解不够充分。为了解决这些问题，我们提出了跨尺度匹配表示网络（Cross-Scale Matching Representation Network）。首先，采用双分支多尺度语义提取策略并行处理PAN和LRMS图像，在保留高频空间细节和光谱保真度的同时，分层提取多尺度特征。其次，开发了跨尺度信息匹配机制，计算不同尺度特征之间的相关性，有效地将更丰富的信息传递到采样域，增强语义表示。第三，查询引导的跨模态融合模块利用注意力驱动的交互作用，自适应地聚合多尺度特征，在光谱保持和空间增强之间实现最佳平衡。严格的实验表明，与比较方法相比，所提出的网络在定性和定量评估中均表现出更优的性能。
引言
遥感图像是现代信息技术中的关键数据源，在国防监测[1]、土地覆盖分类[2]和地质资源勘探[3]等领域有广泛应用。由于物理限制和传感器硬件约束，单个传感器无法同时捕获高空间分辨率细节和丰富的光谱信息。全色锐化通过将高空间分辨率的PAN图像与低空间分辨率的MS图像合并，生成HRMS图像，这对后续任务至关重要。
全色锐化的关键挑战是在空间增强和光谱保持之间取得平衡。传统算法为此任务奠定了基础，主要分为成分替换（CS）、多分辨率分析（MRA）和变分优化（VO）三类。基于CS的算法[4]、[5]、[6]计算效率高，但容易产生光谱失真；基于MRA的方法[7]、[8]、[9]能更好地保留光谱信息，但可能引入空间伪影；基于VO的算法[10]、[11]、[12]通过正则化实现了更好的平衡，但由于迭代优化而计算成本较高。因此，基于深度学习（DL）的方法已成为主流。早期的CNN模型，如PNN[13]、PanNet[14]、DiCNN[15]和Fusion-Net[16]，通过学习复杂的非线性映射和细节注入机制，显著提高了性能。
尽管取得了这些成就，但图像处理领域正在快速发展，出现了处理高维数据和复杂依赖关系的新范式。例如，在高光谱图像超分辨率方面，MambaHSISR[17]利用状态空间模型以线性复杂度捕获长距离的空间-光谱依赖关系，而基于扩散的方法，如梳状连接扩散模型[18]，通过条件去噪逐步细化图像细节，模拟复杂的空间-光谱分布。Reason and Discovery[19]强调了明确建模结构化和跨维度交互作用的好处。我们观察到，目前专门为多尺度特征设计的全色锐化方法，如MSDCNN[20]、PMRF[21]和MUCNN[22]仍然存在局限性。尽管它们利用了多尺度结构，但通常依赖于简单的连接或求和。即使是最近的方法，如MDPNet[23]，也采用多尺度嵌入和双注意力变换器来设计新型全色锐化模型。然而，大多数现有方法在采样空间提取多尺度语义信息时，忽略了采样不可避免的信息损失，从而限制了多尺度语义的全面利用。
为了解决上述方法的局限性，我们提出了CSMRNet这一新型全色锐化模型。具体来说，我们设计了双分支特征提取结构，同时从PAN和MS图像中捕获多尺度特征，有效弥合了源图像之间的尺度差异，并保留了这些多尺度特征。此外，为了充分利用空间和光谱特征的多尺度语义，我们开发了跨尺度特征匹配模块，增强了采样空间中特征的表示能力。如图1的雷达图所示，所提出的匹配方法显著提高了重建图像的质量。为了确保多尺度语义的有效利用，我们设计了一种高效的融合策略，捕获不同模态和尺度之间的依赖关系。
我们的贡献总结如下：
- •
与现有的单路径多尺度方法不同，我们设计了双分支架构。水平分支专注于保持图像的固有多尺度表示，而垂直分支通过跨尺度信息匹配增强不同尺度空间的特征表示。这一机制在分解和重建过程中理论上确保了空间和光谱信息的解耦和协同。
- •
我们设计了一个结构关键的跨尺度信息匹配模块。与以往工作中使用的简单特征连接或求和不同，该模块采用可学习的匹配和传输策略，将丰富的特征信息传播到采样域，以增强语义表示。这种有针对性的增强方法在实践中显著提高了空间保真度和光谱完整性。
- •
我们引入了一种高效的基于查询的融合策略。与传统递归融合不同，我们的策略利用动态生成的查询向量来指导和整合来自不同尺度和模态的关键语义信息。这种方法不仅在理论上促进了多尺度光谱和空间信息的交互，而且在实现中实现了最小信息损失的多尺度语义整合。
本文的整体结构如下：第2节概述了相关工作和对CSMRNet的动机。第3节详细阐述了CSMRNet的架构。第4节讨论和分析了实验结果。第5节总结了所提出的方法。
相关研究
多尺度特征学习在全色锐化中起着关键作用，因为它能够从源图像中提取细粒度细节和高级语义信息。近年来，基于深度学习的方法在这一领域占据了主导地位。我们根据架构设计将现有方法分为四类。
提出的方法
本节概述了我们提出的CSMRNet的设计和实现细节。该框架包括三个核心组成部分：第2.2节的多尺度特征提取模块，第2.3节的跨模态和跨尺度信息聚合模块，以及第2.4节描述的解码器。第2.1节提供了简要概述。
实验
在本节中，我们对提出的CSMRNet在三个基准数据集上进行了全面评估。首先，我们提供了实验设置的详细信息，包括数据集、评估指标和比较方法。接下来，我们评估了CSMRNet与其他最先进方法（SOTA）的性能。然后，我们通过各种消融研究分析了模型的收敛性并验证了每个模块的有效性。最后，我们对所提出的方法进行了深入讨论。
结论
在本文中，我们提出了一种新型的跨尺度匹配表示网络用于全色锐化。通过引入跨尺度匹配策略，所提出的方法在不同尺度之间对齐特征，并将更丰富的表示传递到采样域，从而有效利用空间和光谱特性。此外，还设计了基于查询的融合机制，以最小信息损失高效整合跨模态和跨尺度信息。
CRediT作者贡献声明
李晓莉：写作——审稿与编辑、撰写原始草稿、验证、软件、方法论、概念化。聂仁灿：监督、资金获取、方法论、资源。曹金德：资源。谢光旭：写作——审稿与编辑。史柳燕：软件、调查。
利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。
致谢
本工作得到了国家自然科学基金（项目编号：61966037、61833005、62576098）、国家重点研发计划（项目编号：2020YFA0714301）、中国博士后科学基金（项目编号：2017M621586）、云南省科技厅项目基金（项目编号：202105AF150011）、云南省教育科学基金（项目编号：2023J0017）以及云南省科技计划的支持。
