基于可逆退化学习与空间-光谱对比学习的无监督遥感图像融合方法RevFus

《International Journal of Applied Earth Observation and Geoinformation》：Reverse degradation for remote sensing pan-sharpening

本文针对无监督遥感图像融合中物理一致性缺失和空间细节补偿不足的问题，提出了一种基于可逆神经网络的退化-融合学习框架RevFus。该研究通过可逆空间-光谱退化块建模退化过程，结合循环一致性自学习和结构细节补偿机制，显著提升了多光谱图像的空间分辨率与光谱保真度。实验表明，RevFus在QuickBird、Gaofen-2和WorldView-2数据集上均优于现有方法，并提出了量化模型可解释性的新指标IEC，为深度学习模型的可解释性评估提供了新思路。

　　

随着高分辨率对地观测技术的快速发展，遥感图像在环境监测、农业评估和城市管理等领域的应用日益深入。然而，由于传感器物理限制，光学遥感卫星通常分别采集高空间分辨率的全色（PAN）图像和低空间分辨率的多光谱（MS）图像。全色锐化（Pan-sharpening）技术旨在将二者融合，生成兼具高空间分辨率和高光谱分辨率的多光谱图像，但传统方法常面临光谱失真与空间细节不足的挑战。尤其在实际应用中，高分辨率多光谱真值数据的缺失使得无监督学习方法成为研究热点，然而现有方法往往忽视退化与融合过程的物理一致性，导致复杂场景下性能受限。

针对这一难题，慕尼黑工业大学Jiang He与Xiao Xiang Zhu团队在《International Journal of Applied Earth Observation and Geoinformation》上发表研究，提出了一种名为RevFus的无监督全色锐化新框架。该研究创新性地将融合问题重构为“退化-融合”的逆过程，通过可逆神经网络（INN）实现退化过程的精确建模与反转。框架包含两个核心阶段：退化-融合学习阶段通过可逆空间-光谱退化块（ISSDB）和Haar小波采样器实现分辨率缩放，并引入循环一致性自学习（CCSL）保证物理约束；结构细节补偿阶段则通过光谱对齐的细节重投影机制注入空间细节，结合空间-光谱对比学习（S²CL）提升特征对齐效果。此外，研究还提出了可解释性效能系数（IEC），首次从SHapley值中提取均值影响力、标准差、Top-3聚焦度等统计量，形成量化模型可解释性的统一指标。

关键技术方法包括：1）采用可逆神经网络构建退化-融合双向映射，通过Haar小波实现无损采样；2）设计循环一致性损失函数约束前向退化与反向融合的对称性；3）利用自适应信息注入（AII）模块实现空间细节的渐进式补偿；4）结合空间-光谱对比学习拉近融合结果与高质量参考的特征距离。

退化-融合学习的可逆架构

研究通过多尺度可逆网络实现从高分辨率多光谱图像到低分辨率观测的退化过程建模。每个尺度包含多个可逆空间-光谱退化块，通过通道分割和指数缩放操作保证变换的严格可逆性。Haar小波采样器采用固定卷积核实现图像的四分量分解，替代传统插值方法，确保上采样和下采样过程的信息无损传递。

结构细节补偿机制

在获得初始融合结果后，框架通过前向退化将结果投影至全色图像域，利用全色图像的空间细节信息，通过光谱转换重投影至多光谱域。自适应信息注入模块通过可学习权重平衡原始特征与增强差异信息的贡献，其计算过程可表示为：P? = ω₁·Conv₂(Conv₁(P′-P)) + ω₂·P′。

空间-光谱对比学习

通过Sobel算子从融合图像、多光谱图像和全色图像中提取空间梯度特征，构建正负样本对。损失函数采用归一化余弦相似度计算，使融合图像的空间特征与全色图像对齐，同时远离多光谱图像的低频特征，增强空间细节的迁移效果。

可解释性效能系数（IEC）设计

IEC整合四种SHapley值衍生指标：均值影响力（R）反映特征贡献强度，标准差（S）衡量贡献稳定性，Top-3聚焦度（F）评估决策集中性，影响熵（E）计算信息分散度。最终指标η = (R·F)/(S·E) · e^–|1–F|，通过非线性校正项突出解释的简洁性。

实验结果表明，RevFus在减少分辨率测试中各项指标显著领先：在QuickBird数据集上CC达0.9614，mPSNR为34.3730 dB，SAM降至3.0439°；在WorldView-2八波段数据上仍保持0.9002的CC和26.8413 dB的mPSNR。全分辨率评估中，其QNR指数最高达0.9711，空间失真D_s最低为0.0216。可视化对比显示，RevFus能有效保持植被区域的光谱特征，同时重建建筑轮廓等高频细节，避免过平滑或伪影问题。

研究结论表明，通过物理驱动的可逆退化建模与数据驱动的对比学习相结合，RevFus实现了无监督全色锐化中空间-光谱保真度的协同优化。提出的IEC指标为深度学习模型的可解释性评估提供了量化工具，弥补了传统方法依赖主观评价的不足。该框架对多传感器遥感数据融合具有普适性，为高精度遥感应用提供了可靠的技术支撑。