PGCFuse：一种基于U-Net的渐进式门控卷积混合网络，具备全局上下文聚合功能，用于红外与可见光图像融合

《Scientific Reports》：PGCFuse: a U-Net-based progressive gated convmixer network with global context aggregation for infrared-visible image fusion

　　

摘要

红外（IR）和可见光（VI）图像融合旨在整合来自不同模态的互补信息，以提升在遥感、军事监控和自动驾驶等广泛应用中的视觉感知能力。虽然基于Transformer和Diffusion的方法显著提高了融合质量，但其计算复杂性和资源需求限制了实际应用。此外，一步合并特征可能会导致关键信息的丢失。为了解决这一问题，我们提出了PGCFuse，这是一种新颖的渐进式深度学习框架，用于融合VI和IR图像。该算法采用多层次渐进式特征提取策略，同时保留多尺度空间特征和细粒度局部细节以及全局上下文语义。与单流层次化方法不同，我们的编码器利用四个并行流进行渐进式下采样，并结合多尺度空间注意力融合模块，以自适应地突出不同模态中的显著区域。特别地，我们引入了门控卷积混合器（Gated Convmixer Block），它将深度可分离卷积与门控机制相结合，以增强特定模态的特征表示。此外，还引入了自适应全局特征聚合（Adaptive Global Feature Aggregation）模块，用于建模长距离依赖关系，从而细化特征表示。嵌套的跳跃连接解码器在重构融合图像的同时，保留了关键的结构和热信息。在基准数据集上的对比评估表明，PGCFuse在融合质量和计算效率方面均优于现有的最新深度学习方法。