模块化梯度显著性并行注意力机制与高效多尺度混合算法在ISAR光学图像融合中的应用

《Pattern Recognition》：Modular gradient-saliency parallel attention and efficient multi-scale shuffle for ISAR-optical image fusion

　　王泽|刘磊|张振熙|杜荣臻|周万婷|孙豆|蔡静静|白雪如|周峰
中国西安电子科技大学，教育部电子信息对抗与仿真技术重点实验室，710071

**摘要**
逆合成孔径雷达（ISAR）与光学图像融合可以将光学图像中的航天器轮廓与ISAR图像中的精细纹理结合起来。然而，现有的基于自动编码器（AE）的融合方法由于卷积的感受野有限，难以捕捉ISAR图像的纹理特征。为了克服这些限制，我们提出了一种新颖的模块化梯度激活与显著性增强并行注意力（GSPA）融合策略。从高通滤波的角度来看，该策略在深度表示中重新激活了丰富的ISAR纹理特征，从而增强了ISAR与光学图像之间互补信息的融合。此外，所提出的模块化融合策略可以无缝集成到现有的基于AE的融合框架中，展示了其在多域感知中的适应性和可迁移性。考虑到下采样和嵌套连接引入的高计算复杂性，我们开发了一种高效的多尺度混合模块（MS2M），在保持计算效率的同时增强了不同感受野特征之间的交互。最后，我们提出了一个用于ISAR和光学图像融合的梯度激活多尺度混合网络（GRMS2Net）。未经任何微调，实验结果表明，该方法在ISAR-光学图像融合和红外-可见光图像融合方面均显著优于其他最先进方法，并显著降低了计算复杂性。这些结果表明，GRMS2Net为推进基于AE的图像融合方法提供了一种实用且高效的解决方案。

**引言**
逆合成孔径雷达（ISAR）和光学传感器是两种主要的航天器成像方法[1]。ISAR通过接收目标的回波来实现成像，通常可以提供边缘、凸起和角落等细节。然而，ISAR图像具有显著的稀疏性，无法完全显示航天器的轮廓，这使得直接解释变得有些困难。光学传感器通过接收目标的可见光或红外反射来实现成像，通常可以提供航天器轮廓的完整表示，从而便于人眼解读。然而，光学传感器受天气和光照条件的影响较大，难以捕捉到详细的目标特征[2]。总之，单一成像传感器的固有物理限制使得全面捕捉观测目标的完整特征和详细信息变得具有挑战性[3]。为了解决这个问题，设计了图像融合方法，以结合ISAR和光学图像的互补信息，在航天器分类[4]、在轨状态估计[5]和3D结构重建[6]中发挥着重要作用。

通常，图像融合方法可以分为两类：传统方法和基于深度学习的方法。传统方法主要包括基于多尺度分解（MSD）的方法[7]、基于稀疏表示（SR）的方法[8]、基于优化的方法[9]、基于子空间的方法[10]以及混合方法[11]。例如，王等人使用MSD提取ISAR和光学图像的多尺度特征，利用适当的融合策略在不同尺度上整合特征，并通过逆变换重建融合图像。尽管传统融合方法表现出令人满意的性能，但它们有几个缺点：（1）大多数传统方法使用统一的特征变换或表示模型进行多模态特征提取，而忽略了模态之间的固有差异；（2）融合性能严重依赖于特征变换和融合策略；（3）提取的特征仅限于浅层空间特征，忽略了深层语义信息。

基于深度学习的融合方法在有效提取和表示特征方面显示出巨大潜力。尽管关于ISAR和光学图像的基于深度学习的方法的研究较少，但已经有很多关于红外和可见光图像融合（IVIF）的研究，这些研究也旨在将一种图像的详细纹理与另一种图像的轮廓融合起来[12]。通常，它们可以分为四类：基于卷积神经网络（CNN）的方法[13]、基于生成对抗网络（GAN）的方法[14]、基于Transformer的方法[15]以及基于自动编码器（AE）的方法[16]。其中，基于AE的方法无需预注册的多源图像训练集即可学习复杂的特征表示，因此非常适合训练集有限的ISAR和光学图像融合。具体来说，现有的方法[16]、[17]通过三个主要组件实现特征提取、特征融合和融合图像生成：编码器、融合策略和解码器。例如，李等人提出了DenseFuse[16]和NestFuse[18]，前者采用密集连接和加法融合策略；后者采用嵌套连接和注意力融合策略。然而，为了实现多尺度特征提取和融合，NestFuse和RFN-Nest[17]使用了下采样和嵌套连接，因此它们具有较大的网络参数和高计算复杂性。此外，这些方法未能考虑不同尺度特征之间的交互，从而阻碍了模型有效捕捉级联分支中的互补信息。此外，基于AE的方法采用的现有融合策略不能直接应用于ISAR和光学图像融合。如图1(c)所示，DenseFuse[16]中的加权平均规则显著降低了图像对比度和能量，从而使突出结构变得模糊。由于ISAR图像的稀疏性和卷积操作的感受野有限，NestFuse中的基于注意力的加权机制导致融合权重分配不平衡。如图1(d)中的红色框所示，ISAR图像的面板和头部纹理被遮挡，导致严重的信息丢失。

为了克服下采样和嵌套连接的冗余，我们提出了一种新颖的多尺度混合模块（MS2M）。一方面，通过对多个感受野进行深度卷积，增强了沿级联扩展路径生成的特征，同时保持了计算效率。另一方面，通道混合[19]促进了跨通道交互，增强了多尺度特征整合。为了减轻现有融合策略中的权重分配不平衡问题，我们提出了一种梯度激活与显著性增强并行注意力（GSPA）融合策略。该策略受到高通滤波的启发，重新激活了深度特征中的梯度信息，增强了纹理细节和显著结构的感知，从而增强了互补信息的融合。此外，该策略可以无缝集成到现有的基于AE的融合框架中，展示了其在多域感知任务中的强泛化能力和可迁移性。总之，我们开发了一个梯度激活多尺度混合网络（GRMS2Net）来解决ISAR和光学图像融合问题。实验结果表明，所提出的方法在各种评估指标上均表现出良好的性能，如图2所示。

**总结**
本文的主要贡献如下：
（1）提出了一种高效的MS2M，能够在不需要下采样操作的情况下捕获和聚合不同感受野的特征。
（2）我们提出了一种新颖的模块化GSPA融合策略。从高通滤波的角度来看，它重新激活了深度特征中的梯度信息，改善了ISAR纹理细节的感知，并指导了融合权重的分配，从而增强了互补信息的整合。
（3）我们为ISAR和光学图像融合设计了一种新颖的GRMS2Net。据我们所知，这项工作是深度学习在ISAR和光学图像融合领域的首次应用。

**论文结构**
第2节简要回顾了基于AE的图像融合和CNN中的注意力模型；第3节详细介绍了所提出的融合框架；第4节展示了实验结果；第5节总结了未来的工作。

**相关工作**
在本节中，我们首先回顾了现有的基于AE的IVIF方法，然后简要介绍了CNN中注意力机制的发展。

**提出的方法**
所提出的GRMS2Net专注于高效聚合ISAR和光学图像中的多尺度特征，同时感知和重新激活ISAR图像的纹理特征，从而增强了互补信息的整合。在本节中，我们首先详细阐述了GRMS2Net的融合网络结构，包括所提出的MS2M的结构。随后，我们介绍了AE网络的训练阶段。最后，我们介绍了ISAR和光学图像的GSPA融合策略。

**实验结果**
在本节中，我们首先详细描述了实验设置。然后，我们将其性能与最先进方法进行了定性和定量比较。还进行了其他视觉任务的实验，以展示所提出方法在下游感知任务中的潜力。进一步进行了消融研究，以验证所提出方法每个模块的有效性。此外，还在TNO[28]和MSRS[29]数据集上进行了IVIF实验。

**结论**
为了解决ISAR图像的稀疏性和卷积感受野限制导致的现有融合方法的局限性，我们提出了一种新颖的GRMS2Net。首先，MS2M高效地执行了多尺度特征的提取、交互和聚合。随后，通过采用高通滤波的视角，我们利用ISAR图像中的丰富纹理信息设计了GSPA融合策略。该策略改善了纹理的重新激活和感知。

**作者贡献声明**
王泽：撰写 – 审稿与编辑、撰写 – 原稿、可视化、验证、监督、软件、方法论、调查、形式分析、数据整理、概念化。
刘磊：撰写 – 审稿与编辑、监督、资源获取。
张振熙：撰写 – 审稿与编辑、可视化、监督、方法论、概念化。
杜荣臻：撰写 – 审稿与编辑、监督、项目管理、调查。
周万婷：数据整理。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。