用于高动态范围三维测量的增强型格雷码模式

《Optics and Lasers in Engineering》：Enhanced gray code pattern for high dynamic range three-dimensional measurement

图像配准与融合方法中，动态卷积与Mamba结合提出DCMamba模型，通过多尺度变形估计、动态多级特征提取和差分渐进融合，提升局部细节与全局语义的平衡，实验证明优于现有方法。

　　

张云德|孔俊|陶学峰|卢明|蒋敏

江南大学先进轻工业过程控制重点实验室（教育部），中国无锡，214122

摘要

联合图像配准与融合旨在对齐源图像并生成丰富、互补的融合图像。现有方法依赖于静态卷积或注意力机制来融合错位的图像。然而，这些方法忽略了自适应感受野和全局-局部耦合，导致细粒度局部细节受损以及全局上下文语义减弱。在本文中，我们提出了一种基于动态卷积和Mamba的差分耦合网络（DCMamba）用于错位图像的配准与融合。首先，为了校正多尺度几何畸变，我们提出了渐进式差分配准（PDR）方法，该方法通过空间和通道差分加权来估计多尺度变形场。其次，为了增强细粒度局部细节和全局-局部特征耦合，我们开发了动态多层特征提取（DMFE）方法，该方法结合了动态卷积和SingleMamba来强化局部和全局特征表示。最后，为了提高互补语义和全局-局部融合耦合，我们设计了差分渐进式Mamba融合（DPMF）方法，该方法结合了通道交换和多模态Mamba，增强了细粒度局部细节和全局上下文语义。在大量错位多模态数据集上的实验表明，DCMamba在配准精度和融合质量方面均优于现有方法。

引言

红外和可见光图像融合（IVIF）整合了互补的热量和纹理信息，生成高质量且模态互补的融合图像。它在遥感[1]、目标检测[2]、医学诊断[3]、[4]和军事侦察[5]中发挥着重要作用。

实际上，来自不同传感器的红外和可见光图像常常存在空间错位。这种错位主要是由于视差[6]、传感器姿态偏差或仿射畸变引起的。现有的IVIF方法[7]、[8]、[9]、[10]、[11]主要是为对齐良好的图像对设计的。直接融合错位的图像通常会导致失真，从而产生模糊的边缘或结构伪影。为了解决这个问题，一些研究[12]、[13]将图像配准集成到IVIF中，形成了联合图像配准与融合（JIRF）框架，如图1(a)所示。JIRF旨在通过同时优化空间对齐和特征融合来保留细粒度局部细节和全局上下文语义。

尽管JIRF取得了进展，但现有方法[6]、[14]、[15]、[16]仍然难以保留细粒度细节和全局-局部耦合。基于CNN的JIRF方法[6]、[14]往往过分强调局部纹理，这限制了它们的自适应感受野并阻碍了长距离依赖关系的建模。此外，基于Transformer的方法[15]、[17]、[18]通过自注意力来建模长距离依赖关系，但块状独立性引入了块伪影，而静态注意力无法适应动态任务。结果，空间连续性在初始阶段就被离散化和压缩，减少了每个块内的高频细节和像素级结构信息。

最近，状态空间模型（SSMs）[19]、[20]，特别是Mamba[21]，作为一种高效的长距离建模新范式出现。其选择性的状态转换使得全局推理具有线性复杂度，并且在各种视觉任务中表现出色。这为将Mamba引入JIRF提供了有希望的方向。

然而，现有的基于Mamba的方法[22]、[23]主要强调全局表示，忽略了局部细纹理（例如边缘、纹理）与全局语义（例如布局、场景结构）之间的耦合。这种“全局优先、局部次要”的偏见常常导致融合图像中的细节模糊或语义不一致（图2），尤其是在行人和车牌区域。为了利用全局和局部的优势，我们提出了一种差分耦合网络[24]，将动态卷积和Mamba集成到JIRF中（图1(b)）。与现有方法不同，我们提出了一种明确的差分全局-局部耦合策略，在统一框架内结合动态卷积进行局部适应和Mamba进行长距离依赖关系建模。该设计同时优化了局部和全局表示，有效保留了细粒度纹理，同时保持了全局语义一致性。与现有JIRF方法的区别总结在表1中。

本文提出了DCMamba，一种基于动态卷积和Mamba的差分耦合网络，如图3所示。DCMamba由一个配准网络（$N_R$）和一个融合网络（$N_F$）组成。首先，$N_R$采用渐进式差分配准（PDR）来估计多尺度变形场。它引入了差分加权以解决几何错位问题。空间权重突出边缘丰富的区域，以实现精确的局部对齐。通道权重强调模态特定特征，以促进跨模态语义对齐。其次，为了增强全局-局部特征耦合，我们提出了动态多层特征提取（DMFE），该方法结合动态卷积和自适应感受野来提取局部细节特征，而SingleMamba（S-Mamba）捕获长距离依赖关系以增强全局语义。第三，为了提高跨模态互补性和全局-局部融合耦合，我们提出了差分渐进式Mamba融合（DPMF）。

它采用通道交换融合（CEF）与S-Mamba来细化细粒度局部细节，并采用密集Mamba融合（DMF）与多模态Mamba（M-Mamba）来建模长距离依赖关系并强化全局上下文语义。我们的主要贡献总结如下：

•

DCMamba结合动态卷积和Mamba来校正错位图像并加强全局-局部耦合。

•

PDR通过差分加权估计多尺度变形场，有效校正空间畸变和伪影。

•

DMFE结合全维度动态卷积和S-Mamba，提高细粒度和长距离特征的提取效果。

•

DPMF通过CEF和DMF实现差分融合，共同增强融合的互补性和语义完整性。

章节片段

联合图像配准与融合

联合图像配准与融合旨在校正错位并生成具有丰富纹理和显著结构的融合图像。早期研究[25]、[31]、[32]将配准和融合视为两个阶段的任务。黄等人[31]采用了双相循环注意力学习JIRF框架。李等人[32]将图像配准嵌入到特征提取阶段，然后进行图像融合。然而，这些方法忽略了跨模态差异和联合优化，通常会导致

动机与概述

现有的红外和可见光图像配准与融合框架在对齐的图像对上表现良好，但忽略了长距离特征依赖关系和细粒度局部细节。与以往的方法不同，我们提出了DCMamba，一种全局-局部耦合的配准与融合网络，如图3所示。给定源可见光图像$I_i\in R^{H\times W\times 3}$和源错位红外图像作为输入。错位的图像对首先被输入到配准网络$N_R$

数据集

我们在广泛使用的多光谱道路场景（MSRS）数据集[58]上训练了所提出的DCMamba，该数据集包含1444对高质量的红外-可见光图像对（715对白天和729对夜间），涵盖九个类别。按照默认划分，1083对用于训练，361对用于测试。为了全面评估配准精度、融合质量和语义分割性能，我们在三个数据集上进行了实验：MSRS（361对）、TNO（42对）[59]和M3FD

结论

在这项工作中，我们提出了DCMamba，这是一个用于融合错位多模态图像的统一框架，它增强了局部纹理细节和全局上下文语义。首先，PDR利用差分加权逐步估计最优变形场，有效校正了空间畸变。其次，DMFE结合全维度动态卷积和Mamba来加强特征耦合，平衡了细粒度细节和长距离依赖关系。第三，

CRediT作者贡献声明

张云德：撰写——原始草稿、概念化、数据管理、形式分析、调查、方法论、软件开发、验证、可视化、撰写——审阅与编辑。孔俊：监督、资金获取。陶学峰：调查、可视化、撰写——审阅与编辑。卢明：调查、可视化、撰写——审阅与编辑。蒋敏：监督、资金获取。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了国家自然科学基金（项目编号62,371,209和62371208）、111项目（B12018资助）以及江苏省研究生研究与实践创新计划（中央高校基本研究经费）（KYCX24_2515）的支持。