DMAF-Net：一种双模注意力融合网络，用于高精度密集激光条纹匹配

《ADVANCED ENGINEERING INFORMATICS》：DMAF-Net: A dual-modal attention fusion network for high-accuracy dense laser stripe matching

　　赖俊林|陈晨|裴玲|任展政|吕振鸣|刘飞
中国重庆大学机械传动国家重点实验室，400044

摘要
密集激光条纹（DLS）立体系统已成为高精度工业3D测量的关键技术。然而，在高条纹密度下，快速准确地匹配条纹中心仍然是一个核心挑战，因为此时的匹配歧义会急剧增加。为了解决这个问题，我们将传统的条纹顺序匹配任务重新表述为一个视差估计问题，并提出了DMAF-Net，这是一种基于双模态注意力融合框架的密集激光条纹视差估计网络。具体来说，我们设计了一个多阶段跨模态注意力融合（MCAF）模块，以充分利用RGB纹理信息和DLS几何特征的互补优势。此外，为了克服传统基于全局优化匹配方法的效率瓶颈，我们进一步引入了一种快速精细匹配策略，该策略结合了视差投影和连通分量交点。这种策略利用网络预测的高精度视差先验，快速且稳健地定位立体视图中的相应条纹点。在多种应用场景下的实验表明，我们的方法匹配成功率超过95%，比现有基线方法提高了30%以上。同时，我们的方法支持毫秒级推理，同时保持高精度，与传统的优化方法相比，处理效率提高了近两个数量级。

引言
作为主动视觉测量的核心技术，激光条纹3D测量系统[1][2][3]通过将激光线投影到目标上并捕获被物体表面地形调制的变形条纹来实现3D重建。与通常需要投影多帧图像的条纹投影结构光系统以及受重建精度限制的基于斑点的方法相比，激光条纹3D测量在测量高反射率金属表面、复杂曲面和动态场景方面具有显著优势，这得益于其高亮度、高信噪比（SNR）和单帧重建能力。
在追求高效测量的工业应用中，激光条纹系统获取的3D点数据量取决于单帧中投影的激光线数量。理论上，将单一线扩展到N条（N>100），即所谓的密集激光条纹（DLS），可以将测量效率提高N倍。然而，随着条纹密度的增加，传统的单目DLS测量模型面临严重的条纹识别歧义[4][5]，现有的基于系统映射的校准方法[6][7][8]也难以处理DLS模式中固有的空间混叠问题。尽管立体DLS系统[7][9][10]利用立体视觉原理来缓解这些问题，但在高密度场景中，左右视图中的条纹极易发生遮挡、交叉和形态相似性，导致搜索范围大幅扩大，匹配歧义急剧增加。
为了解决立体DLS匹配的挑战，传统的基于强度的匹配算法（SAD、Census [11]和SGBM [12]）由于DLS图像的高度重复纹理特性而效果不佳。因此，提出了各种利用几何约束的方法。例如，付等人[13]使用圆形目标进行基线校准，张等人[14]基于拓扑结构进行匹配。然而，这些方法在深度变化突然的区域缺乏鲁棒性。类似地，刘等人[15]引入了一种粗略到精细的策略，结合了透视投影进行粗略定位和最小光学平面距离约束进行精细匹配。尽管反向重投影[13][16]和多阶段迭代匹配[15][17]在一定程度上提高了精度，但它们受到匹配窗口选择难度和高计算成本的限制，无法满足工业应用的实时要求。此外，尽管基于像素的校准方法[7][18]支持并行计算，但它们仍然严重依赖于校准的空间范围，并且在高密度条纹条件下缺乏鲁棒性。
近年来，基于深度学习的立体匹配[19][20][21]的突破为解决这些挑战提供了新的思路。端到端神经网络能够直接从数据中学习强大的特征表示，有效缓解了非均匀照明、重复纹理和遮挡等问题。最近的研究探索了将深度学习整合到条纹测量中。刘等人[22]引入了一个基于斑点的辅助匹配框架，文等人[21]利用基础模型增强了跨场景的泛化能力。然而，现有方法要么需要额外的硬件辅助，要么主要依赖于单模态RGB特征。它们缺乏有效的深度融合和利用DLS几何特征与RGB纹理特征的方法，难以在保持高精度的同时实现工业级别的高效匹配。
鉴于此，我们提出了一种基于双模态注意力融合框架（DMAF-Net）的DLS匹配网络。与传统方法不同，我们首先将DLS匹配问题重新表述为一个视差估计任务。我们框架的核心是多阶段跨模态注意力融合（MCAF）模块，该模块通过深度融合RGB纹理和DLS几何模式来利用两种模态的协同作用。此外，通过利用网络生成的高精度视差先验，我们引入了一种基于视差投影和连通分量交点的快速精细匹配策略。这种策略避免了高复杂度全局优化的需要，将匹配效率提高了近两个数量级。实验结果表明，我们的方法充分利用了双模态信息的互补性，在高精度和高效率之间实现了稳健的平衡，同时有效解决了DLS匹配歧义问题。
总之，我们的工作主要贡献如下：
1. 我们将传统的DLS匹配问题重新表述为一个视差估计任务，并提出了DMAF-Net。
2. 我们提出了一种完全并行的精细匹配策略，利用视差先验实现毫秒级效率。
3. 我们开发了一个涵盖多种场景的多域DLS数据集。
4. 我们实现了基于DMAF-Net的DLS 3D测量系统，并在自由形式表面和金属零件上进行了系统验证。
本文的其余部分组织如下：第2节介绍了DLS测量系统的基本原理。第3节介绍了所提出的方法，包括DMAF-Net架构、MCAF模块和快速精细匹配策略。第4节报告了实验结果和比较分析。第5节对本文进行了总结。

系统概述
如图1(a)所示，DLS 3D重建系统主要由DLS投影模块和立体视觉系统组成。在毫秒级的时间控制下，系统交替捕获激光条纹DLS图像（IlD, IrD）和非激光RGB图像（IlR, IrR）。这种配置确保了DLS和RGB数据之间的高时间同步，同时有效减轻了运动伪影。
所提出系统的整体工作流程如图1(b)所示。

DMAF-Net：用于DLS立体匹配的双模态注意力融合网络
立体匹配的核心任务是从左右视图的特征中准确估计像素级别的视差图。这与我们在本文中提出的核心思想高度一致，即将稀疏DLS中心线的匹配转化为视差预测任务。
然而，DLS图像固有的高频重复纹理特性使得传统的灰度立体匹配算法（SAD、Census [11]和SGBM [12]）容易产生匹配错误。

DLS立体测量系统
如图9所示，我们构建了一个基于DLS技术的立体测量系统。该系统使用衍射光学元件（DOE）光栅模块作为DLS条纹投影单元。立体视觉子系统由两个分辨率为2448 × 2048的彩色HK CMOS工业相机组成，这两个相机分别安装在DOE光栅模块的左侧和右侧，配备6mm固定焦距镜头。计算和数据处理