《AUTOMATION IN CONSTRUCTION》：Weld seam extraction and path generation for robotic welding of steel structures based on 3D vision
编辑推荐：
基于CSL传感器的三维视觉焊接路径生成方法融合深度学习点云分割与多尺度配准算法，实现复杂钢结构焊接缝的高精度提取与全局路径规划，实验验证其效率与适应性优于传统方法。
Jinxin Yi|Xuan Kong|Hao Tang|Jie Zhang|Zhenming Chen|Lu Deng
湖南大学土木工程学院，长沙410082，中国
摘要
计算机视觉领域的最新进展为智能焊接提供了新的解决方案。然而，现有的基于视觉的焊缝提取技术在应对非结构化环境中的各种工件时适应性有限。因此，本文提出了一种基于三维视觉的方法，专门用于焊缝提取和路径生成。该方法结合了基于深度学习的点云分割技术和改进的多尺度点云配准算法，以重建工件上所有焊缝区域的完整点云模型。随后，利用优化的多平面拟合算法和焊缝的几何模型计算焊接路径和焊枪姿态。在四个工件上的实验验证表明，所提出的方法具有较高的准确性，并在效率和适用性方面优于现有技术，为钢结构的自动化焊接提供了可靠的解决方案。
引言
近年来，随着工业自动化和机器人技术的快速发展，机器人焊接已成为广泛应用的技术[[1], [2], [3], [4], [5], [6]]。传统上，机器人焊接操作主要依赖于示教-回放模式和离线编程[7,8]。尽管示教-回放模式操作简单，但对于复杂工件来说效率较低，并且对装配偏差非常敏感[9]。此外，焊接路径的准确性受到操作员技能的限制，难以满足高精度焊接的要求[10]。虽然离线编程可以实现更高程度的自动化，但由于加工和夹具误差，设计模型与实际工件之间存在较大差异，导致生成的焊接路径经常失效[11]。
计算机视觉技术的整合为智能焊接开辟了新的途径[12,13]。在现有的研究中，二维（2D）视觉方法因其硬件简单性和易于实现而被广泛采用。这些方法应用图像处理技术来提取信息，主要用于焊缝类型识别[14]、熔池监控[15]和焊接质量检测[16]。然而，这些方法的检测精度有限，无法捕捉深度信息，因此不适合检测复杂焊缝的三维（3D）特征。相比之下，3D视觉传感器提供了更好的空间感知能力，使其在焊缝提取和路径生成方面非常有效[[17], [18], [19], [20]]。常见的3D视觉传感器主要包括激光结构光（LSL）传感器、双目立体视觉传感器、RGB-D相机和编码结构光（CSL）传感器。
LSL传感器通过投影激光线条并结合视觉传感器，实现了焊缝的三维重建，在实时性能和识别精度方面具有显著优势[[21], [22], [23], [24], [25]]。Wang等人[26]开发了一种使用单线LSL传感器来解决三种不同焊接跟踪场景的方案：短焊缝、空间曲线焊缝和长焊缝。同样，Ma等人[27]设计了一种用于空间圆形焊缝的LSL传感器，并通过自更新模板匹配和随机样本一致性（RANSAC）实现了稳健的实时焊接跟踪。为了应对材料多样性，Wu等人[28]引入了一种适用于碳钢、不锈钢和铝合金等多种反射材料的特征提取方法。Lei等人[29]进一步结合了偏振视觉来减少高反射材料上的噪声，从而降低了算法复杂度并提高了图像处理效率。为了应对窄焊缝中激光条纹变形的问题，Fan等人[30]提出了一种使用LSL传感器和辅助发光二极管（LED）照明的初始点对齐和焊接跟踪方法，该方法对平面和弯曲的窄焊缝都有效。此外，Nguyen等人[31]构建了一种三线LSL传感器，并开发了一种基于深度学习的跟踪方法，用于窄间隙方形槽焊缝，提高了准确性和效率。然而，LSL传感器的局部感测特性限制了其视野范围，只能捕捉焊缝附近的区域，无法捕捉工件的整体几何形状，这使得这些传感器不适用于全局路径生成，主要应用于实时跟踪场景。
双目立体视觉传感器利用双目视差原理，通过两个摄像头从不同角度捕捉场景。然后通过立体匹配算法计算深度信息，从而确定3D焊接路径[32,33]。Ma等人[34]开发了WeldNet，这是一种能够自动分类不同类型焊缝（包括对接焊、搭接焊和角焊）的深度神经网络。此外，该方法基于双位置单目视觉实现了焊接起点的快速且经济高效的定位。然而，这些传感器在背景复杂或表面纹理稀疏的环境中表现不佳，这会妨碍特征点匹配并降低重建精度。RGB-D相机能够同时捕捉颜色（RGB）和深度信息，在经济高效的3D成像和环境感知方面具有显著优势。Zhou等人[35]利用这项技术重建了工件点云模型，并应用基于强度的边缘检测算法进行焊接路径提取，证明了其在各种工件上的鲁棒性。尽管如此，测量范围和精度的固有限制仍然是主要挑战。
编码结构光（CSL）传感器通过将编码的条纹或网格图案投影到目标表面来提取高精度的3D信息[36]。与其它3D视觉传感器相比，CSL传感器在全局信息获取和重建精度方面表现优异。Yang等人[37]提出了一种基于点到平面距离的V型槽焊特征提取方法，利用CSL相机实现了焊缝的自动提取。Lu等人[38]设计了一种紧凑的单目CSL传感器，结合了灰度和相位移动编码光栅，成功提取了弯曲焊缝的位置和姿态。Geng等人[39,40]利用CSL相机获取了叶轮叶片和三种类型工件的点云，促进了高效准确的机器人路径规划。Ma等人[41]提出了一个框架，通过非刚性配准将设计模型与工件扫描的点云进行匹配，生成对接焊、搭接焊和角焊空间曲线焊的焊接路径。尽管有这些贡献，当前研究中仍存在两个主要限制。首先，现有研究主要集中在具有单一方向或特定结构的工件上，而关于复杂结构组件的研究较少。其次，大多数焊接路径生成策略都是针对受控场景设计的，缺乏一种能够适应多样化和非结构化焊接环境的统一方法。因此，关键的研究问题是：如何为复杂钢结构建立一个自动化且统一的焊缝提取和路径生成框架，以确保高精度和鲁棒性，而不依赖于先前的设计模型？
为了解决这个问题，本研究提出了一种基于CSL相机的钢结构焊缝提取和路径生成方法。本研究的主要贡献如下：
1)使用点云分割网络来隔离焊缝区域，提高了在复杂工业环境中的鲁棒性。
2)引入了一种多尺度点云配准技术，以重建工件上所有焊缝区域的完整点云模型。这种方法消除了对先前设计模型的依赖，从而提高了方法的适应性。
3)开发了一种实时算法，用于多焊缝定位和焊接姿态生成，提高了焊接过程的自动化水平。
本研究为复杂工件的智能焊接提供了解决方案，具有理论意义和实际应用价值。本文的其余部分组织如下：第2节描述了系统配置和方法框架；第3节介绍了点云分割；第4节讨论了使用不同视角的点云配准；第5节介绍了多平面拟合；第6节详细介绍了焊接路径和姿态的生成；第7节报告了实验验证结果并讨论了性能表现；第8节提供了结论性和未来研究方向。
配置和框架
目前，用于机器人焊接的3D视觉传感器主要包括LSL传感器、双目立体视觉传感器、RGB-D相机和CSL传感器。表1对比分析了它们的工作原理、优点和局限性。比较结果显示，CSL传感器在处理复杂几何形状时表现出更好的鲁棒性和高精度平衡。因此，选择CSL传感器作为本研究的最佳视觉感知设备。
点云分割
如图3所示，使用CSL相机从多个角度捕获了工件的RGB图像和点云。
为了有效减少点云数据中的噪声影响，本研究采用深度学习技术对焊缝区域进行分割。PointNet[42]是一种能够直接处理点云数据的开创性架构，它使用对称的最大池化操作来处理点云的固有无序结构。
使用不同视角的点云配准
由于相机的视野范围有限以及工件的遮挡，单视角捕获无法获取完整的点云模型，如图3(d)～(f)所示。因此，本研究提出了一种多尺度点云配准方法，用于合并来自不同视角的点云，如图6所示。该方法利用操作器姿态数据和手眼校准参数进行粗略配准，然后基于此进行层次细化配准。
点云的多平面拟合
钢结构工件通常由标准化的平面板组成。因此，通过对工件分割后的完整点云进行多平面拟合，可以根据获得的平面参数计算焊接路径和焊枪姿态。为了确保准确性、鲁棒性和计算效率，提出了一种改进的RANSAC算法来对焊缝区域的点云进行多平面拟合。
焊接路径和姿态的生成
对于每一对正交的钢板，交线代表工件的角焊缝。相交平面和焊缝之间的几何关系使得焊接路径和姿态的有效提取成为可能，如图17(a)所示。
实验验证
为了验证所提出方法的有效性，建立了一个机器人测试平台，如图19所示。CSL相机牢固地安装在操作器的末端，形成了“眼在手”系统。使用该平台，将所提出的框架应用于识别四种不同工件的焊缝并生成路径。
结论
为了解决复杂焊接环境和工件变异性带来的挑战，本文提出了一个结合深度学习和点云处理技术的框架，以实现稳健的焊缝提取和自动路径生成。主要结论如下：
(1)通过引入PointNet++进行焊缝区域分割，有效减轻了环境干扰的影响。该过程过滤掉了冗余的点云数据，提供了
作者贡献声明
Jinxin Yi：撰写——审阅与编辑、原始草稿撰写、可视化、验证、软件开发、方法论设计、调查、形式分析、数据整理、概念化。
Xuan Kong：撰写——审阅与编辑、监督、资源协调、方法论设计、资金获取、形式分析、概念化。
Hao Tang：撰写——审阅与编辑、验证、软件开发、调查。
Jie Zhang：撰写——审阅与编辑、可视化、验证、软件开发、调查。
Zhenming Chen：
利益冲突声明
作者声明他们没有已知的可能会影响本研究报告工作的财务利益或个人关系。
致谢
本工作得到了国家自然科学基金（资助编号：52578362）的支持。
