基于视觉-LiDAR融合技术的预制装配中姿态监测与碰撞检测

《AUTOMATION IN CONSTRUCTION》：Vision-LiDAR fusion for pose monitoring and collision detection in prefabricated assembly

高效六自由度姿态监控与碰撞预警在预制构件安装中的应用研究。提出无标记视觉-激光雷达融合方法，通过SAM2模型实现零样本分割，结合几何特征对齐与UKF预测进行实时姿态估计，并利用球查询找背景点云实现碰撞检测，实验室与现场测试验证反馈时间0.5秒。

　　

徐燕|杨建军|郑宝峰|张健

中国南京河海大学力学与工程科学学院，211100

摘要

高效的六自由度姿态监测对于预制构件的自动化组装至关重要，它能够实现可靠的路径规划和碰撞避免。虽然激光扫描可以提供高质量的3D数据，但其后处理延迟限制了实时反馈的速度，而施工现场的部分遮挡会进一步降低姿态估计的准确性。本文提出了一种无标记的视觉-LiDAR融合方法，用于在部分可见度条件下进行近实时的姿态监测和碰撞预警。该方法利用零样本视觉基础模型对图像中的构件和安装设备进行分割，并将得到的语义信息转换到3D空间进行点云预处理。通过解耦的几何特征对齐和图像反投影一致性检查来估计姿态，以减轻部分扫描时的纵向模糊问题。利用无迹卡尔曼滤波器进行姿态预测和球形查询空间范围搜索来识别潜在的碰撞风险。在预制墩柱安装的实验室和现场测试中，该系统实现了0.5秒的反馈时间，表明其具有有效的监测和碰撞预防能力。

引言

预制施工技术正在现代土木基础设施项目中变得越来越受欢迎。通过在受控的工厂环境中制造结构构件，并在现场进行组装，这种方法提高了质量控制，加快了施工进度，并降低了劳动力成本[1]。它被广泛应用于各种类型的基础设施中，包括建筑物、桥梁、隧道和模块化住宅等。

安装大型预制构件面临两个主要挑战：保持安装质量和确保安全。需要精确的对齐，即基础中的嵌入式钢筋必须与墩柱上的预钻孔和套管紧密配合，以确保安全、准确的安装。同时，提升作业通常在空间受限且充满设备和人员的现场进行，因此需要实时监测构件的位置和方向，以防止碰撞并降低风险。

目前，检查依赖于全站仪进行最终安装质量检测，而提升和定位过程则依靠操作员和现场工程师的目视检查。这导致了姿态意识和碰撞裕度的不确定性，与起重机相关的事故仍然时有发生[2]。

现代起重设备，尤其是塔式起重机，越来越多地配备了物联网（IoT）支持的传感器，如GPS模块、惯性测量单元和负载力矩指示器[3]。这些传感器安装在起重机主体、臂架和吊钩上，以提供起重机运行状态的实时监测。此外，起重机通常还配备了离散距离传感器，如超声波传感器和激光测距仪，以辅助碰撞监测和提升引导。然而，这些传感器通常只安装在几个固定位置，这限制了它们检测瞬态或侧向障碍物的能力。此外，现有系统往往缺乏直接监测悬挂载荷动态姿态和间隙的能力[4]。随着基于摄像头的物联网系统的普及，它们现在被集成到起重机系统中，并主要安装在关键位置，以提供对操作人员的视觉辅助。一些研究人员探索了结合使用摄像头和LiDAR系统来增强场景理解、改进路径规划[5]，并在起重机操作期间实现稳健的障碍物检测。尽管这些传感配置提高了起重机的状态监测能力，但它们很少考虑悬挂构件的几何复杂性和实际尺寸。在安装大型预制构件时，这一限制尤为明显，这需要地面人员近距离手动对齐，从而在工作区域内引入了动态障碍物。安装在起重机上的传感器在捕捉悬挂载荷的详细几何形状和动态姿态方面存在固有的局限性。因此，现有起重机安装系统的监测和碰撞避免功能很少能够覆盖悬挂的预制构件。

视觉-LiDAR融合是一种自然的预制构件姿态监测方法，它将图像语义与度量几何相结合。然而，大多数现有的算法是为自动驾驶和移动机器人开发的，直接应用于建筑提升作业仍然具有挑战性。预制构件的安装涉及大型构件和受限的传感器布置，导致频繁的部分观测，从而降低了2D-3D标签的完整性，并使得6自由度（6-DoF）配准变得困难，尤其是在构件的纵向方向上。同时，安全关键的操作需要在复杂环境中实现亚秒级的反馈。这引发了以下研究问题：如何在测量数据稀疏和部分可见度条件下，实现亚秒级的、时间稳定的6自由度姿态监测和碰撞接近度检测。

为了解决这一难题，本文提出了一种无标记、高效的视觉-LiDAR姿态监测方法，用于安装过程中的碰撞检测。该方法结合了起重机级别的监测和构件级别的姿态感知，以提高在复杂现场条件下的安全性和安装效率。具体来说，使用SAM2标签对图像序列中的预制构件和安装设备进行零样本跟踪。通过预校准的外部数据，将得到的2D语义信息投影到3D LiDAR点云上，将点分为构件、设备和背景部分。通过解耦的几何对齐来估计姿态，从稀疏的语义点云中提取纵向轴和截面姿态。使用2D反投影一致性检查来纠正部分可见度或视野外的纵向偏移，而UKF（Unscented Kalman Filter）则提供连续跟踪过程中的时间平滑和预测。利用预测的姿态，通过球形查询空间范围搜索在背景点云上识别潜在的碰撞风险。在预制墩柱安装的实验室和现场测试中，该系统实现了0.5秒的测量反馈时间。

本研究针对的是建筑现场的预制构件安装，其中构件在提升和插入过程中通常移动速度较低但覆盖范围较大。环境通常是结构固定的，但视觉上较为复杂，主要动态变化来自视角变化和临时工人的遮挡，而不是快速变化的几何形状。因此，所提出的方法是为这种操作场景设计的，并不适用于高速、高动态的场景。

本研究的主要贡献如下：

•

无标记的碰撞感知监测。我们提出了一种无标记的视觉-LiDAR融合方法，用于预制构件安装过程中的连续姿态监测和碰撞风险检测。该方法结合了起重机级别的监测和构件级别的姿态感知。

•

语义辅助的配准和预测，以实现快速更新。我们将零样本视觉分割线索投影到3D LiDAR上，以划分构件和设备点，并结合基于UKF的预测来获得现场尺度上的时间稳定姿态估计。为了处理提升过程中频繁的部分视野外截断现象，进一步引入了投影回图像的一致性检查，以检测截断引起的偏移并纠正构件的纵向偏差。

•

在实验室和现场测试中展示了亚秒级的性能。所提出的系统实现了亚秒级的姿态更新（=0.5秒），并通过受控的实验室提升测试和桥梁墩柱安装的户外现场测试得到了验证。

本文的结构如下：第2节回顾了现场6自由度（DoF）传感和视觉-LiDAR融合的相关工作；第3节概述了用于高效姿态监测和碰撞检测的视觉-LiDAR框架；第4节详细介绍了使用机械臂提升的轻型墩柱的实验室验证；第5节介绍了在桥梁墩柱安装过程中进行的现场测试。

相关研究

相关工作

本综述分为两部分。首先考虑了建筑现场6自由度（DoF）姿态传感的实际限制，这些限制阻碍了实时控制，然后探讨了视觉-LiDAR融合作为克服这些限制的手段。

方法论

本研究提出了一种无标记的视觉-LiDAR融合方法，用于在部分可见度条件下进行近实时的姿态监测和碰撞预警。这种面向部署的视觉-LiDAR流程包括五个主要步骤，如图1所示的流程图所示。首先，系统进行校准，以建立相机和LiDAR之间的几何关系。接下来，使用SAM2模型进行语义分割

实验室验证测试

为了验证所提出的方法，我们在受控环境中建立了一个实验装置，其中机械臂操作一个缩放的墩柱模型，模拟现实世界施工场景中的潜在碰撞风险。通过比较机械臂的姿态输出和监测系统收集的数据，实验能够全面评估姿态估计的准确性和碰撞检测性能。

现场验证测试

为了评估所提出的监测系统在现实世界施工场景中的实际适用性，我们在室外进行了实验，以评估其在复杂环境条件下的稳定性和测量准确性。

讨论

尽管本研究中使用了“监测”一词，但连续点云集之间的时间间隔为0.5秒，这明显长于高频运行的基于视觉的监测系统（例如0.05秒或20赫兹）。这个间隔主要由LiDAR数据采集的特性决定。与图像不同，点云捕获不是瞬时的，需要一定的时间来积累足够的空间信息。因此，必须

结论

本文提出了一种视觉-LiDAR融合系统，用于在预制构件安装过程中实现近实时的6自由度姿态监测和碰撞检测。通过结合视觉基础模型的语义感知能力和LiDAR的空间精度，该系统能够实现对预制构件及其周围安装设备的稳健和自动化跟踪。所提出的框架进一步结合了高效的姿态估计、时间预测和碰撞检测功能

CRediT作者贡献声明

徐燕：撰写——审稿与编辑、撰写——初稿、验证、监督、方法论研究、资金获取、正式分析、数据整理、概念化。杨建军：撰写——审稿与编辑、撰写——初稿、可视化、验证、方法论研究、正式分析、数据整理。郑宝峰：撰写——审稿与编辑、撰写——初稿、监督、方法论研究、概念化。张健：撰写——审稿

写作过程中使用生成式AI和AI辅助技术的声明

在准备本研究的过程中，作者使用了AI辅助工具来改进手稿的语言。使用该工具后，作者根据需要审查和编辑了内容，并对发表文章的内容负全责。

利益冲突声明

作者声明以下财务利益/个人关系可能被视为潜在的利益冲突：（徐燕报告称获得了中央高校基本研究基金的财政支持；杨建军报告称获得了国家自然科学基金的财政支持。如果有其他作者，他们声明没有已知的财务利益或个人关系可能影响研究结果。

致谢

本研究得到了中央高校基本研究基金（B250201236）和国家自然科学基金（52308306）的支持。作者对他们的支持表示衷心的感谢。