《ADVANCED ENGINEERING INFORMATICS》：Mixed reality and machine learning-guided cable robot framework (MMCR) for real-time prefabricated construction automation
编辑推荐：
智能预制装配中的混合现实与机器学习融合系统研究，通过MR界面与强化学习算法协同指导电缆机器人完成高精度构件装配，显著提升效率与安全性。
王琪|姜茂伟|于廷涛|胡玉松|董志勇|艾宏飞|王一凡|彼得·布什
清华大学深圳国际研究生院未来人类栖息地研究所，中国深圳
摘要
尽管自动化技术取得了 recent 进步，但 AECO 行业仍面临效率低下、成本高昂和安全风险等问题。为了解决这些问题，我们提出了 MMCR，这是一种基于混合现实（MR）和机器学习（ML）的电缆机器人系统，用于预制建筑的施工。HoloLens 2 MR 界面提供了空间定位的引导和风险提示，而 Unity ML 代理则实现了自主导航、避障、抓取和放置功能。在实际测试中，该系统能够实时操控预制构件，减少了人工干预和认知负担。与手动操作和仅使用 MR 的方案相比，MMCR 的定位误差降低了 4 倍，任务完成速度提高了 2.8 倍，操作员干预次数减少了 88.9%。这些结果表明，基于 MR 和学习的电缆机器人技术可以简化现场组装流程并提高安全性，为智能、高效的建筑施工提供了实际可行的途径。
引言
预制建筑越来越被认为是提高建筑、工程、施工和运营行业效率、质量和安全性的有效策略。通过在受控环境中制造标准化构件并在现场进行组装，预制建筑可以缩短施工时间、减少材料浪费并提升施工现场的安全性。然而，现场组装过程本身仍然具有相当大的挑战性 [1]、[2]。对准和放置大型预制构件需要人工操作者与重型设备之间的密切协调。但目前主要依赖静态的二维（2D）图纸、僵化的工作流程和手动操作，这导致了效率低下、错误频发以及安全风险增加 [3]。
混合现实（MR）、机器学习（ML）和机器人系统的最新进展表明，它们有潜力通过改善决策过程、减少错误并实现自适应自动化来转变复杂的工程工作流程 [4]、[5]、[6]。基于 MR 的系统使工人能够使用可穿戴设备或投影层来可视化设计意图和构件位置，从而提高空间感知能力并减少对 2D 图纸的依赖 [7]、[8]、[9]。基于 ML 的控制策略，特别是强化学习（RL），在不确定性环境下成功优化了机器人行为 [10]、[11]、[12]。同时，电缆驱动的机器人和其他自动化系统已被开发用于大规模组装任务，在结构化环境中提供了快速且精确的操作 [13]、[14]。
尽管每种技术都有其价值，但单独使用它们在现场应用时仍存在局限性。传统的机器人系统虽然精确，但通常依赖于预编程的程序和专用接口，当任务偏离原计划时，其可用性和适应性会受到限制 [15]、[16]、[17]。相比之下，MR 提供了一种以人为中心的交互方式，包括空间叠加和自然手势，降低了操作门槛 [18]、[19]。这种以人为中心的交互范式符合工业 5.0 的理念，即智能系统通过自然界面和以安全为导向的反馈来辅助工人，而不是取代人类的决策 [20]。传统的脚本化流程在高度结构化的环境中表现良好，但在布局变化、物体位置调整或约束条件变化时适应性较差。相比之下，经过充分训练的强化学习策略能够更有效地适应这些变化 [21]、[22]、[23]。
尽管 MR 和 RL 具有互补潜力，但早期的系统很少将这两种技术结合成适用于实际预制建筑组装工作流程的统一、交互式框架。现有的 MR 平台通常仅提供被动可视化和静态叠加，缺乏根据物理反馈或执行状态进行适应的能力。基于 RL 的代理通常在隔离的模拟环境中进行训练，缺乏实时人类指导或语义基础，限制了它们在动态现场任务中的适用性。虽然机器人控制器能够执行精确的动作，但它们往往依赖于预定义的任务图和脚本化程序，在面对布局变化或意外干扰时灵活性有限。因此，当前的方法难以应对实际预制建筑组装工作流程中的空间复杂性、操作不确定性和认知要求 [24]、[25]、[26]、[27]、[28]、[29]。
为了解决这些问题，我们提出了 MMCR，这是一种基于 MR–ML 的电缆机器人（CR）系统，用于智能预制建筑施工。MMCR 结合了实时 MR 界面以实现交互式空间引导、基于 RL 的机器人控制以实现自适应执行，以及 CR 平台以实现可扩展和精确的构件操作。这一统一系统支持智能、实时的人机协作：MR 向工人提供视觉叠加和风险提示，ML 负责路径规划和张力感知的操控，CR 负责高精度构件的物理放置（见图 1）。此外，Sim2RealSync 和 MR 界面在基于 Unity 的数字孪生模型、物理执行和操作员监督之间建立了双向、闭环的连接，为建筑施工奠定了概念上与工业元宇宙架构相一致的基础 [30]。虽然本文主要关注用于可靠任务执行的张力感知 RL，但同一个 Unity 数字孪生模型也可以支持未来的基于扩散的生成式规划，在实际操作前提出和评估替代组装策略（详见第 5.2 节）[31]、[32]。
我们通过与手动操作和仅使用 MR 的方案进行对比实验来验证 MMCR 的有效性。结果表明，MMCR 提高了组装精度和速度，同时显著降低了认知负担和人工干预的需求。本研究的主要贡献如下。
- 1.
我们提出了 MMCR，这是一个结合了 MR 引导的空间界面、基于 RL 的自适应控制和 CR 执行的统一框架，用于智能预制建筑组装。
- 2.
我们设计了一个集成学习框架，该框架结合了张力感知的 RL（TARL）策略，将实时电缆张力反馈融入策略优化中，通过引导式策略优化流程实现了稳定的、张力平衡的多电缆协调，同时融合了课程学习、模仿学习和基于协方差适应的策略优化（POCA），以加速动态预制建筑组装的鲁棒性策略收敛。
- 3.
我们实现了 Sim2RealSync，这是一种硬件在环（HIL）传输机制，用于将模拟训练与实际应用相结合。
- 4.
我们通过实验证明，MMCR 的性能优于手动和半自动化方案：在实际预制建筑组装任务中，其组装错误减少了 4 倍，任务完成速度提高了 2.8 倍，操作员干预次数减少了 88.9%，同时保持了高放置精度（99.6%）。
部分摘录
用于工人交互式培训和引导的 MR 界面
MR 作为一种实用的工具，已受到广泛关注，可用于建筑工人的培训和现场指导 [33]。通过将虚拟信息与真实环境结合，MR 支持高效、低风险的培训。例如，Bosché 等人 [34] 通过模拟建筑场景实现了无风险的技能学习和危险意识培养。Woodward 等人 [35] 将 MR 与四维 BIM 结合使用，使工人能够实时查看任务进度并与虚拟模型互动，从而提高了培训效果
方法论
本节介绍了我们提出的 MMCR 系统的方法论（见图 2）。首先，在第 3.1 节中解释了系统的架构（见图 3），详细介绍了关键组件的组合，包括 Microsoft HoloLens 2、Unity 中的 ML 代理和电缆驱动的机器人。第 3.2 节的第一部分描述了使用这些组件进行协作以自动化建筑施工的过程
实验
本节通过基于模拟的 RL 训练和实际机器人组装实验来评估所提出的 MMCR 系统。我们的评估包括三个部分：(i) 我们在定制的基于 Unity 的 CR 仿真器中比较了多种 RL 算法的性能，包括 PPO、POCA 和 SAC，以确定最有效的策略 [图 10(a)]。(ii) 我们研究了所选算法在多阶段奖励环境中的训练过程，以实现精确的构件运输 [图
成果
所提出的 MMCR 系统整合了 MR、ML 和 CR，为 AECO 行业的关键挑战提供了实用解决方案。它结合了实时 MR 可视化和交互、CR 的灵活性和精确性以及基于 ML 的决策制定，形成了一个完全自动化的预制建筑施工工作流程，旨在提高安全性、减轻人工负担并提升效率。我们认为这是朝着可扩展、适用于实际施工现场的建筑自动化方向迈出的一步
结论
本研究提出了一种基于 MR 和 ML 的电缆机器人系统（MMCR），该系统结合了基于 MR 的空间界面、基于 ML 的运动规划和自适应控制，用于预制建筑施工。通过实验评估（包括仿真和四臂用户研究），MMCR 显示出相对于手动操作和仅使用 MR 的工作流程，它在效率提升和操作员负担减轻方面具有显著优势。
该框架实现了高效的人机协作、精确的运动控制和安全的操作
CRediT 作者贡献声明
王琪：撰写 – 审稿与编辑、撰写 – 初稿、可视化、验证、监督、软件开发、资源管理、项目协调、方法论研究、资金申请、数据分析、概念构思。姜茂伟：撰写 – 审稿与编辑、撰写 – 初稿、方法论研究、数据分析。于廷涛：数据分析。胡玉松：软件开发、资源管理、项目协调。董志勇：概念构思。
利益冲突声明
作者声明他们没有已知的财务利益冲突或个人关系可能影响本文所述的工作。
致谢
本文所述的工作是“高密度城市环境中混合协作智能与人工智能驱动的建筑设计和机器人施工方法研究”（项目编号：20231129094641002）的一部分，该项目得到了中国深圳市科技创新委员会的资助。作者所在的机构——清华大学深圳国际研究生院，也为本研究提供了支持
