一种高效、考虑遮挡情况的多机器人视觉集成制造中的可见性保障方法

《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》：An efficient occlusion-aware visibility assurance method for multi-robot vision-integrated manufacturing

基于实时遮挡检测与在线恢复可见性的制造系统自适应方法，提出最小特征向量拟合相机可视区域与Minkowski差集转换遮挡关系为凸连杆分离问题的创新机制，并设计三阶段人工势场法实现高效可见性恢复。实验验证该方法在双机械臂协同场景中的有效性。

　　

朱东来|孙丹峰|胡俊杰|肖泽云|严毅|吴惠峰

杭州电子科技大学计算机科学学院，中国浙江省杭州市310018

摘要

将操作器与视觉系统结合的柔性制造越来越被视为工业自动化的一个重要趋势。然而，当前的制造系统通常缺乏感知相机视野内遮挡的能力，通常依赖操作器的运动来预设姿态以恢复可见性，这降低了可靠性和效率。为了克服这一挑战，本文提出了一种具有遮挡感知能力的可见性保证方法，该方法通过组合两个核心模块实现了实时遮挡检测和在线可见性恢复。检测模块利用二次型的最小特征向量将相机可观察区域拟合为操作器运动学模型中的圆锥形扩展连杆。Minkowski差分被用来将遮挡关系转换为操作器凸连杆之间的简洁分离关系。去除模块采用分段人工势场方法，生成一个三相排斥场，利用视觉连杆的结构有效地引导操作器从相机的工作视野中撤出。双操作器合作的实验验证了所提出方法能够实现准确的遮挡检测和快速恢复，从而提高了可靠性和效率。该方法具有通用性，非常适合多机器人视觉集成制造场景。

引言

随着工业自动化的进步和具身智能的快速发展，将工业操作器与视觉系统集成的自动化系统已被广泛应用。机器视觉可以实现人机协作[2]、动作识别[3]以及物体识别和定位[4]等功能，帮助操作器感知环境并执行自主任务。

与当前自动系统中的传统开环视觉引导“先看后动”方法不同，相机在操作过程中的连续感知变得越来越重要。例如，连续图像捕捉允许模型感知被操作物体的时间变化[5]，或在多机器人协作中补充观察空间中的信息[6]。然而，这一关键的感知过程经常被操作器的运动引起的遮挡所干扰，甚至可能导致识别结果失败[7]。因此，类似于碰撞检测[8]，视觉集成多机器人制造系统需要引入一种“视觉碰撞检测”机制，即遮挡检测机制，通过检测是否有外来物体侵入相机的视野（FoV）来确定视觉感知的可靠性。在此基础上，系统还应具备确保或恢复相机可见性的能力。

目前，现有的遮挡检测机制主要在二维或三维空间中实现。在二维域中，通过计算目标物体和障碍物的点线特征之间的像素距离可以判断是否发生遮挡[9]。另一种方法[10]通过计算目标物体和障碍物图像投影的凸包的最小交集缩放因子来测量遮挡关系，从而实现更高的准确性。

在三维空间中，遮挡检测的执行效率更高，因为不需要投影步骤。例如，[11]采用了视线（LoS）的概念，并通过计算障碍物与视线之间的距离来量化遮挡。尽管这种方法计算效率高，但容易产生误检测。为了解决这个问题，另一种方法[12]为目标物体和障碍物引入了圆锥形视野，有效地减少了视野内的空间冗余。然而，现有的遮挡检测方法主要集中在单机器人场景中，通过设置较大的冗余视野来保证可靠性，导致检测精度相对较低。

为了进一步解决保持或恢复相机可见性的挑战，现有研究主要集中在三个领域：冗余视觉系统、运动规划和视觉特征估计。冗余视觉系统[13]通过利用视角冗余和互补性来提高目标观测的鲁棒性和准确性；即使发生遮挡，冗余相机视图之间的几何交集仍可以近似真实的目标姿态[14]。运动规划方法旨在调整相机的视角[15]或规划操作器轨迹[11]，以实现相机和操作器之间的最大互斥[16]。例如，研究人员应用隐函数定理和KKT条件来求解理想末端执行器相机姿态，从而最大化目标物体和障碍物之间的像素距离[10]。视觉特征估计侧重于恢复被遮挡的二维[17]或三维特征[18]；通过动态屏蔽卷积计算，研究人员有效解决了视频序列中的时空遮挡问题[19]。

冗余视觉系统和运动规划方法的核心思想是保持相机的可见性。然而，在大多数操作场景中，操作器的末端执行器必须满足力反馈约束[20]并保持与工件的接触，使得自我遮挡[21]成为不可避免。尽管视觉特征估计方法可以恢复被遮挡的区域[22]，但它们依赖于高计算资源并且可靠性有限[23]。因此，现有方法通常通过驱动操作器到预定义的姿态来恢复正常的相机感知。然而，这些策略需要大量的冗余运动来保证可见性，导致效率降低，并且在相机视角变化时需要重复进行运动规划。为了解决这个问题，受到广泛应用于机器人控制的碰撞解决机制的启发[24]，我们提出了一种自主遮挡去除机制，通过引导操作器从相机视野中撤出来有效地恢复可见性，并且能够适应动态变化的相机视角（见图1）。

本研究的主要创新如下：

• 1.
  我们提出了一种高效的、具有遮挡感知能力的制造系统可见性保证方法，该方法通过实时遮挡检测评估视觉感知的可靠性，并通过高效的遮挡去除快速恢复可见性。
• 2.
  使用Minkowski差分[25]来描述相机视野与机器人连杆之间的遮挡关系，并基于二次型的最小特征向量将相机的视线覆盖区域最小化地拟合为扩展的操作器连杆。这将遮挡关系抽象为虚拟视觉连杆与其他凸连杆之间的交集，显著提高了遮挡检测的通用性和准确性。
• 3.
  提出了一种基于人工势场的运动优化算法，用于快速去除操作器对相机视野的遮挡。该算法将遮挡去除过程分为三个排斥场阶段，并引入了双关键点对计算机制来优化排斥力方向，克服了传统势场无法考虑排斥源几何形状的局限性。

本文的其余部分组织如下：第2节回顾相关工作；第3节详细介绍了所提出的方法及其实现；第4节展示了来自仿真和实际实验的结果；最后，第5节总结并概述了未来的研究方向。

节选内容

三维空间中的遮挡检测

三维空间中遮挡检测的核心思想是判断目标物体与相机之间的视线是否被阻挡[26]，这需要建模观察目标所需的视线覆盖区域。在早期方法中，该区域被表示为连接目标和相机的直线。通过计算障碍物与该直线之间的距离并与阈值进行比较，可以检测到遮挡[27]。这种方法

问题陈述

本文提出的方法关注多机器人协作场景中的可见性保证问题。目标是通过操作器实现可靠的遮挡检测和高效去除。

在遮挡检测中，问题在于构建一个更准确地表示相机视线覆盖区域的模型，以及障碍物与覆盖区域之间更通用的数学表述。这些可以避免

实验

为了评估和验证所提算法的有效性，在仿真和真实世界环境中进行了两项实验。

每个实验涉及两个6自由度的操作器。其中一个操作器的末端执行器安装了一个平面相机。虚拟相机的内部参数如下：焦距为8毫米，像素大小为10^-6米，分辨率为3072 × 2048。使用Robotics Toolbox中的相机实例来捕捉图像

结论

本研究提出了一种新的具有遮挡感知能力的可见性保证方法，能够实现更准确的遮挡检测和高效的遮挡去除。通过将相机的视线覆盖区域建模为操作器的虚拟视觉连杆，并利用Minkowski差分，将遮挡关系转换为操作器凸连杆之间的简洁分离关系，从而确保了较高的遮挡检测精度。此外，我们

CRediT作者贡献声明

朱东来：写作——审阅与编辑，写作——原始草稿，验证，软件，概念化。孙丹峰：方法论，调查。胡俊杰：可视化，验证，数据管理。肖泽云：软件，方法论。严毅：方法论。吴惠峰：方法论，调查。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。

致谢

本研究部分得到了国家自然科学基金（项目编号62376081）、教育部基础与交叉学科创新计划（项目编号JYB2025XDXM108）、浙江省自然科学基金（项目编号LQK26F020004）以及浙江省重点研发计划（项目编号2024C01075）的支持。