在自动化化学实验室中，基于视觉引导的自适应铲取技术用于粉末称重

《Digital Discovery》：Vision-guided adaptive scooping for powder weighing in autonomous chemistry laboratories

　　自主、高精度的异质固体材料粉末分配在自动化化学实验室中仍然是一个未解决的挑战。现有的系统常常因为忽略了关键的初始材料获取步骤（即舀取）而失败，因为这些系统无法适应多种粉末形态。我们提出了一种端到端的、基于视觉的粉末分配系统，该系统结合了一个自适应的舀取机制和基于深度强化学习的分配策略。我们的系统使用参数化的舀取动作，并在每次舀取后通过视觉评估获取的材料体积。这种视觉反馈驱动了一个迭代校正循环，使机器人能够调整其运动参数以消除失败并获取合适的分配量。我们在真实的实验室条件下使用一组具有不同物理特性的7种粉末对我们的系统进行了评估。实验证明，这种完全自适应的系统优于固定的舀取基线方法，所有材料下的平均绝对称重误差最低为1.93毫克 ± 2.04毫克。

## 引言

加速化学和材料的发现对于未来的社会和工业影响至关重要。由于全球性挑战的增加，人工智能驱动的机器人技术对于加速科学发现、提高数据质量以及同时保护学术和工业研发实验室中人类科学家的健康至关重要。自主机器人系统在执行不同实验方面已经显示出成功；然而，这些系统缺乏必要的通用性和鲁棒性，尤其是在样品特性異质且不可预测的早期材料发现领域。这凸显了开发适用于多个领域的强大机器人解决方案的迫切需求。固体分配是各种不同化学领域的核心任务，包括固态材料化学、光催化、过程化学和有机合成。现有的商业平台使用诸如螺旋进料器、振动器或旋转盘等机制来诱导粉末流动。然而，这些系统通常需要耗时的、特定于材料的校准，并且本质上难以处理磨蚀性或粘性的粉末。为了使这些仪器可靠地工作，大颗粒固体通常需要预处理，例如研磨，以防止颗粒堵塞分配头。例如，Jiang等人发现，分配失败通常是由于分配路径中的堵塞（例如Chemspeed系统中的墨盒或Quantos设备中的计量头）或由于高磨蚀性固体导致的内部运动部件的机械损坏。此外，这些硬件限制显著影响了运营成本：虽然一些平台使用相对便宜的耗材，如玻璃毛细管，但其他平台依赖于具有预定义最大使用次数的计量头。由于这些耗材头通常被限制用于单一特定固体，因此平台的运行成本可能会增加。为了克服这些问题，最近的研究集中在方法论上的进步上，以处理复杂的粉末动力学。例如，Fermier等人开发了一个高精度的开环粉末分配站，它依赖于对材料特定物理参数（如真空流速）的仔细离线优化。Jiang等人提出了一种双臂机器人系统，该系统使用铲子和分析天平来迭代分配和校正称量量。Kadokawa等人训练了一个从模拟到现实的深度强化学习（DRL）策略，用于调节机器人臂的预定义摇晃和倾斜动作的参数，而Radulov等人扩展了这个框架，使用材料属性（即流动性）来为粉末分配机器人策略创建更高保真的模拟。尽管有这些进步，但由于材料性质的广泛范围，自主、高精度的固体材料分配仍然是一个未解决的挑战。虽然上述工作主要集中在完善最终的分配阶段，但它们往往忽略了材料的初始获取。之前解决材料获取（或舀取）阶段的工作主要局限于食品行业。例如，Takahashi等人依靠视觉反馈来选择目标质量的抓取点，而Grannen等人使用带视觉反馈的双手设置来防止易碎物品（食品）的损坏，而不是控制数量。Tai等人使用主动感知来理解材料属性，这有助于泛化到以前未见的数据，从而提高了达到最小舀取量的成功率。鉴于食品行业通常处理的量（以克计）远大于科学实验室（以毫克计），这减轻了在材料科学中称重小量时小团块包含的担忧。对于化学实验室中的自主粉末舀取，Takahashi等人引入了一种柔软的圆锥形通用手，它依赖于一个物理自适应的末端执行器来舀取粉末，其机械设计使其能够适应不同的容器几何形状，而无需先进的传感。基于这种硬件，Wang等人引入了一个基于物理的模拟框架，可以在广泛的容器形状中进行舀取。通过利用这个高保真的模拟器并共同优化工具的运动参数及其滚动角度，他们的方法产生了对不同几何形状都非常有效的舀取轨迹，将其转移到现实世界中时的仿真与实际之间的差距最小。然而，关键的是，这些方法都没有有效地解决舀取和分配阶段之间的耦合、顺序依赖性。由于相同的舀取动作根据材料属性的不同会产生不同的结果，舀取的量会在分配系统中引入显著的扰动，直接影响最终结果。以前的工作缺乏处理这种变异性的集成多阶段流程。在这项工作中，我们通过提出一种利用视觉反馈进行主动数量控制的自适应舀取机制来解决这一关键的初始舀取阶段，并将其整合到一个端到端的粉末分配系统中。我们首先定义了一个参数化的舀取动作，并系统地研究了其对结果粉末量的影响。为了提高鲁棒性，我们整合了视觉反馈来检测失败的舀取尝试，并在典型的实验室条件下（例如，在不同照明条件下）评估其性能。这种能力使我们的自适应舀取模块能够与我们之前的基于DRL的粉末分配策略智能耦合。最后，我们评估了整个系统自动称量异质材料的性能，证明了自适应舀取方法优于具有预定义固定舀取动作的基线方法。总之，这项工作的贡献包括：

1. 一种允许对舀取的粉末量进行细粒度控制的参数化舀取动作；
2. 一种基于视觉的反馈系统，用于可靠地检测失败勺取实例并准确估计舀取的粉末量；
3. 对所测试的粉末材料范围内的自适应端到端粉末分配系统的演示和实证评估。

## 方法论

这项工作介绍了一种将材料舀取状态与分配阶段耦合起来的端到端方法，以改进自动粉末称重。我们首先将舀取定义为一个参数化的运动原语（第2.1节），并实现视觉反馈（第2.2节）以识别舀取失败。最后，我们详细介绍了整个系统（第2.3节），在其中我们使用迭代校正循环在基于DRL的分配方法之前调整数量。

### 2.1 参数化舀取动作

舀取动作的参数化是基于在手动舀取任务中观察到的人类启发式行为。人类会根据所需的体积和材料的一致性直观地调整他们的舀取动作；例如，当只需要少量材料时，他们会使用浅而短的移动。同样，机器人的舀取动作也是一个参数化的抛物线轨迹，起源于用户定义的点A，如图2所示。该轨迹由其最大深度D、水平长度L和恒定的工具俯仰角θ定义。工具俯仰角对于处理异质材料至关重要；例如，更陡的角度有助于在操作粘性样品时排除团块。同时，D和L直接控制舀取的体积。为了执行轨迹，它被离散成N个工具中心点（TCP）的路径点。每个点都在3D笛卡尔空间中定义，并可以使用方程（1）进行采样，其中t ∈ [0, 1]。

机器人通过这些路径点使用笛卡尔运动规划器来执行轨迹。每个参数对舀取量的影响在第3.2节中有详细说明。

### 2.2 舀取失败的视觉反馈

材料物理性质的多样性使得固定的一组舀取参数变得不可行。为高流动性材料优化的轨迹可能会从粘性材料中舀取大片块状物，从而在分配开始之前就导致数量错误。为了解决这个问题，我们实现了一个视觉反馈系统来评估铲子中获取的材料。我们将舀取材料检测任务表述为一个二元分类问题，将每次尝试分类为成功或不成功。系统通过量化材料与源粉末的颜色相似性分割出的像素面积来估计舀取的体积。体积估计过程在算法1中给出。图像数据（FBGR）每Δtupdate秒采样一次（使用RetrieveFrame()函数），并转换为CIELAB颜色空间（FLAB），以便进行感知上均匀的颜色比较（使用ConvertToLab()函数）。由于在执行舀取动作后，相机、工具和源容器具有固定的相对位置，因此提取了工具（RS）和源容器（RC）的预定义兴趣区域（ROIs）。从RC计算材料的平均颜色Cref。随后，为工具的ROI（RS）生成一个二进制掩码（Mbinary），这是通过阈值处理每个像素（p）的颜色与参考颜色（Cref）的欧几里得距离（d）来实现的。使用OpenCV24库中实现的基于块的标记与决策树（BBDT）算法，识别掩码（Apowder）内最大的连通区域作为舀取的材料。然后计算填充百分比（Pfill），作为粉末面积（Apowder）与工具ROI（Aspoon）总面积的比率。后者是通过乘以工具感兴趣区域的宽度（RS·w）和高度（RS·h）来计算的。为了确保测量的鲁棒性，在历史缓冲区（Hfill）中收集多个样本，并返回平均填充百分比作为检索粉末的最终体积估计。最后，将最近采样事件的时间戳（tupdate）设置为当前时间（tnow）。

## 2.3 端到端粉末称重系统

为了实现端到端自动化，系统被设计为管理整个实验流程，包括工具和源容器的装载和卸载。用户首先注册接收者和工具的关键位置的坐标。使用这些坐标，系统计算所有传输动作的安全、无碰撞路径。这些路径被限制在机器人工作空间内的一个预定义的“安全区”内，该区域需要保持无潜在障碍物。自主粉末分配过程（算法2）从一个迭代校正循环开始，以确保成功的初始舀取动作。生成并执行一个舀取动作（Scoop(θcurrent, Dcurrent)），使用一组初始参数，工具俯仰角θinit和深度Dinit，根据方程（1）。机器人舀取材料后，我们的视觉系统通过使用第2.2节中的方法测量铲子内的体积（MeasureVolume()），以估计获取的体积（Pfill）并将其与两个预定义的阈值进行比较：一个最小阈值tempty，用于检测获取不足；一个最大阈值tclumps，用于识别过量舀取，这通常是由于粘性材料中的大块状物引起的。如果估计的体积超出这个可接受范围，则调整舀取参数，并重复该动作。对于不足舀取（Pfill < tempty），通过首先减小俯仰角θ或如果新的俯仰角θnew低于下限，则增加深度D来使轨迹更加激进。对于过量舀取（Pfill > tclumps），通过首先增加θ或如果新的俯仰角θnew高于上限，则减小D来使轨迹不那么激进。这个迭代过程是由我们的实验发现（第3.2节）激发的，这些发现表明θ和D提供了对获取材料体积的最直接控制。一旦铲子中包含可接受的数量，系统就过渡到分配阶段。我们采用基于流动性的信息粉末称重（FLIP）DRL策略，特别是使用FLIP的随机版本，以确保实验的可控性。这种方法避免了将我们的方法与独立的课程学习策略结合时可能出现的复杂且相互纠缠的交互效应，从而能够清晰地评估我们的舀取机制的具体影响。然而，我们修改了之前的奖励函数，以抑制过于激进的行为，并防止策略倾向于超过目标质量。如方程（2）所示，我们引入了一个指数惩罚项（ρ）：

Rnew = RρN

(2)

其中R是之前工作中的原始奖励函数，13N是当前步骤，超参数ρ被调整并设置为1.1。所有其他超参数保持与之前工作中指定的相同。13 策略通过零 shot 转移的方式应用于真实系统，策略的输出动作直接传递给机器人（Robot.execute()）。真实系统的速度和摇晃幅度被校准以匹配模拟器。在分配开始之前，尺度被重置（wcurrent ← 0），机器人移动到初始的分配位置（θdispensing）。在分配过程中，系统允许进行εlength步的操作，每一步包括一个倾斜动作（aincline）和一个摇晃动作（ashake），类似于Kadokawa等人的方法。12 在每个动作执行完毕后，分配的重量（wcurrent）会得到更新。此外，我们实现了一个提前停止机制，当绝对误差E = |wdispensed ? wtarget|低于Threshold = 1 mg时，会终止分配过程。

实验

我们的系统在现实世界的实验室条件下进行了评估。我们关注通过参数化进行材料控制、视觉反馈的鲁棒性（用于检测失败的舀取动作），以及比较自适应舀取与固定舀取的性能。

3.1 实验设置

我们的设置（图1）使用了一个Franka Research（FR）3（参考文献25）机器人手臂，其上安装了Robotiq 85F夹持器，平行于工作表面以便于工具操作，并配备了一个外部Intel RealSense D405 RGB-D相机。Sartorius Entris II精密秤用于称量样品，数据直接输入到分配策略中。为了简化拾取和放置操作，铲子和源容器最初被放置在定制的支架中。机器人自动称量样品的工作流程包括以下顺序操作：取回源容器并将其放置到秤的指定支架上（1），抓取工具并移动到参数化的起始点（2），迭代执行舀取动作直到视觉反馈系统确认成功获取材料（3），将工具置于20毫升目标小瓶上方（4），然后运行基于动态规划（DRL）的分配策略直到达到目标重量（5）。我们选择了7种粉末（二氧化硅（SiO2）、糖、氯化钠（NaCl）、粗粒小麦粉、碳酸氢钠（NaHCO3）、果胶和小麦粉）来严格测试自动化系统的处理能力。这些材料被选为代表不同的流动特性，从自由流动的材料（例如NaCl、糖）到高粘度、容易聚集和形成静态桥接的细粉（例如果胶、面粉）。我们通过确定静止角（AoR）来表征粉末的流动性，如表1所示。通过涵盖广泛的颗粒大小和堆积密度，这些粉末作为在各种材料化学工作流程中常见的材料的具有挑战性的、非危险的替代品。这种材料的选择允许我们在一个安全的实验室环境中评估系统的性能，而不会受到处理危险或反应性化学品的安全限制。

端到端系统的概述。在用户初始化（容器和工具的笛卡尔坐标、材料、目标重量）之后，系统执行以下程序：（1）机器人装载用于舀取动作的源容器；（2）它抓取工具；（3）系统启动迭代舀取循环：执行一条轨迹，并对获取的体积进行视觉评估。如果体积超出可接受的范围，轨迹将被重新制定，过程重复直到获取到合适的数量。（4）机器人将装有粉末的工具放置在秤上的玻璃器皿上方；（5）使用基于DRL的策略分配材料。图2

舀取动作被定义为一个参数化的抛物线运动，其中L是抛物线的长度，D是抛物线的深度，θ是工具的俯仰角。表1

粉末流动性以AoR表示，是根据ISO 8398:1989标准进行平均手动测量后得到的。

3.2 关于参数化舀取动作的定量控制

为了量化每个运动参数（第2.1节）对获取材料数量的影响，我们进行了一个经验性的网格搜索。搜索空间定义为工具俯仰角θ ∈ [20°, 60°]（步长10°）；深度D ∈ [0.013, 0.017] m（步长0.001 m）；以及长度L ∈ [0.021, 0.029] m（步长0.002 m）。每个参数单独变化，同时其他参数保持在其中心值（θ = 40°, D = 0.015 m, L = 0.025 m）。结果是对每种参数组合进行了5次试验的平均值，结果表明D和θ是影响获取数量的主要因素。θ和D的结果分别显示在图3a和b中，其中高亮区域代表基于DRL的分配策略理想初始条件所需的目标舀取量。13 这个目标范围是基于在模拟中训练策略时使用的条件，该策略仅暴露于勺子装载了这些特定数量的初始状态。改变舀取动作的长度L几乎没有影响（图3c），舀取的数量始终在10毫克范围内变化。唯一的显著例外是碳酸氢钠，其数量呈现出下降趋势。对于这种材料，增加轨迹长度导致获取的数量减少了13.8毫克。图3

3.3 关于带有视觉反馈的舀取鲁棒性

为了验证我们基于视觉的估计在检测失败舀取动作方面的性能，我们进行了一项实验，将估计的填充百分比（Pfill）与获取样品的测量重量相关联。对于每种粉末，我们通过系统地将工具俯仰角从20°变化到60°（每次变化5°）来进行一系列舀取动作。每种角度设置进行了5次试验。在每次试验中，记录了Pfill-重量对。图4显示了我们材料的结果。空舀取阈值的最优值tempty = 16是根据估计的填充百分比（Pfill）和测量重量之间的经验关系选定的。目的是确定确保至少20毫克舀取量的最小Pfill值，适用于尽可能多的材料子集。这一选择进一步受到限制，即选定的阈值必须位于每种材料观察到的Pfill值范围内。这一限制对于防止某些粉末被系统性地错误分类为空舀取非常重要。图4

估计的填充百分比Pfill与实际采样重量之间的关系趋势。红线代表了选定的tempty值。高亮区域代表分配策略的最佳重量条件。虽然这个固定阈值对我们的当前设置非常有效，但需要注意的是，在两种情况下需要手动重新调整tempty：首先，任何改变相机视角或舀取工具尺寸的硬件修改都会改变指定的感兴趣区域（RoI），需要重新校准；其次，因为Pfill作为体积的视觉代理，这些阈值对材料堆积密度的极端变化很敏感。引入一个密度明显低于优化范围的材料可能会导致较高的Pfill值，但未能达到所需的最小质量，因此需要更高的tempty阈值来防止误判。我们在不同的照度强度（40勒克斯、130勒克斯和700勒克斯）下测试了系统，只有当提取的量低于最佳分配条件的最小阈值（<20毫克）时，才将舀取视为不成功。图5展示了在三种不同照度水平下评估的混淆矩阵。对于每种照度，评估数据包括：

图5

在不同光照条件下检测空舀取和成功舀取的混淆矩阵。

1. 正类：105个点，每种粉末成功舀取15次；
2. 负类：60个点，包括15次完全空的源容器尝试，以及每种材料的15次尝试：面粉、沙子或果胶。由于我们的体积近似方法依赖于颜色匹配，因此选择了这些特定的粉末，因为它们的颜色代表了我们数据集中发现的全部范围。通过控制实验室中活动照明装置的数量创造了不同的光照条件。总体而言，我们的系统在所有条件下的成功舀取预测准确率为89.21%，不成功舀取的准确率为96%。未能检测到空舀取是一个关键问题，会导致效率降低。此外，在高产量运动参数下持续的获取失败可能会提示操作员干预，因为源容器可能已经耗尽。

3.4 整体系统评估

我们对自适应舀取方法与固定运动基线进行了端到端系统评估。基线将经验优化的舀取轨迹（D = 0.015 m, θ = 40°）与低或高速度分配配置配对，分别适用于流动性和粘性粉末。我们测试了一个固定高速度的自适应舀取配置和一个完全自适应的版本，后者根据最终的舀取俯仰角（40°阈值）选择分配速度。视觉系统的阈值设置为tempty = 16°和tclumps = 28°。如表2和表3所示，自适应系统在粘性粉末（例如面粉、果胶）上的表现优于基线。这种性能提升源于系统在分配前能够调节获取的质量。在处理粘性材料时，标准的固定舀取轨迹经常使勺子过载或获取大块材料。这些过量的初始数量显著超出了基于DRL的分配政策的最佳操作范围，不可避免地导致目标超调。相比之下，基于视觉的自适应舀取策略成功过滤掉了这些块状物，并在获取阶段防止了过载。双速度自适应舀取系统在所有试验中实现了最低的平均粉末称重误差（1.93毫克），其次是高速度自适应舀取（4.61毫克），然后是固定速度舀取高速度系统（6.11毫克），最后是固定速度低速度系统（8.19毫克）。然而，固定高速度的自适应系统在高度流动性的材料（沙子和盐）上表现不佳。由于低俯仰角加上高速度分配，导致政策超过了目标。双速度系统通过选择较低的速度成功缓解了这一问题，展示了完全自适应流程的好处。表2

在15毫克目标重量的粉末称重任务中的实际性能比较。结果代表了10次运行的平均绝对误差和标准偏差

方法
SiO2
Sugar
NaCl
Semolina
NaHCO3
Pectin
Flour

基线（高速度）
0.73 ± 0.76
1.3 ± 1.36
3.85 ± 2.90
6.0 ± 5.28
7.4 ± 5.48
6.56 ± 7.83
18.06 ± 15.05

基线（低速度）
0.97 ± 0.96
3.19 ± 2.05
7.30 ± 5.54
6.64 ± 4.57
23.86 ± 15.31
5.63 ± 6.42
11.68 ± 5.44

自适应舀取（高速度）
9.71 ± 2.22
1.84 ± 1.23
11.80 ± 3.71
1.52 ± 1.52
2.21 ± 2.5
1.36 ± 0.85
3.85 ± 2.06

自适应舀取（双速度）
1.17 ± 1.08
0.94 ± 0.82
2.65 ± 2.51
2.50 ± 2.82
1.98 ± 2.20
0.97 ± 0.96
3.3 ± 3.1

表3

在20毫克目标重量的粉末称重任务中的实际性能比较。结果代表了10次实验的平均绝对误差和标准偏差。

方法
二氧化硅（SiO2）
糖
氯化钠（NaCl）
粗面粉（Semolina）
碳酸氢钠（NaHCO3）
果胶
面粉

基线（高速度）
2.4 ± 2.0
1.23 ± 0.65
5.28 ± 2.93
2.71 ± 4.14
6.29 ± 8.34
4.94 ± 2.71
27.48 ± 19.40

基线（低速度）
1.5 ± 1.57
1.25 ± 0.96
8.54 ± 5.30
5.00 ± 5.35
23.83 ± 13.35
7.59 ± 6.08
14.43 ± 5.59

自适应铲取（高速度）
4.31 ± 1.46
0.63 ± 0.35
8.80 ± 3.94
2.48 ± 2.17
3.97 ± 4.14
3.03 ± 3.15
3.55 ± 3.00

自适应铲取（双速度）
1.88 ± 0.97
1.4 ± 0.85
2.55 ± 1.57
2.21 ± 1.60
1.64 ± 1.11
2.33 ± 1.58
3.2 ± 2.42

结论

在这项工作中，我们提出了一个端到端的、基于视觉的粉末分配系统，该系统成功地将自适应铲取机制与基于深度强化学习（DRL）的分配策略相结合。我们引入了一种参数化的铲取动作，并使用视觉反馈来可靠地识别失败的动作。我们的评估表明，这种自适应系统优于固定运动的基线系统，并展示了动态耦合材料获取和分配的关键优势。当前基于铲取方法的一个局限性是它依赖于源容器中预先加载的足够量的粉末以确保一致的取料。在我们的标准实验设置中，使用的初始材料量在13.81克到34.4克之间。虽然调整容器大小和铲取轨迹长度可以减少这一操作最小要求，但在处理稀缺、昂贵或定制合成材料时，这仍然是一个实际的自驱动实验室中的限制。因此，虽然当前系统在处理大量试剂方面非常稳健，但未来的工作将集中在调整机器人轨迹和末端执行器设计上，以适应小于一克的量，例如直接从小瓶中精确取料。此外，尽管我们当前的视觉反馈方法在检测空铲方面表现出色，但系统目前依赖于基于二维面积代理（Pfill）手动定义的阈值（例如，空、结块），这限制了其即时便携性。为了解决这个问题，我们计划探索如何将基于机器学习的视觉系统和直接质量反馈结合起来，进一步提高材料获取的准确性和稳健性。

作者贡献

作者按贡献字母顺序排列：
概念化：Gabriella Pizzuto, Nikola Radulov
数据管理：Thomas Little, Nikola Radulov
形式分析：Thomas Little, Nikola Radulov
资金获取：Gabriella Pizzuto
研究调查：Thomas Little, Nikola Radulov
方法论：Gabriella Pizzuto, Nikola Radulov
项目管理：Gabriella Pizzuto
资源：Gabriella Pizzuto
软件：Thomas Little, Nikola Radulov
监督：Andrew I. Cooper, Gabriella Pizzuto
验证：Thomas Little, Nikola Radulov
可视化：Nikola Radulov
撰写——原始草稿：Gabriella Pizzuto, Nikola Radulov
撰写——审阅与编辑：Andrew I. Cooper, Gabriella Pizzuto, Nikola Radulov

利益冲突

没有需要声明的利益冲突。

数据可用性

用于复制实验的代码、硬件设计和模型将在Zenodo上开源并存档：https://doi.org/10.5281/zenodo.19357593。该仓库包括用于控制FR3机器人的python脚本、附带的Robotiq 85F夹持器以及用于Sartorius Entris II和Fisherbrand FPRS22精密秤的python接口。还提供了定制资产的3D模型以及用于所展示实验的训练模型。我们提供了一个未编辑的端到端系统视频演示：https://youtu.be/1GqivYt166c。补充信息（SI）可在此处获取：https://doi.com/10.1039/d5dd00569h。

致谢

本工作得到了Leverhulme Trust通过Leverhulme功能性材料设计研究中心、皇家工程学院通过研究奖学金计划、EPSRC通过AI for chemistry: AIchemy hub（EP/Y028775/1）以及Henry Royce Institute通过本科生实习计划的支持。A. I. C. 感谢皇家学会提供的研究教授职位（RSRP?S2?232003）。