基于双目视觉的方法用于水果运动和力参数的获取

《Biosystems Engineering》：Binocular vision-based method for fruit motion and force parameter acquisition

振动采摘中水果三维运动与动态力参数的非接触测量方法研究。采用双目视觉技术分解水果平移、摆动和旋转运动模式，建立多坐标转换模型计算姿态参数，结合果柄力学特性提出微分力分析方法。通过模拟与实验验证，当特征点无偏差时，运动与力参数平均相对误差达10??~10??量级；当特征点偏差2.08±0.32mm时，最大误差仍控制在6%以内。证实该方法能有效捕捉长柄果实果柄张力状态变化对结合力的影响，为振动采摘设备优化提供理论支撑。

　　

杨张|徐林云|朱彦成|王艳艳|周洪平|张爱琪

南京林业大学机械电子工程学院，中国南京 210037

摘要

随着林业和水果产业的快速发展，振动采摘已成为一种高效的水果分离方法，因此准确获取运动和动态力参数变得至关重要。本研究提出了一种非接触式双目视觉方法，用于精确估计在振动激励下水果的3D运动和力参数。根据捕获的表面特征点的3D坐标，将水果运动分解为平移、摆动和旋转三种模式。构建了一个多坐标变换模型来计算姿态参数，并引入了一种基于果梗机械特性的微分力分析方法。通过实验开发并验证了一个模拟水果模型：一组使用定制的测试台来激励剥落的山核桃，另一组使用振动电机来激励银杏树。高速摄像机记录了整个过程。理论、模拟和实验结果的比较分析表明，在特征点偏差为零的情况下，运动和力参数的平均相对误差在10^?4–10^?5范围内。当实验特征点偏差平均为2.08 ± 0.32毫米时，使用2毫米偏差的模拟结果的最大误差保持在6%以内，从而证实了高精度。对于果梗较长的水果，果梗的状态（紧张与松弛）对结合力有动态影响：紧张状态下的峰值力高达三倍，这验证了理论假设。非接触式方法避免了传感器质量带来的误差，并为分析振动采摘过程中的水果运动和分离提供了理论支持。这项研究对于提高采摘精度和设备性能具有实际价值。

引言

近年来，林业和水果产业在农业生产中占据了重要地位。森林水果不仅是国家饮食结构的重要组成部分，也是农民增加收入的关键经济作物（张等人，2024年；张和朱，2020年）。基于振动技术的机械采摘是水果收集的最有效方法（古普塔等人，2015年；金等人，2023年；袁等人，2022年；张等人，2018年；周、何、惠廷等人，2016年），因此许多研究集中在这种采摘过程中水果的振动响应上（陈等人，2011年；霍希亚尔马内什等人，2017年；波拉特等人，2007年；维洛索等人，2020年）。在这些研究中，准确捕捉整个振动采摘过程中水果的运动和力参数对于优化分离机制至关重要。然而，传统的基于接触的传感器方法会给水果增加额外的质量，从而显著改变其固有的物理特性和振动特性，因此存在显著的限制。

目前，高速摄影被广泛用于记录和分析振动下水果的运动参数（卡斯蒂略-鲁伊斯等人，2018年；维利博尔等人，2016年）。刘等人（2023年）使用三轴加速度计和双目高速摄像机研究了核桃在不同频率和振幅下的加速度响应曲线，以及脱落和未脱落水果的运动模式。他们的研究表明，核桃的主要运动模式包括变加速度水平直线运动与摆动和变加速度垂直直线运动相结合，形成合成的椭圆轨迹。韩等人（2021年）使用高速摄像机记录了栗子的整个振动过程，研究了它们在不同激励方向下的响应。他们观察到在不同激励参数下水平和垂直位移的显著差异，以及相应的运动轨迹变化。周等人（2013年，2016年）研究了樱桃的振动采摘，通过高速摄影捕捉水果的运动姿态。他们的结果表明，摆动和弹跳主导了水果的运动（约占总运动的70%），在14赫兹时弹跳比例较高，此时水果损伤率最低；弹跳造成的水果损伤最小。在18赫兹时，尽管平均碰撞次数少于10次，但损伤率较高，这表明减少高频振动的持续时间可以更有效地减轻水果损伤。蔡等人（2013年）使用高速摄像机跟踪了杏子在分离过程中的瞬时速度和加速度，确定了水果脱落所需的最大惯性力。傅等人（2018年）记录了不同振动频率（15、20、25赫兹）下冬枣的轨迹，计算了分离类型、时间和运动参数。他们的研究建立了频率与分离特性之间的相关性。安东尼奥·托雷格罗萨等人（2014年）分析了两种振动筛条件下水果的运动和轻微损伤。通过拍摄和计算位移、速度和加速度，他们证明了在水果运动过程中平移力占主导地位。

实验方法主要描述了水果在强迫振动下的宏观动态响应，但无法捕捉水果-果梗子系统的固有振动特性。因此，对子系统动力学的理论建模是补充实验研究的必要条件。曹等人（2023年）开发了一个局部振动模型，将不同的振动参数与水果-果梗-树枝系统相结合。他们的结果显示，在10赫兹和80毫米振幅振动下，树枝-果梗、果梗-果实末端和果梗-果实侧面的最大惯性张力分离比率分别为0%、25.5%和26.3%。最大惯性弯矩分离比率分别达到了86.4%、96%和83%。维利博尔等人（2019年）将咖啡水果-果梗系统建模为通过离散元素和扭转弹簧连接的柔性梁，推导出了强迫振动下的位移-时间曲线和连接力矩。桑等人（2018年）建立了杏子水果-树枝系统和杏树-采摘机的双摆模型。他们的研究探讨了水果成熟度和激励方法对动态响应的影响，并通过高速摄像机实验验证了理论模型。

总之，研究水果的空间运动模式可以更直观地理解分离过程，并深入洞察其背后的机制，这对于推进森林水果采摘技术至关重要。到目前为止，大多数研究要么只关注水果的振动特性，要么只进行基本运动参数分析，而没有有效地结合这两个方面。因此，本研究采用双目视觉技术开发了一种非接触式方法，可以准确估计振动激励下水果的3D运动和动态力参数。我们的方法基于统一的视觉框架，同时捕捉和分析运动学和力数据——从而结合了果梗的动态状态——并为在整个振动采摘过程中获取深度信息和运动规律提供了必要的理论基础。

部分摘录

水果运动的分解

采用双目视觉技术获取标记点的三维空间坐标（岳和王，2021年）。根据目标物体表面特征点的3D坐标与图像中相应像素坐标之间的映射关系，计算出物体在3D空间中的形状、大小、姿态和运动参数。双目系统利用自然光图像以被动方式运行，特别适合

建立仿真模型和误差评估指标

为了验证所提出计算方法的准确性，采用了基于仿真的验证方法。使用ADAMS对具有长果梗和短果梗的水果-果梗系统进行了建模。建立了坐标系统，并对水果-果梗系统施加了特定的三轴运动激励。在每个时间点捕获了水果上三个表面特征点的3D坐标，这些值直接来自ADAMS仿真。

无坐标偏差时水果运动和力的误差结果

在理想条件下，没有特征点坐标偏差的情况下，获得了长果梗和短果梗水果的模拟误差，如表1所示。对于运动参数，长果梗和短果梗水果的平均绝对位移误差仅在10^?6毫米量级，而水平/垂直摆动角和旋转角的平均绝对误差也在10^?6°范围内。平均相对误差通常在

结论

本研究提出了一种基于双目视觉技术的非接触式水果运动分析方法。通过将水果运动分解为平移、摆动和旋转三种基本模式，我们建立了空间运动和力参数的计算模型，并验证了它们的准确性和适用性。主要结论如下：

(1)

运动分解和参数计算的有效性

通过使用特征三角形构建相对坐标系

CRediT作者贡献声明

杨张：写作——审阅与编辑，写作——原始草稿，可视化，验证，软件，资源，方法论，调查，形式分析，数据管理，概念化。徐林云：监督，方法论，形式分析，概念化。朱彦成：可视化，监督。王艳艳：可视化。周洪平：资金获取。张爱琪：可视化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。