《Artificial Intelligence in Agriculture》：Spatial pose estimation of apples for robotic harvesting
编辑推荐：
为解决苹果采摘机器人因无法精确估计果实姿态而导致采摘效率低、损伤率高的问题，本研究提出了一种基于YOLOv8融合惯性矩的实时三维姿态角估计算法，并自主开发了验证系统。果园现场试验验证了该算法的有效性和准确性，为机器人自适应抓取提供了核心算法支持，有助于推动果园采收的自动化进程。
在全球苹果产业蓬勃发展的当下，一个挥之不去的“痛点”却始终困扰着果农与农业现代化——采摘环节高度依赖人力。尽管苹果产量和种植面积逐年攀升，但机械化自动化采收却进展缓慢。这不仅限制了生产效率，也推高了运营成本。开发智能采摘机器人已成为行业共识，而视觉系统则是其“眼睛”。然而，真实果园环境复杂多变，现有的机器人往往难以准确获取苹果在空间中的具体姿态角度，这直接导致机械手末端执行器在抓取时频繁误碰枝条，造成果实损伤、枝干折断，采摘成功率也大打折扣。
为了解决这一核心瓶颈，西北农林科技大学陈春林等研究人员在《Artificial Intelligence in Agriculture》上发表了题为“Spatial pose estimation of apples for robotic harvesting”的研究论文。他们提出并验证了一种创新的实时三维姿态角估计算法，旨在为苹果采摘机器人提供精准的“导航”信息，指导机械臂以更贴近果实的自然生长姿态进行抓取，从而提升成功率、降低损耗。这项研究为解决复杂果园环境下水果空间姿态估计的难题，迈出了关键一步，也为后续自适应抓取算法的集成与应用铺平了道路。
为了开展这项研究，作者团队主要运用了以下几项关键技术方法：首先，在陕西延安黄陵县等地的多个现代化果园，利用Intel? RealSense? D435深度相机和智能手机，采集了包含可见与不可见花萼（Calyx）的2620幅苹果图像，构建了多样化的数据集。其次，研究核心采用了YOLOv8-seg多任务模型，该模型集成了C2f模块，能同时完成苹果与花萼的目标检测以及苹果的语义分割，为后续计算提供了果实轮廓掩膜图。最后，研究提出并实施了两种姿态角计算路径：对于模型未识别到花萼的苹果，基于分割掩膜图，采用惯性矩（Moment of inertia）算法估算其姿态角（θ）；对于能识别花萼的苹果，则利用表面中心坐标和估算的苹果最大横径推算出果芯空间位置，构建“花萼-果芯向量”，再通过空间几何分解，计算该向量与X″O″Y″平面和Y″O″Z″平面的夹角（α, β）。此外，研究还自主研发了一套苹果姿态角验证系统，用于果园实地验证算法的准确性。
研究结果
2.2.1. 基于YOLOv8-seg的多任务架构与苹果识别
YOLOv8-seg模型能够在统一框架下执行图像分类、目标检测和语义分割。本研究利用该模型对苹果轮廓进行多边形标注、对花萼区域进行矩形标注，从而同时实现了果实分割、苹果与花萼检测，并获得了果实轴信息、表面中心坐标及花萼位置等关键空间参数。模型评估指标包括精确率、召回率、准确率和F1分数。
2.2.2. 基于惯性矩的苹果果实轴检测
苹果通常沿其果实轴生长。对于转换为二值图像的果实掩膜图，其最小惯性矩对应的主轴方向近似于果实轴的方向。通过建立数学模型，求解最小二阶矩对应的轴线参数，可以确定果实的主轴方向。通过计算苹果图像的惯性矩，确定了最大和最小惯性矩对应的两条主轴。该流程从原始图像开始，经过分割图、果实掩膜图，最终叠加显示惯性矩主轴。
2.2.3. 苹果最大横径估计
计算苹果果实图像的惯性矩后，两条主轴与分割果实图像边缘的四个交点被确定为候选端点。为减少图像边界噪声导致的深度值无效问题，算法对每个端点周围进行迭代随机采样，获取多个深度值，经冒泡排序和中值滤波处理后，取平均深度作为有效值。然后通过视觉系统标定，将像素坐标系下的端点坐标转换到机器人基坐标系下的空间坐标，通过欧氏距离计算得到的最大轴长即为苹果的最大横径。
2.3.1. 苹果果芯坐标计算
果芯空间坐标的估计对于计算“花萼-果芯”向量至关重要。已知苹果表面中心坐标A′和机器人基坐标系原点，结合相机位置坐标，可以计算出从相机指向苹果表面中心的向量及其单位向量。根据已估算的最大横径D得到半径R=D/2，最终推算出果芯A的空间坐标。
2.3.2. 苹果姿态空间角度估计
为便于后续姿态角计算，基于相似三角形原理定义了与相机坐标系对齐的果实坐标系。苹果姿态角被定义为：“花萼-果芯”向量与X″O″Y″平面的夹角α，以及同一向量与Y″O″Z″平面的夹角β。这两个角度分别对应机器人末端执行器需要调整的俯仰（Pitch）和滚转（Roll）角度，能够直接输入给机器人控制器。
果园田间试验结果
果园田间试验结果表明：该算法检测苹果和花萼的准确率分别为0.953和0.703，果实分割准确率为0.953。通过标定误差测试实验，机械臂的空间定位误差为12.1毫米。经过多姿态、多距离测试，算法估算苹果最大横径的绝对误差为3.9毫米。利用自主研发的姿态角验证系统进行的果园田间实验显示，对于未能识别花萼的苹果，其姿态角的平均绝对误差为16.3°；对于能识别花萼的苹果姿态角，其平均绝对误差分别为17.0°和18.1°。
研究结论与意义
本研究提出了一种解决复杂果园环境下苹果空间姿态估计挑战的新方法。该方法将深度学习（YOLOv8）与传统图像处理算法（惯性矩计算）相结合，针对花萼可见与不可见两种情形，分别设计了基于向量几何分解和惯性矩主轴的姿态角估算路径。果园实地验证表明，该算法在苹果检测、分割和横径估计上具有高准确性，其姿态角估算精度与国际同类算法相当。特别地，算法提供的空间姿态角度（α, β）是机器人控制器可直接理解和执行的数学参数，这使得研究成果具备了高度的工程实用性。
本论文的核心贡献在于，为解决非结构化果园环境中苹果空间姿态的实时、精确估计难题，提供了一个行之有效的算法框架。它不仅为后续苹果采摘机器人的姿态抓取提供了关键的算法支撑，也为其他类似球形果实的机器人采收研究提供了可借鉴的思路。通过使机器人能够“看清”并“理解”果实的空间朝向，本研究朝着实现高效、低损、全自主的智能果园采收迈出了坚实的一步。
