《Smart Agricultural Technology》：Pedicel localization method for pomelo harvesting robots in unstructured orchard environments
编辑推荐：
针对非结构化果园环境中柚子采摘机器人的精准作业需求，研究人员提出了一种基于深度图（Depth Map）的柚子果梗采摘点计算方法。该研究首先构建了包含5,706个样本的非结构化果园场景柚子数据集，并基于RGB-D成像技术与YOLOv8-seg-RepGhost模
针对非结构化果园环境中柚子采摘机器人的精准作业需求，研究人员提出了一种基于深度图（Depth Map）的柚子果梗采摘点计算方法。该研究首先构建了包含5,706个样本的非结构化果园场景柚子数据集，并基于RGB-D成像技术与YOLOv8-seg-RepGhost模型提取了柚子果实的分割深度图。通过RGB-D配准（Registration）与语义掩码对齐（Semantic Mask Alignment），建立了深度-几何协同分析框架，实现了果实纵径与横径的亚厘米级测量。其次，研究人员提出了位于果肩、赤道与果基过渡区的“姿态特征敏感区”（Pose Feature-Sensitive Region）概念，动态提取该区域内等深轮廓的主轴方向，并将Hough椭圆检测（Hough Ellipse Detection）扩展至深度特征空间。最后，构建了果实姿态与果梗位置的几何映射模型，实现了遮挡条件下柚子果梗的空间坐标计算。实验结果表明，在机械臂常见的50–150 cm工作范围内，平均纵径误差范围为0.385至0.675 cm，平均横径误差范围为0.407至0.724 cm。在无遮挡场景下，果梗定位误差不超过2.5 cm，角度偏差低于6°；在严重遮挡下，定位误差保持在3 cm以内，平均角度误差约为3.7°。该研究有效提升了复杂果园环境下的果梗定位精度与鲁棒性，为精准采摘作业提供了理论支撑与技术参考。
论文解读：非结构化果园环境下柚子采摘机器人的果梗定位方法研究
研究背景与意义
柚子作为芸香科柑橘属的重要经济作物，其营养价值与药用价值显著。然而，收获成本占柚子生产总费用的30%–40%，成为制约产业经济效益的关键瓶颈。目前柚子采收高度依赖人工，不仅效率低下且劳动强度大。尽管近年来水果收获机械研发受到广泛关注，但在自然生长的非结构化果园环境中，柚子树冠高大、果实空间分布随机性强且枝叶茂密，导致果实常被遮挡，给精准识别与定位带来巨大挑战，常引发误检与漏检现象，阻碍了柚子采摘自动化的进程。现有的果梗定位技术主要分为直接定位与间接定位两类，直接定位虽在温室等结构化环境中表现良好，但在枝叶遮挡严重的非结构化场景中精度骤降；间接定位则通过果实形态等线索推断果梗位置，更能平衡效率与鲁棒性。鉴于现有研究多集中于葡萄、番茄等小型浆果，针对柚子等大型果实的系统性研究匮乏，且柚子特有的滴状形态使得传统球形假设拟合性能差，因此，建立果实与果梗的一一对应关系，实现精准定位具有重要的科学意义与应用价值。本研究成果发表于《Smart Agricultural Technology》。
关键技术方法
研究人员构建了包含5,706个样本的“非结构化果园场景柚子数据集”，数据采集于广州市从化区鳌头镇荔芋仔柚果园。核心技术路线包括：采用Intel RealSense D455深度相机获取RGB-D图像，基于改进型YOLOv8-seg-RepGhost模型进行果实分割；通过RGB-D配准与语义掩码对齐建立深度-几何协同分析框架；创新性地定义“姿态特征敏感区”，利用自适应深度阈值提取该区域；将Hough椭圆检测扩展至深度特征空间以拟合等深轮廓；最终构建果实姿态与果梗位置的几何映射模型，结合相机透视投影逆模型实现三维坐标解算。
研究结果与分析
1. 训练平台
实验基于Ubuntu 20.04.1 LTS操作系统，硬件配置为Intel i7-10700F处理器、NVIDIA GeForce RTX 2060显卡及32 GB DDR4内存。软件环境采用Python 3.8.10，集成OpenCV 4.11.0进行图像处理，选用PyTorch 1.11.0作为深度学习框架，配合CUDA 11.3与CuDNN 8.2加速库，支持Tensor Core FP16混合精度训练。
2. 果实纵横径估计分析
为定量评估算法精度，研究人员选取15个成熟沙田柚作为样本，覆盖典型商品果尺寸（纵径138–172 mm，横径115–159 mm）。使用游标卡尺进行人工实测，并在50 cm、100 cm、150 cm三个典型距离下利用深度相机采集数据。结果显示，在50 cm近距离下，横径与纵径的平均误差分别为0.407 cm与0.539 cm，稳定性较好但误差较高，这归因于像素-实际长度转换函数λ在近距离下的平面标定假设失效。在100 cm中距离下，系统达到最优工作状态，横径误差微增至0.462 cm，而纵径误差显著降低28.6%至0.385 cm，标准差均低于0.02 cm。在150 cm距离下误差有所增大。总体而言，算法在50–150 cm范围内实现了亚厘米级测量精度，建议机械臂工作距离优先设定在0.5–1.2 m区间。
3. 果实姿态算法与果梗切点定位评估
研究人员采用定量控制法，沿柚子中心轴插入8 mm不锈钢螺纹杆模拟果梗，以杆件端点坐标为实际果梗坐标进行对比。定位误差计算采用欧氏距离公式。结果显示，在无遮挡场景下，果梗定位误差不超过2.5 cm，角度偏差低于6°；在严重遮挡条件下，定位误差仍保持在3 cm以内，平均角度误差约为3.7°，验证了算法的鲁棒性。
结论与讨论
本研究提出的深度-几何协同方法有效解决了非结构化环境下柚子果梗定位难题。通过建立“姿态特征敏感区”与深度域Hough椭圆检测，突破了传统RGB图像特征模糊与光照敏感的局限。该方法不仅在几何参数测量上达到了亚厘米级精度，更在遮挡条件下保持了高精度的空间坐标计算能力，为柚子采摘机器人提供了可靠的目标定位数据，对推动自动化水果收获技术的发展具有显著的学术价值与工程应用前景。
