基于关键点定位与点云的茶芽3D姿态估计方法及其在机器人采摘中的应用

《Smart Agricultural Technology》：3D Pose Estimation Method for Tea Buds Based on Keypoint Localization and Point Cloud for Robotic Picking

为解决非结构化茶园环境下茶芽形态多变导致的采摘机器人空间感知难题，本研究提出一种融合关键点定位与点云数据的茶芽3D姿态估计方法。通过构建GCYP-Tea Pose检测网络，结合关键点生长步长扩展技术，实现了茶芽空间姿态和最优采摘方向的精准预测。实验表明该方法在茶芽空间姿态预测和末端执行器最优采摘姿态规划方面具有显著效果，为茶叶自动化采摘提供了可靠的空间坐标和方向引导。

　　

在人口老龄化加剧的背景下，茶叶生产面临劳动力短缺和采摘效率低下的双重挑战。作为全球三大饮料之一，茶叶的采摘环节高度依赖人工，尤其在复杂非结构化的茶园环境中，茶芽生长姿态多样、尺寸微小，给机械化采摘带来了巨大困难。如何让机器人像经验丰富的茶农一样，精准识别茶芽的空间姿态并完成轻柔、高效的采摘，成为智慧农业领域亟待突破的技术瓶颈。

传统采摘机器人多依赖2D视觉系统，难以获取作物的三维空间信息，而现有3D感知方案如激光雷达存在设备笨重、成本高昂的问题。针对茶芽这类小尺度目标，其空间姿态（包括位置和生长方向）的精准感知更是难点重重。发表于《Smart Agricultural Technology》的这项研究，创新性地提出一种基于关键点定位和点云融合的茶芽3D姿态估计方法，为智能采茶机器人装上了“智慧之眼”。

研究团队首先构建了GCYP-Tea Pose检测网络，通过集成GLMixBlock模块与Efficient RepGFPN架构，强化了多任务检测中的层级信息传播。该网络能够准确检测茶芽的四个关键特征点：芽尖(B)、侧叶顶端(L)、芽叶交界点(I)和采摘点(P)。针对点云数据稀疏导致的映射失败问题，研究者开发了基于生长步长的关键点扩展方法，通过动态扩大关键点的影响区域形成关键点簇，显著提升了映射成功率。

在技术方法层面，研究主要包含四个关键环节：基于GCYP-Tea Pose网络的2D关键点检测、关键点与深度信息的配准、2D到3D坐标的转换映射，以及茶芽空间姿态的定量评估。研究采集了山东日照示范茶园中1747张包含直立、侧生、左斜、右斜四种姿态的茶芽图像数据，使用iPhone 13和Mech-Eye工业3D相机同步获取RGB图像和点云数据。通过引入参数α_BL（表征茶芽空间姿态）和α_PE（表征最优采摘调整角），实现了茶芽3D姿态的向量化表征。

2D姿态估计结果显示，GCYP-Tea Pose在目标检测方面的精确率(P)、召回率(R)和平均精度(mAP)分别达到90.0%、76.5%和80.8%；关键点检测的相应指标分别为90.1%、76.6%和81.0%，显著优于YOLOv5s-pose、YOLOv8n-pose等对比模型。

关键点映射实验表明，采用生长步长扩展技术后，成功映射的茶芽数量从387个（预测值）和474个（标注值）显著提升至699个和675个，有效解决了因2D关键点定位偏差和深度信息缺失导致的映射失败问题。

3D姿态评估数据揭示，在三个关键点正确检测(α_kpt3)条件下，茶芽空间姿态角(α_BL)和采摘姿态角(α_PE)的平均绝对误差(MAE)分别为5.29°和5.84°，平均相对误差(MRE)为0.14和0.18；当四个关键点全部正确检测(α_kpt4)时，相应误差分别为5.75°和6.74°（MAE）以及0.17和0.20（MRE）。这表明模型能够在一定误差范围内可靠捕捉茶芽的生长姿态。

讨论与结论部分指出，该研究的核心创新在于将2D关键点检测与3D点云映射相结合，避免了传统点云处理算法计算复杂、实时性差的缺点。通过关键点扩展方法有效缓解了深度信息缺失对映射精度的影响，为小尺度作物空间姿态估计提供了新思路。研究存在的局限性主要源于训练样本多样性不足以及复杂环境下特征提取不充分，未来可通过扩大数据集、优化网络结构进一步提升模型鲁棒性。

这项研究的意义不仅在于解决了茶芽采摘的具体技术难题，更为果蔬类作物的机器人选择性采摘提供了可推广的技术框架。通过精准的空间姿态估计，采摘机器人能够自主规划最优采摘轨迹，大幅提升作业精度和效率，对推动农业自动化转型升级具有重要实践价值。