《Smart Agricultural Technology》：Picking Path Planning for One-Eye-Dual-Arm Green Walnuts Harvesting Robot
编辑推荐：
本文针对自然环境中青皮核桃采摘机器人单臂作业等待时间长、覆盖范围有限、效率低等问题，设计了一种“单目-双机械臂”采摘方案。研究团队通过改进3C-YOLOv8n网络提升识别精度至92.8%，并采用自适应步长RRT算法结合RDP路径简化技术，使路径规划时间减少92.80%。实验表明双臂采摘效率较单臂提升27.69%，为农业机器人协同作业提供了创新解决方案。
七月至十月是青皮核桃采收的关键期，此时果实达到最佳成熟度，但频繁的降水天气给采收工作带来严峻挑战。若未能及时采收，核桃仁易发生霉变，导致严重减产。传统机械化采收方式（如振动式摇树机、冲击式采摘机）在作业过程中常对果树枝条和树皮造成结构性损伤，影响后续坐果和产量，难以满足可持续生产要求。近年来，随着机器人技术与人工智能的快速发展，机械臂智能采收方法逐渐成为研究热点并得到一定应用。然而，单臂采摘机器人存在等待时间长、覆盖范围有限、采摘效率不理想等问题，制约了其在实际生产中的应用。
为解决上述难题，河北农业大学机电工程学院的研究团队在《Smart Agricultural Technology》上发表了研究成果，设计了一款用于非结构化农业环境中青皮核桃采摘的“单目-双机械臂”采摘机器人原型系统。该系统通过“单目”视觉同步识别定位多个果实并分配给双机械臂，采用异步通信协议动态分配采摘任务，结合改进的快速探索随机树（RRT）路径规划算法，有效扩展了采摘范围，显著提升了作业效率。
研究采用了几项关键技术方法：首先，在视觉识别方面采用改进的3C-YOLOv8n网络进行训练，在主干网络C2f中融入残差注意力模块（RAB），末端引入通道注意力特征图（CAFM）注意力机制，并在颈部网络融入CA-HSPFN特征金字塔结构，使模型精度提升至92.8%，模型尺寸减小至4.5MB。其次，通过手眼工作范围匹配和图像分割方法对识别出的青皮核桃视场图像进行分割，利用果实位置数据实现坐标系变换，通过Socket协议与机械臂建立异步通信。最后，为双臂采摘系统开发了改进的RRT算法，引入自适应步长策略，并应用Ramer-Douglas-Peucker（RDP）算法减少路径长度和轨迹点数量。
2.1. 原型设计与介绍
基于矮化密植核桃园种植模式（行距5米，树高3-4米），研究团队设计了双臂青皮核桃采摘装置。整机装配包括小车底盘、液压升降系统、剪叉举升机构、输送装置、相机和两个机械臂。机械臂刚性安装在剪叉举升机构上，采摘末端执行器固定在其远端，两机械臂基座安装面质心相对距离为1600mm。
2.2. 改进的3C-YOLOv8n网络结构改进方法
通过系列消融试验验证了三种改进策略对模型检测性能的影响。在原始YOLOv8n模型基础上，依次引入C2f_RAB模块、CAFM注意力机制和CA-HSPFN金字塔网络结构，最终使准确率提升至92.8%，平均精度（mAP）达到94.5%，模型尺寸减小至4.5MB，为原始模型的70%。
2.3. 机械臂路径规划策略
针对双机械臂采摘系统，提出了改进的RRT算法。通过预设初始构型和改进的主从臂协调策略，提高了规划成功率和平均规划时间。在共享区域采用主从臂策略，从臂预设避障点以避免碰撞。MATLAB仿真验证表明，改进RRT算法的平均规划时间较传统方法减少92.80%，平均路径长度缩短10.07%，平均轨迹点数减少81.39%，平均迭代次数减少78.21%。
2.4. 手眼工作空间匹配
通过蒙特卡洛方法对双臂系统（左JAKA C5和右JAKA A5机械臂）可达工作空间进行仿真分析。相机与机械臂采用“手眼”外置方式布置，通过27°上倾角调整使相机视场与机械臂工作空间相匹配。建立基于D-H参数的空间坐标系变换关系，为后续坐标映射和路径规划奠定基础。
2.5. 双机械臂异步通信控制方法
基于Python编程语言和IP协议架构实现机械臂控制，通过Socket异步通信建立实时通信链路。采用多线程模式最小化系统服务器与传感器间重复建立连接的时间消耗，支持双机械臂并行处理和数据实时传输。设计状态控制机制，避免机械臂在忙碌状态下接收和规划后续坐标信息，确保系统稳定运行。
3.1. 改进3C-YOLOv8n模型测试
实验室条件下系统开展物理实验，使用JAKA双臂系统进行验证。改进后的模型在青皮核桃识别中表现出色，准确率提升至92.8%，为精准采摘提供了可靠的技术保障。
3.2. 改进RRT算法仿真实验
在二维和三维仿真环境中对算法性能进行验证。在二维场景中，改进RRT算法的平均规划时间从1.81秒降至0.17秒，路径长度缩短17.63%，轨迹点数减少88.24%，迭代次数降低74.17%。在三维场景中，平均规划时间减少92.80%，路径长度缩短10.07%，轨迹点数减少81.39%，迭代次数下降78.21%。
3.3. 模拟采摘测试
在单臂采摘实验中，采摘20个青皮核桃的最长时间为25.89秒，最短时间为18.08秒，累计采摘时间445.41秒，平均采摘时长22.02秒。在双臂采摘实验中，由于双机械臂并行作业，采摘时间重叠，无需小车移动，累计采摘时间322.08秒，平均采摘时长16.11秒，效率较单臂采摘提升27.69%。
3.4. 物理采摘实验
2025年9月3-4日在河北农业大学农业科技园国家级标准化矮化密植核桃园进行原型采摘测试。针对20个目标果实开展实验，一次性采摘成功率为70%，落果率10%，抓取错误率15%，综合采摘效率85%。实验验证了系统在真实环境中的可行性和稳定性。
3.5. 讨论
研究团队指出，虽然双臂并行采摘能够满足采摘要求，但仍存在一些不足。考虑到资金和硬件系统能力限制，本研究专门探讨了适用于单目双机械臂采摘策略的通信方法和路径规划算法。未来可在单目多机械臂采摘范式方面进行深入研究，通过改用低成本相机和机械臂来降低成本，并优先开发基于最小动态避障点的实时避障技术。
研究结论表明，通过算法优化、路径规划策略设计和数据传输控制方案构建，实现了双机械臂协同作业效率和安全性的提升。改进的RRT算法为机械臂快速避障和高效运动提供了核心支持；眼在手外、单目双机械臂协同路径规划的综合策略有效平衡了规划效率和操作安全性；基于YOLOv8n目标检测算法获取核桃位置信息，通过Socket异步通信实现数据传输和精准控制，为提升协同效率奠定了通信基础。相关技术成果可为农业机器人双机械臂或多机械臂协同作业领域的研究与应用提供参考。
