基于深度成像与三维点云传感的草莓匍匐茎自动切割系统:性能比较与集成验证

《Smart Agricultural Technology》:Comparative Evaluation of Depth Imaging and 3D Point Cloud Sensing for Automatic Strawberry Runner Cutting

【字体: 时间:2026年01月24日 来源:Smart Agricultural Technology 5.7

编辑推荐:

  本研究针对草莓栽培中人工去除匍匐茎劳动强度大、成本高的问题,开发了一套集深度学习、3D感知与机器人操作于一体的智能切割系统。研究团队比较了深度成像与3D点云两种传感模态在匍匐茎高度估计中的性能。结果表明,系统在受控室内环境下可实现自主切割,深度成像法处理速度更快(快约7秒),而3D点云法在高度估计精度上显著提升(提高54%)。该研究为草莓塑料栽培中的自动化匍匐茎管理提供了可行的技术框架,推动了可部署农业机器人系统的发展。

  
在冬季草莓生产重镇美国佛罗里达州,近6,560公顷的草莓种植园(2024年数据)主要采用一年生塑料栽培模式以实现高产。然而,这种高密度栽培方式面临着一个棘手且劳动密集型的挑战——匍匐茎管理。草莓植株会长出横向生长的匍匐茎(Stolons),其节点处会萌生新的“子株”。虽然这是植物繁殖的必要方式,但过量的匍?茎生长会争夺本应供给果实发育的养分,导致减产。因此,及时、精准地去除多余匍匐茎,对于优化养分分配、保障植株健康和提升果实品质至关重要。目前,佛罗里达的草莓种植者几乎全部依赖人工掐断或剪除的方式进行匍匐茎管理,这项工作极其耗费人力且成本高昂。
为了破解这一难题,一项发表于《Smart Agricultural Technology》的研究提出并验证了一种全新的解决方案:一个由视觉引导的智能机器人系统,能够自动完成草莓匍?茎的检测、定位和切割。这项研究的独特之处在于,它不仅集成了先进的深度学习模型进行识别,还重点比较了两种不同的3D感知技术——深度成像(Depth Imaging)与3D点云(3D Point Cloud)传感,在指导机器人进行精准切割任务中的实际效果,揭示了在自动化农业操作中速度与精度之间的关键权衡。
为了攻克草莓匍匐茎自动化管理的难题,研究人员构建了一个完整的感知-决策-执行系统。该系统的核心技术方法主要包括:1) 深度学习目标检测与实例分割:采用预训练的YOLOv8x-seg模型,利用超过10,000张高清田间匍匐茎图像进行训练,无需额外再训练即可在受控室内条件下实时检测和分割草莓匍匐茎,生成其分割掩模和边界框。2) 三维空间坐标估计:研究核心是比较两种高度估计方法。方法A(深度成像法) 利用RGB-D相机提供的深度图像,通过几何原理(如勾股定理)计算匍匐茎切割点的高度。方法B(3D点云法) 则直接利用相机生成的密集3D点云数据,获取切割点在相机坐标系下的三维坐标(Xc, Yc, Zc),从而直接得到高度信息。3) 机器人集成与控制:系统硬件整合了ZED 2i RGB-D相机和一款4自由度ESP32驱动的机械臂(RoArm M2),机械臂末端配备双刃切割器。所有计算由NVIDIA Jetson Orin NX边缘设备协调控制,实现了从图像采集、runner识别、3D坐标计算到机械臂运动规划与切割执行的闭环自动化流程。实验所用草莓植株为温室栽培的盆栽植株。
2.1. 基于深度学习的匍匐茎检测性能
预训练的YOLOv8x-seg模型在受控环境下成功检测并分割了匍匐茎。评估采用边界框检测指标,模型精确率(Precision)为67%,召回率(Recall)为23%,F1分数(F1score)为34%。这表明模型在检测到的目标上有较高的准确性,但漏检率较高。性能低于某些先前研究的原因在于,本研究所用模型是在田间草莓图像上训练,而测试是在温室盆栽植株上进行,环境差异(如冠层结构、光照、遮挡)给检测带来了挑战。尽管如此,该模型作为集成感知模块,为后续的3D定位提供了必要的2D像素坐标基础。
2.2. 匍匐茎高度估计分析
高度估计的准确性直接决定机器人切割的成功率。研究比较了两种方法:
  • 方法A(深度成像):利用深度图像中的像素深度值,通过几何推导计算高度。该方法处理速度快(预处理平均0.8秒),数据量小,能提供连续的深度覆盖,使得机器人可以尝试切割所有检测到的匍匐茎。但其高度估计误差较大(平均14.33毫米),且存在较多不准确的估计,可能导致切割动作失败。
  • 方法B(3D点云):直接利用3D点云中对应点的Z坐标计算高度。该方法在高度估计上表现出更高的精度(平均误差12.57毫米),误差分布更集中。然而,其计算负担重(预处理平均7.75秒),数据量大,并且会排除置信度低的数据点,导致无效值(NaN)更多,从而减少了可用的检测目标数量。
两种方法都存在估计误差较大的异常值(离群点),这主要源于植物表面的镜面反射、遮挡或复杂角度导致的立体匹配失败或深度信息获取不准。
2.3. 整体系统性能
将检测、高度估计和机器人切割集成为完整系统进行测试。在14株盆栽草莓的31个匍匐茎上评估:
  • 深度成像法:系统整体准确率为0.55(17/31),成功切割了17个匍匐茎。其优势在于吞吐量高,能处理更多目标。
  • 3D点云法:系统整体准确率为0.32(10/31),成功切割了10个匍匐茎。其优势在于单个目标的切割精度更高,因提前过滤掉不确定点,机器人无效动作少,平均单次切割时间反而更短。
实验过程中,未对植株或花盆造成损伤。
3. 研究结论与讨论
本研究成功开发并验证了一套集成深度学习、3D感知和机器人操作技术的草莓匍匐茎自动切割系统。核心结论在于明确了深度成像与3D点云两种传感策略在农业机器人应用中的显著差异与权衡:
  • 深度成像法在处理速度和操作连续性上更具优势,更适合需要高吞吐量、实时响应的田间作业场景(如大面积除草、喷洒),其提供的足够精度足以满足多数操作需求。
  • 3D点云法在空间定位精度上更胜一筹,适用于对精度要求极高的任务(如精细修剪、选择性收获、嫁接),但因其计算量大、速度慢,在当前技术下更适用于校准、研究或对速度不敏感的精密园艺操作。
这项研究的意义超越了草莓匍匐茎管理本身。它构建了一个通用的“感知-决策-执行”技术框架,展示了如何将先进的计算机视觉算法与具体的机器人操作任务紧密结合。该框架为开发其他类似的农作物自动化管理机器人(如修剪、疏花、采收)提供了重要参考。未来研究方向包括开发融合两种传感方式优势的混合方法,扩大数据集以提高模型在不同环境和品种下的泛化能力,并将系统集成到无人地面车辆(UGV)平台进行大规模田间试验,最终推动智能农机在精准农业中的实际应用。
相关新闻
生物通微信公众号
微信
新浪微博

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号