基于改进的YOLOv8算法,实现对柑橘类水果收获的通用化处理与高效识别
《Computers and Electronics in Agriculture》:A generalization and lightweight recognition for citrus fruit harvesting based on improving YOLOv8
【字体:
大
中
小
】
时间:2026年03月06日
来源:Computers and Electronics in Agriculture 8.9
编辑推荐:
柑橘水果识别与定位算法优化研究,提出基于YOLOv8n-Light的改进模型,采用ShuffleNetV2轻量级主干网络、共享卷积检测头、SEAttention特征融合机制及优化CIoU损失函数,实现柑橘类水果(橙、柑、柚)识别精度92.5%-93.5%、定位误差<10mm、推理速度提升45.9%-38.2%,并通过果园实测验证其有效性。
Jingao Ma|Yifan Wang|Xiaomeng Wu|Kaidong Xie|Zijian Dai|Shanjun Li|Jie Liu
华中农业大学工程学院,中国武汉430070
摘要
为了使选择性采摘机器人的性能更加高效,准确的目标识别和定位是前提和基础。因此,无论是对于多种水果品种还是嵌入式边缘计算平台,水果目标识别算法的适应性都有潜力扩展采摘机器人的应用范围。由于柑橘类水果形态多样且在果园中分布广泛,因此设计了一种基于改进版YOLOv8的轻量级柑橘识别模型,该模型能够在计算量较小的情况下识别树上的橙子(Citrus sinensis)、柑橘(Citrus reticulata)和柚子(Citrus maxima),并通过与机械臂控制程序集成在采摘机器人上进行测试。为了提高适应性,将主干网络替换为轻量级的ShuffleNetV2,构建了一种基于共享卷积层概念的LightWeight Head检测头,并重新设计了特征金字塔网络(FPN),在其中融入了SEAttention(挤压-激励注意力)机制,同时结合了MPDIoU和Focaler-IoU的优势,构建了一个优化的CIoU损失函数。训练集、验证集和测试集的比例为7:1:2,共有2,250张树上的橙子、柑橘和柚子图像参与了改进模型的训练和测试。测试集的加权平均识别精度、召回率和平均精度(mAP)分别为92.5%、82.0%和89.4%,而单独的橙子、柑橘和柚子测试集的mAP值分别为92.6%、86.9%和88.7%。与原始YOLOv8模型相比,改进模型将计算负载降低了58%,在工作站CPU上的推理速度达到了15.35 FPS(提高了45.9%),在Raspberry Pi 4B上的推理速度达到了0.76 FPS(提高了38.2%)。定位实验结果显示,在机械臂坐标系中,预测的中心坐标误差在X、Y和Z方向上均不超过10毫米,不同姿态下的半径误差均不超过6毫米。为了验证改进算法的实用性,在果园中进行了312次水果抓取测试。结果表明,橙子、柑橘和柚子的识别成功率分别为93.5%、93.6%和88.3%,定位成功率分别为90.2%、88.1%和83.8%,抓取成功率分别为88.0%、76.1%和68.5%。所提出的YOLOv8n-Light模型为柑橘类水果的采摘作业提供了技术基础,并为设计和改进适用于多种水果品种的水果识别算法提供了参考。
引言
柑橘(Citrus)是全球产量最高、种植面积最大的水果之一。仅2023年,全球柑橘产量和种植面积就达到了1.69 × 108吨和1.06 × 107公顷(联合国粮食及农业组织,2025年)。通常,柑橘类水果种植在山区和丘陵地带,如图1所示,树木高大且叶子茂盛,这使得采摘过程繁琐且劳动强度大(Woon Choi等人,2025年)。近年来,由于传统人工采摘方法的劳动力短缺、成本高昂、效率低下、与可追溯性或质量控制系统兼容性差等问题,对机械化采摘的需求巨大(Wang等人,2025年)。与摇动和梳理方法相比,采摘方法更适合采摘鲜食柑橘类水果,因为它可以防止树木受损和果实受到内部机械损伤(Liu等人,2022a;Zhao等人,2023年)。因此,采摘机器人是柑橘类水果生产中的迫切需求,而水果目标的识别和定位是基础和前提(Nyarko等人,2018年;Villacrés和Vougioukas,2024年)。
为了实现机械化采摘中的精确采摘,目标识别和定位已成为农业机器视觉领域的热门课题(Fan等人,2025年)。早期的水果识别方法主要依赖于基于颜色、纹理和形状特征的传统数字图像处理技术(Lu等人,2018年;Rakun等人,2011年;Wei等人,2014年)以及传统的机器学习方法(Jana等人,2017年;Kurtulmus等人,2011年;Zhuang等人,2018年),准确率大多在75%到90%之间。然而,在复杂环境中,目标容易受到遮挡和光照干扰的影响。特别是在多目标识别方面,这些方法存在准确率低和鲁棒性差的局限性,无法满足实际生产需求(Li等人,2022年)。
随着人工智能的快速发展,深度学习的应用有效解决了传统方法的不足。在复杂自然场景下的水果对象识别任务中,基于深度学习的对象识别算法(如RCNN和YOLO)表现出更高的准确率和更强的抗干扰能力(Agarwal等人,2020年;Noreen等人,2025年)。Lv等人(2023年)使用改进的Mask RCNN算法检测苹果果实,准确率达到85.65%。Zhang等人(2024年)应用改进的MFAF-YOLO算法进行柑橘识别,平均精度(mAP)为90.2%。Jin等人(2025年)使用改进的CO-YOLO算法识别油茶果实,准确率达到90.6%,mAP达到93.7%。Li等人(2025b)改进了YOLOv8n模型,用于识别绿色百香果,准确率达到96.0%,召回率为83.7%,mAP为91.9%。Li等人(2024年)使用改进的YOLOv8识别栗子,模型准确率达到89.4%。除了单目标识别外,深度学习方法在多目标识别中也显示出显著优势。Wang等人(2022年)开发了改进的YOLO-v5s模型用于识别苹果果梗/萼片,不同苹果品种的准确率达到93.89%。Zhang等人(2021年)使用改进的多尺度残差网络(MDRN)识别六种常见的储粮害虫,在原始数据集上的平均准确率为96.72%。Geng等人(2025年)提出了YOLOv8m-LCA模型,用于多标签识别成熟柿子品种和表型特征,在自构建的包含30个柿子品种和14个表型特征的数据集上,整体准确率为93.0%,mAP为94.9%。Tang等人(2024年)引入了YOLOC-tiny改进版YOLOv7模型,用于检测三种不同成熟度的非绿色成熟柑橘品种,mAP为83.0%,为不同成熟度的非绿色成熟柑橘品种的多成熟度识别提供了思路。这些研究表明,通过根据目标特征和使用要求改进基础模型,可以有效地提高识别准确率。
借助视觉系统提供的目标位置信息,机器人手臂和末端执行器能够被引导来采摘柑橘(Wang等人,2025年;Woon Choi等人,2025年)、苹果(Dorosh等人,2025年;Hua等人,2025年)、草莓(He等人,2025年)、番茄(Rong等人,2022年)和猕猴桃(Li等人,2025a)等水果和蔬菜。在控制末端执行器时,还考虑了目标姿态和重叠情况(Sun等人,2023年;Fan等人,2025年)。然而,图像处理速度对机器操作效率的制约,以及图像数据处理与机器驱动指令之间的计算能力竞争,都会影响机器人的整体运行性能。越来越多的研究开始关注算法的简化和轻量化。主流的轻量化改进方法包括替换低参数的主干网络、替换卷积操作、修改颈部结构、引入注意力机制以及更换检测头以提高模型识别速度(Liu等人,2025年)。Li等人(2022年)通过集成BiFPN、双坐标注意力机制、深度可分离卷积和添加Ghost模块改进了YOLOv5s。优化后的模型参数减少了49.15%,mAP提高了1.8%,实现了有效的轻量化。Zhang等人(2024a)使用Vanillanet升级了YOLOv8n,将LSKA集成到特征融合网络中,并用WIoU替换了损失函数。改进后的模型达到123.46 fps(比原始模型高出7.41%),体积缩小到基线的50.17%,在速度和轻量化性能之间取得了平衡。Zeng等人(2025年)通过开发WGD架构作为主干网络、WSF网络作为颈部,并采用EfficientHead改进了YOLOv11n。改进后的模型在精度、召回率和mAP上分别提高了0.24%、3.62%和0.77个百分点。其参数、计算负载和体积分别减少了41.5%、47.6%和39.6%,在Jetson Orin NX上的运行速度达到了26.14 fps,实现了显著的轻量化效果。由于当前研究证明了优化模型的有效性,修改网络结构以减小模型体积、提高识别速度并使其能够在计算能力有限的边缘设备上部署,应该是改进采摘机器人的有效途径。
由于柑橘的种间杂交特性,存在多种品种,其果实形态存在显著差异(Wu等人,2018年)。然而,现有的识别模型通常针对单一品种的水果,这限制了它们在实际生产中的适用性(Tang等人,2024年;Xiao等人,2023年)。此外,果园位于山区,以及采摘机器人的预期成本导致设备计算能力和电力的限制。因此,开发一种计算要求低、能够识别外观多样的主要柑橘品种的算法对于柑橘采摘机器人来说非常重要。这不仅有利于通过减少为外观差异明显的柑橘品种开发识别算法的成本和劳动力来优化柑橘采摘机器人的设计和应用,而且对于那些以非结构化环境、复杂背景和不一致特征为特征的农业目标的识别方法研究也有重要参考意义。
在这项工作中,考虑到种植面积广、产量大、花果成熟期相对同步等因素,选择了三种最常见的柑橘品种——橙子(Citrus sinensis)、柑橘(Citrus reticulata)和柚子(Citrus maxima)的样本,用于建立多品种识别模型。这些水果的典型外观如图2所示,其统计信息见表1。通过优化YOLOv8(Li等人,2024年;Zhang等人,2024b),使用对圆弧特征和橙色或黄色更敏感的轻量级卷积模块和检测头,设计并测试了一种轻量级的柑橘果实通用识别模型,并在由自设计的末端执行器和Ufactory xArm6六自由度机器人臂组成的采摘执行器上进行了测试。该结果将为无需针对每个品种单独工作的柑橘采摘机器人的开发提供技术参数,并可为农业目标的识别算法设计提供参考。
数据集
在果实成熟期间,从中国湖北省的三个不同的柑橘果园收集了样本图像:华中农业大学柑橘细胞工程与遗传改良团队的育种果园(346张图像)、华中农业大学景观建筑实践教学基地(104张图像)以及宜昌市 Zigui县的柑橘果园(300张图像)。这些果园具有足够的代表性
消融测试
改进模型YOLOv8n-Light集成了轻量级主干网络ShuffleNetV2、基于共享卷积设计的轻量级检测头LightWeight Head、特征融合模块SE-Concat以及注意力机制,并在原始模型的基础上通过结合MPDIoU和Focaler-IoU改进了损失函数。为了验证改进模型的合理性和有效性,设计了并实施了消融实验。
结论与未来工作
为了扩大柑橘类水果(橙子、柑橘、柚子)采摘机器人的应用范围,通过将YOLOv8的主干网络替换为ShuffleNetV2实现了轻量化设计并提高了表达能力,设计了基于共享卷积的LightWeight Head以减少参数冗余,整合了SEAttention以优化特征融合,并通过结合MPDIoU和Focaler-IoU改进了CIoU损失函数
CRediT作者贡献声明
Jingao Ma:写作 – 审稿与编辑、撰写原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据管理。Yifan Wang:写作 – 审稿与编辑、验证、监督、软件、方法论、调查、数据管理。Xiaomeng Wu:监督、资源管理、项目管理、资金获取。Kaidong Xie:资源管理、项目管理、资金获取。Zijian Dai:验证、监督、调查、形式分析
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
致谢
本项工作得到了中国国家重点研发计划(项目编号:2024YFD1200501)、国家柑橘产业技术体系(项目编号:CARS-26)和国家外国专家个人计划(项目编号:H20250249)的资助。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号