基于高效曼巴注意力(EMA)增强YOLOv10的冬小麦田间杂草实时检测与分割:面向边缘AI农业机器人的解决方案

《Smart Agricultural Technology》:YOLO-EMA: Efficient Mamba Attention Enhanced YOLOv10 for Real-time Detection and Segmentation of Winter Wheat Weeds on Edge AI Platforms

【字体: 时间:2026年02月27日 来源:Smart Agricultural Technology 5.7

编辑推荐:

  针对冬小麦田间杂草生物多样性、共生遮挡、光照动态变化等复杂场景下实时精准识别与分割的难题,本研究提出YOLO-EMA框架。研究人员通过公开增强数据集3W-Pro,引入高效曼巴注意力模块改进YOLOv10,并部署于NVIDIA Jetson Xavier NX边缘平台。结果表明,YOLO-EMA在实验室与实地无人机试验中均实现了高精度检测(mAP 87.0%)与实时分割(71.7% FPS),为精准农业中基于深度学习的实时杂草管理提供了可行方案。

  
小麦是全球第二大粮食作物,中国更是最大的生产国,但杂草造成的减产严重威胁着粮食安全。传统的除草剂喷洒方式虽然常用,却带来了残留与环境污染的问题。精准农业倡导的“定点杂草管理”(Site-Specific Weed Management, SSWM)有望通过按需施药来减少药用量,但其前提是必须能在复杂多变的田间环境中,快速、准确地识别并勾勒出每一株杂草的轮廓。想象一下,冬小麦田里,各种杂草形态各异,与小麦交错生长、相互遮挡,加上不断变化的光照和无人机飞行带来的动态模糊,想要让农业机器人“看清”并“记住”每一株杂草,堪称一项视觉挑战。
此前,基于深度学习的方法,如YOLO系列、R-CNN和Transformer,已在杂草检测任务中展现出潜力。然而,这些模型要么受限于固定感受野难以捕获全局上下文,要么因计算复杂度过高而难以在资源受限的田间边缘设备上实时运行。同时,一个能够充分反映真实田间复杂性的高质量、公开杂草数据集也较为匮乏,这进一步限制了先进模型在实地场景中的实用性和泛化能力。
为此,发表在《Smart Agricultural Technology》上的这项研究,提出了一套完整的实践框架,旨在通过边缘深度学习实现农业机器人对冬小麦杂草的实时检测与实例分割。研究团队首先公开了增强版的3W-Pro数据集,它包含了通过智能手机和高空无人机采集的、涵盖多种杂草物种、生长阶段、遮挡情况和光照条件的丰富样本。基于该数据集,研究团队比较了多种先进模型,最终选择在精度、速度和模型复杂度之间平衡出色的YOLOv10作为改进基线。为了提升模型在局部与全局上下文中的特征表征能力,同时保持较低的计算复杂度,研究创造性地将高效的曼巴注意力(Efficient Mamba Attention, EMA)模块引入YOLOv10,提出了YOLO-EMA模型。曼巴(Mamba)作为一种状态空间模型,能够以线性计算复杂度建模长程依赖,这使其特别适合处理具有复杂空间关系的田间图像。
随后,研究将优化后的YOLO-EMA模型量化为TensorRT-INT8格式,部署在轻量级、高能效的边缘AI计算设备NVIDIA Jetson Xavier NX上,并集成到定制化的无人机系统中。最终,通过在真实冬小麦田中进行飞行实验,全面评估了模型在不同飞行高度、光照条件、杂草密度及运动模糊等实际因素影响下的性能。
本研究采用了几个关键的技术方法:一是构建并公开了多源、高质量的3W-Pro增强数据集;二是在模型构建上,通过引入EMA注意力机制对YOLOv10进行改进;三是在技术部署上,利用TensorRT对模型进行INT8量化,并将其集成到搭载Jetson Xavier NX的定制无人机硬件平台中,实现了算法的边缘端部署与实地验证。
研究结果
3.1. 实验室环境下先进模型及YOLO-EMA的性能分析
在3W-Pro数据集上,YOLO系列模型整体表现优于R-CNN系列(如Mask R-CNN)和Transformer(如Swin Transformer)。其中,YOLOv10在实例分割的平均精度(mean Average Precision, mAP)上达到69.8%,且拥有最少的参数量(2.21 million)和最高的推理速度(434.7 FPS),因此被选为基线模型。改进后的YOLO-EMA模型在边界框检测和实例分割的mAP上分别达到87.0%和71.7%,较基线YOLOv10提升了3.7和1.9个百分点,同时在参数量略有增加的情况下,仍保持了416.7 FPS的高推理速度。可视化对比显示,在复杂多杂草、存在遮挡或小目标场景下,YOLO-EMA比YOLOv10表现出更优的检测与分割能力。
3.2. YOLO-EMA与先进模型在3W-Pro上各分类的性能分析
YOLO-EMA在大多数杂草类别(如C. bursa, C. arvense, E. cheiranthoides, G. aparine)上的平均精度(AP)表现最佳。然而,对于C. hederacea, D. sophia, H. scandens和冬小麦这几个类别,其分割精度相对较低,这主要与田间复杂环境、光照变化及无人机飞行造成的图像运动模糊有关。
3.3. YOLO-EMA在Jetson Xavier NX上的部署性能
将YOLO-EMA从PyTorch-FP32格式转换为TensorRT-INT8格式并部署到Jetson Xavier NX边缘设备后,模型的检测与分割mAP仅出现了小幅下降(分别从87.0%降至85.2%,从71.7%降至71.3%),但推理速度大幅提升至97.1 FPS,满足了田间实时处理的需求。这表明INT8量化在精度与效率之间取得了良好平衡。
3.4. 田间实验结果
在真实的冬小麦田无人机飞行试验中,部署了TensorRT-INT8版YOLO-EMA的系统整体性能有所下降,边界框检测和实例分割的mAP分别为74.1%和51.7%。性能下降主要归因于田间环境的极端复杂性、无人机相机成像质量限制以及试验期间实际存在的杂草种类较少。尽管如此,系统仍能以较高的精度率和召回率运行,证明了该框架在真实农业场景中的初步可行性。
研究结论与讨论
本研究成功构建了一个从数据集、算法到边缘部署和实地验证的完整框架,用于解决冬小麦田间杂草的实时检测与分割难题。其核心贡献在于:第一,公开了更贴近真实田间复杂性的3W-Pro数据集,为相关研究提供了坚实基准;第二,提出的YOLO-EMA模型通过融合YOLOv10的高效性与EMA的全局建模能力,在精度和速度上均优于当前多种先进模型;第三,通过TensorRT-INT8量化将模型成功部署于资源受限的边缘AI平台,并在定制无人机上实现了实时推理,验证了其工程实用性。
讨论部分进一步分析了影响性能的关键因素。与较为“干净”的实验室数据集相比,包含更多真实田间挑战的3W-Pro数据集使模型测试结果更贴近实际。通过注意力机制可视化(Grad-CAM)对比发现,EMA模块相比传统的CoordAtt、ECA等注意力机制,能产生更集中、更强烈的特征关注区域,从而更好地捕捉关键目标。此外,研究也指出,无人机飞行高度、光照条件、杂草与作物的空间关系(如遮挡)以及运动模糊等田间变量,都会对基于视觉的杂草识别系统性能产生显著影响,这是在设计实用化农业机器人系统时必须考虑和优化的问题。
综上所述,这项研究不仅提出了一个高性能的算法模型,更重要的是打通了从实验室算法研发到田间机器人实际应用的完整链路,为深度学习驱动的精准杂草管理提供了可复制的技术范例和扎实的实践基础,对于推动智慧农业的发展具有重要意义。
相关新闻
生物通微信公众号
微信
新浪微博

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号