基于无人机RGB与多光谱影像的YOLO模型检测木莓丛性能与跨模态可迁移性研究

《Agriculture》：Detection of Floricane Raspberry Shrubs from Unmanned Aerial Vehicle Imagery Using YOLO Models Magdalena Kap?an, Kamil Buczyński and Zbigniew Jarosz

本综述探讨了将YOLOv8s、YOLO11s、YOLO12s三种目标检测模型与无人机(UAV)多光谱传感技术结合，用于精确检测悬钩子属(Rubus idaeus L.)木莓丛的前沿进展。研究评估了RGB、近红外(NIR)、红边(RE)、红(R)、绿(G)多种影像模态下的模型检测性能与跨模态可迁移性，为人工智能(AI)驱动的精准农业(PA)中木莓生产的自动化监测与管理提供了关键技术依据，推动了卷积神经网络(CNN)在农业计算机视觉(CV)领域的实际应用。

　　

引言

现代精准农业(Precision Agriculture, PA)依赖于高质量数据，无人驾驶航空器(Unmanned Aerial Vehicles, UAVs)是重要数据采集平台。结合人工智能(Artificial Intelligence, AI)特别是机器学习和计算机视觉(Computer Vision, CV)方法，可从海量数据中提取可操作知识。卷积神经网络(Convolutional Neural Networks, CNNs)的出现改变了图像分析范式，而YOLO(You Only Look Once)系列作为单阶段目标检测算法，兼具速度与精度。悬钩子属(Rubus L.)植物具有重要经济和功能价值，其精准栽培需要现代技术。然而，利用无人机多光谱影像结合连续YOLO架构自动检测木莓丛并评估其跨模态可迁移性的研究尚不充分。本研究旨在评估YOLO模型利用无人机RGB和多光谱(NIR, RE, R, G)影像检测木莓丛的精度。

材料与方法

数据采集

研究使用大疆Mavic 3多光谱无人机采集数据，该机搭载RGB摄像头和多光谱相机。多光谱相机采集近红外(NIR, 860 ± 26 nm)、红边(RE, 730 ± 16 nm)、红(R, 650 ± 16 nm)、绿(G, 560 ± 16 nm)四个波段影像。数据采集于2025年生长季，在波兰东部卢布林地区的六个不同木莓种植园进行，涵盖Glen Ample等多个品种。为确保模型泛化能力，影像在不同光照、天气、地表湿度条件下采集。共获得9750个多传感器采集序列，每个序列包含1张RGB和4张单波段影像，共计48,825张影像。

数据预处理

所有影像统一缩放至640×480像素。使用LabelImg工具手动标注木莓行。仅标注完全可见的行，部分遮挡的相邻行灌木不标注。对行中出现空缺的情况，只标注有灌木的区域。最终，每个模态数据集（RGB、NIR、RE、R、G）都有9844个标注实例。每个数据集按约80:10:10的比例划分为训练集、验证集和测试集，划分时确保同一多传感器序列的所有影像属于同一子集，以防止数据泄露。

模型训练

研究选择了YOLOv8s、YOLO11s和YOLO12s三个“小”型号进行训练和评估。YOLOv8(2023)采用无锚框设计。YOLO11(2024)引入了多种结构创新，如C2PSA(Convolutional Parallel Spatial Attention)模块。YOLO12(2025)是首个基于注意力机制的YOLO模型，包含轻量级区域注意力(Area Attention, A²)模块。训练超参数统一设置：200个epoch，批大小32，输入分辨率640×640像素，使用SGD优化器。单通道光谱模态影像通过通道复制转换为三通道输入。

模型评估

模型性能使用标准目标检测指标评估，包括精确率(Precision)、召回率(Recall)、交并比(Intersection over Union, IoU)阈值为0.5时的平均精度均值(mean Average Precision, mAP₅₀)、IoU阈值从0.5到0.95(步长0.05)的平均精度均值(mAP_50:95)和F₁分数(F₁-score)。

结果与讨论

在不同训练场景下，基于YOLO的检测器均达到了接近饱和的精度水平，表明模型在单一模态内具有出色的检测能力。然而，跨域评估显示，模型性能表现出显著的变异性，高度依赖于输入影像的光谱配置。这说明模型在从一种光谱模态迁移到另一种时，其适应性存在差异。例如，在可见光(RGB)下训练的模型，在近红外(NIR)或红边(RE)波段图像上可能表现不佳，反之亦然。这种可变性是实现模型在实际多变农田环境中稳健部署所必须克服的挑战。总体而言，将无人机多光谱传感与卷积神经网络检测框架相结合，为木莓丛自动化监测奠定了技术基础，是迈向智能木莓生产系统的有意义进展，也为人工智能驱动的农业背景下优化该作物的栽培实践创造了新的技术发展前景。