《Smart Agricultural Technology》：Multispectral AI-driven imaging for detection of downy mildew and gray mold in grapevines
编辑推荐：
本研究针对葡萄栽培中由霜霉病（Plasmopara viticola）和灰霉病（Botrytis cinerea）导致的严重减产与品质下降问题，开发了一种结合实例分割与语义分割的多光谱AI视觉检测框架。研究人员利用YOLOv11进行叶片实例分割，并构建了结合15个输入通道（包括RGB、多光谱波段、衍生植被指数、YOLO掩码和深度信息）的双头SegFormer模型进行语义分割。结果表明，该框架能高效、精准地分割并识别病害叶片，总体mIoU达75.22%，F1-Score为83.53%，其中灰霉病检测IoU高达94.32%。该研究为基于无人机和地面机器人的精准农业应用提供了强有力的技术方案。
葡萄，这种酿造出琼浆玉液的藤本植物，在全球农业经济中占据着重要地位。然而，两种致命的病害——霜霉病（Downy mildew， 由Plasmopara viticola引起）和灰霉病（Gray mold， 由Botrytis cinerea引起）——常年威胁着葡萄园的收成与果实品质，在最严重的潮湿产区可导致高达75%的减产。传统的诊断方法依赖于植保专家目视检查甚至显微镜观测，不仅耗时耗力，更受制于人的经验与主观判断，难以满足现代大规模、精细化农业管理的需求。随着人工智能（AI）技术的飞速发展，计算机视觉为植物病害的自动化、客观化检测带来了曙光。其中，语义分割（Semantic Segmentation）和实例分割（Instance Segmentation）技术尤为亮眼，前者能为图像中每个像素分配类别标签，精准勾勒病斑区域；后者则能进一步区分图像中同一类别的不同个体，例如区分多片叶片。将这两种技术与超越人眼可见光谱范围的多光谱成像相结合，有望以前所未有的精度和效率，实现作物病害的早期发现与定量评估。
为了应对这一挑战，由Dimitrios Kapetas、Panagiotis Christakakis等人组成的研究团队开展了一项创新性研究，成果发表在国际期刊《Smart Agricultural Technology》上。他们开发了一套融合实例分割与语义分割的计算机视觉框架，专门用于基于多光谱图像自动检测葡萄叶片上的霜霉病和灰霉病。研究团队在希腊塞萨利的一个露天葡萄园中，使用定制化的Qcell Phenocheck相机采集了一个包含451个样本的数据集。每个样本不仅包含标准的RGB（红绿蓝）图像，还包含了五个特定波段（460, 540, 640, 780, 880 nm）的多光谱图像，覆盖了从可见光到近红外的范围。数据集涵盖了健康叶片、灰霉病症状叶片和霜霉病症状叶片三类。在复杂的田间场景中，单张图像往往包含多片叶片，研究采用了“最大/最中心叶片”（BmC）标注策略：仅由植保病理学家对图像中最中心的那片叶子进行病害分类（健康、灰霉病、霜霉病），而画面中出现的其他叶片则统一标记为“未知”类别，共计获得了3540个叶片实例的标注。
研究采用了两种互补的技术路线来应对检测任务。首先，他们利用一个基于YOLOv11的实例分割模型，快速识别并分割图像中的每一片叶子，同时保留“未知”类别的输出。其次，也是本研究的核心创新，他们构建了一个基于SegFormer架构的双头语义分割模型。这个模型的输入极为丰富，高达15个通道，包括：3个RGB通道、5个原始多光谱波段、5个从多光谱数据计算得出的植被指数（NDVI、CVI、GNDVI、NPCI、PSRI）、1个由训练好的YOLO模型预测结果转换而来的二值掩码、以及1个由Depth Anything V2基础模型生成的深度图（逆深度缓冲）。这个双头模型设计精巧：一个主头负责多类分割（背景、健康、灰霉病、霜霉病），另一个辅头则执行二值分割（叶片vs.背景）。通过一致性正则化（Consistency Regularization）技术，迫使两个头在“哪里是叶片”这一认知上保持一致，从而利用辅头强大的叶片分割能力来引导和提升主头的病害分类精度。模型训练采用了分组的差异化学习率策略，并对多类分割头尝试了多种损失函数。
主要技术方法
研究在希腊露天葡萄园采集了451个样本的多光谱图像数据，构建包含健康、灰霉病、霜霉病三类叶片的数据集，并采用“最大/最中心叶片”策略进行精细标注。技术核心是结合两种深度学习模型：一是基于YOLOv11的实例分割模型，用于快速识别和分割单个叶片；二是创新的双头SegFormer语义分割模型，其输入融合了RGB、五个多光谱波段、五个衍生植被指数、YOLO预测掩码和深度信息共15个通道，并通过增设二值分割头与一致性正则化来提升叶片区域识别和病害分类的精度。
研究结果
3.1. 实例分割结果
经过微调的YOLOv11大型模型在叶片实例分割任务上取得了最佳性能，其mAP50（平均精度，交并比阈值为50%）达到89.7%。小型和中型变体模型也表现出色，mAP50分别为88.6%和88.9%。结果表明，即便是参数最少的YOLOv11小型模型，在精度损失极小（仅1.22%）的情况下，提供了精度与计算效率的优异平衡。该模型能够高精度地检测图像中的所有叶片实例，并准确判断最中心叶片的病害类别。
3.2. 语义分割性能评估
通过对不同输入通道组合的实验对比，研究明确了各附加信息对模型性能的贡献。使用AdamW优化器和改进的焦点损失（Modified Focal Loss）取得了最佳效果。关键的发现包括：
- •
多光谱与衍生指数的价值：加入五个多光谱波段和五个衍生植被指数，能使模型整体平均交并比（mean IoU）提升3-5%，单类叶片分割IoU提升0-2%。
- •
YOLO掩码与深度信息的巨大增益：引入YOLO预测的二值掩码作为输入通道，对单类叶片分割IoU带来了超过11%的显著提升。额外加入深度缓冲信息，还能再带来1-3%的增益。这表明预先提供的叶片位置和场景深度信息，能极大地帮助语义分割模型专注于学习病害分类特征。
- •
最佳模型性能：综合性能最佳的模型（使用RGB、五个衍生指数、YOLO掩码和深度缓冲作为输入）取得了单类叶片分割平均IoU 91.79%，整体平均IoU 75.22%，总体F1分数83.53%的优异成果。
- •
病害特异性检测效果：模型对灰霉病的检测能力极为出色，IoU高达94.32%，F1分数达97.08%，准确率98.87%，召回率98.9%。对霜霉病的检测也表现良好，IoU为75.50%，F1分数86.04%。然而，健康叶片的检测性能相对较弱（IoU 44.07%，召回率48.8%），这主要与数据集中健康样本数量远少于病害样本的类别不平衡有关。
- •
推理速度：整个双头SegFormer模型（包含YOLOv11和Depth Anything V2的前置推理）在验证集上的平均单张图像处理时间约为99毫秒，相当于每秒处理超过10帧，展现了应用于实时或准实时农业监测场景的潜力。
结论与讨论
本研究成功开发并验证了一个用于葡萄霜霉病和灰霉病自动化检测的计算机视觉框架。该框架的核心贡献在于创新性地将实例分割与语义分割相结合，并构建了一个能融合多光谱、植被指数、先验分割掩码和深度信息等多模态输入的双头SegFormer模型。实验结果表明，该集成方法在叶片检测和病害分类方面均达到了很高的精度。
其重要意义体现在多方面：在方法论上，研究证实了在深度学习模型中引入由轻量级模型生成的先验信息（如YOLO掩码）和额外的物理信息（如深度）能带来远超单纯增加光谱数据的性能提升，这为未来的农业视觉模型设计提供了新思路。在应用层面，该研究为解决农业病害检测中标注成本高、野外场景复杂、病害特征多变等挑战提供了有效的技术方案。所开发的系统具备非破坏性、快速、客观的优点，且处理速度满足实用需求，非常适合于集成到手持设备、地面农业机器人或无人机（UAV）平台上，实现真正的精准农业管理。通过早期精准发现病害，可以帮助种植者实现靶向施药，减少农药使用总量，从而降低生产成本、减轻环境负担、并保障葡萄产量与品质。
当然，研究也存在局限，主要是数据集中健康样本较少导致的类别不平衡问题，影响了模型对健康叶片的识别准确性。未来的工作可以从扩大数据集、探索更先进的模型架构、以及将检测目标扩展到其他葡萄病害甚至其他作物等方面展开。更重要的是，在完整的生长季中进行实地验证，将能最终检验该技术在实际农业生产复杂环境下的稳健性与实用价值。
