《Expert Systems with Applications》：Optimized deep learning models with heatmap visualization for optimal maturity and automated yield assessment in precision cotton farming
编辑推荐：
实时检测与产量估算框架提升棉花精准农业效率|棉花成熟度检测|YOLOv5/v7/v8模型比较|多目标跟踪|边缘AI部署
Pooja Verma | Ayan Paul | Rajendra Machavaram | Mahua Bhattacharya
印度卡拉格普尔印度理工学院
摘要
检测和量化棉铃的成熟度对于优化收获计划和提高产量预测至关重要，但在光照变化大、背景复杂且棉铃聚集的田间环境中，这一任务仍然具有挑战性。在这项研究中，我们提出了一种新颖的端到端框架，该框架利用基于YOLO的对象检测器和多对象跟踪技术来分类五个成熟阶段（花蕾、开花期、早期棉铃、裂开的棉铃和成熟棉铃），并实时估算产量。我们在一个棉铃图像数据集上对YOLOv5、YOLOv7和YOLOv8进行了基准测试，比较了它们的mAP值（0.5）、F1分数、召回率和模型大小以及推理速度。YOLOv5取得了0.78的mAP值、0.81的F1分数和70.9 FPS的推理速度，在超快应用中表现优异。YOLOv7在性能和模型大小之间取得了平衡（0.82的mAP值、0.85的F1分数），模型大小仅为74.9 MB，推理速度为54.3 FPS，非常适合资源有限的硬件。YOLOv8在43.6 FPS的推理速度下提供了最高的检测可靠性（0.84的mAP值、0.88的F1分数和0.90的召回率）。将YOLOv8与ByteTrack集成后，实现了连续的棉铃计数，在100帧内估算出499.5克的产量，平均误差仅为15%，显著低于人工巡查的误差。我们的方法通过结合高吞吐量检测、通过热图可视化进行解释以及自动化的产量估算，超越了之前的棉花成熟度研究，并且可以轻松部署在边缘AI系统中。该模型在集成到机器人和基于无人机的农业自动化系统中具有巨大潜力，能够实现大规模和实时的监测。局限性包括在早期生长阶段和极端光照变化下的性能下降，这可以通过多模态数据融合和时间建模来解决。这一框架为可扩展的精准棉花种植和商业农业系统中的自动化表型分析铺平了道路。
引言
棉花在全球农业和经济中具有重要意义，为数百万人提供了生计，并是纺织工业的基本组成部分。棉花在科学上被称为Gossypium spp，由于其经济价值和广泛的工业用途种植，成为一种重要的农产品，能产生可观的经济收益。印度是全球第二大棉花生产国，仅次于中国。印度拥有全球最大的棉花种植面积，估计为13,061千公顷，约占全球棉花种植面积的40%。然而，尽管种植面积最大，印度的棉花产量仍低于其他主要棉花生产国，仅占全球棉花产量的约21%（A Nonymous, 2022）。这种明显的差距凸显了采用先进农业实践和技术的必要性，以提高棉花产量。
为了促进高质量、高产量的棉花种植，通过整合先进的传感、自动化和人工智能（AI）技术来现代化传统农业实践至关重要。气候变化、降雨不规律和温度变化等环境压力因素严重阻碍了棉花产量，因此需要可持续和精确的监测解决方案（Viator等人，2005）。在棉花种植中，一个关键挑战是在适当阶段评估棉铃的成熟度，因为及时收获对于最大化产量和质量至关重要（Sun等人，2022；Pabuayon等人，2021）。然而，人工监测方法仍然依赖大量劳动力、主观性强且容易出错（Gwathmey等人，2016；Dias等人，2018），这凸显了棉花种植中自动化的迫切需求。
尽管在苹果和草莓检测等更广泛的农业领域已经采用了AI和计算机视觉技术（Tian等人，2019；An等人，2022），但针对棉花的具体应用，特别是棉铃生长阶段检测和产量估算的研究仍然不足。虽然基于颜色和纹理分析的传统计算机视觉技术在香蕉和番茄等作物的成熟度评估中取得了成功（Kumar等人，2015；Wan等人，2018），但它们往往缺乏适应动态田间条件所需的鲁棒性和灵活性。
最近在深度学习领域的进展，特别是基于YOLO的对象检测技术，在复杂背景和不同光照条件下检测水果和植物表型方面展示了高准确性和效率（Lv等人，2022；Jiang等人，2020）。然而，现有的对象检测模型在泛化能力、实时可扩展性和解释性方面仍存在局限性，尤其是在应用于特定作物（如棉花）时。遮挡、不同生长阶段棉铃外观的变化以及环境噪声等因素使得成熟度评估变得复杂。需要对这些模型进行结构化评估和调整，以适应棉花种植的具体情况。
对比传统计算机视觉和基于YOLO的深度学习方法可以发现，虽然经典方法轻量且易于解释，但在实际田间条件下往往缺乏精度。相比之下，YOLO模型提供了快速、可扩展且准确的检测能力，但需要大型标注的数据集和精心设计的模型才能在农业环境中表现良好。为解决这些不足，本研究提出了一种全面的深度学习方法，用于自动化棉花棉铃成熟度检测和产量估算。研究的目标如下：
- 使用基于YOLO的对象检测技术识别不同生长阶段的棉花棉铃成熟度。
- 评估不同YOLO架构在生长阶段识别方面的性能。
- 评估棉铃大小和模型架构对不同成熟度阶段检测精度的影响。
- 在棉花生长周期内精确跟踪和计数棉铃，以估算总产量。
本研究的主要贡献包括：
- 首次将YOLO模型应用于分阶段的棉花棉铃检测，实现了对作物成熟度的准确跟踪。
- 对针对农业条件定制的YOLO模型进行了结构化的性能比较，重点关注其在棉花种植中的实际应用性。
- 将成熟度识别与产量估算相结合，为优化收获和农场资源管理提供了数据驱动的决策支持。
通过弥合先进的深度学习技术和棉花特定农业需求之间的差距，这项工作为实现可持续、自动化和高效率的棉花种植做出了贡献。
相关工作
在过去几十年中，人工智能（AI）和计算机视觉技术已在农业中得到广泛应用，以提高质量、生产力、疾病检测（El-Kenawy等人，2022）和植物生长监测（Lv等人，2022）。YOLOv5-B是一种先进的深度学习模型，旨在通过视觉识别果园中的苹果生长形态。它结合了BiFPN-S（具有增强特征的双向特征金字塔网络）结构来进行特征提取。
材料与方法
在这项研究中，我们研究了基于对象检测的深度学习架构，以解决评估棉花棉铃成熟度和计数的问题。研究重点评估了各种最先进模型在准确识别和量化不同成熟阶段棉花棉铃方面的有效性。这涉及使用先进的神经网络架构来分析棉花植物的图像，检测棉铃的存在并分类其成熟度。
棉花成熟度评估结果
为了观察棉花棉铃图像在不同发育阶段之间的差异，图6展示了每个阶段的直方图和频域表示。每个直方图表示相应棉花发育阶段图像的强度分布。棉花花蕾的直方图显示左侧像素强度较高，表明图像较暗，同时包含一些较亮的元素；第二个直方图（棉花开花期）显示了像素强度的分布...
结论
本研究全面评估了YOLOv5、YOLOv7和YOLOv8等先进深度学习模型在多对象检测、棉花生长阶段分析、自动化棉花棉铃成熟度评估和产量估算方面的能力。我们在包含五个生长阶段（花蕾、开花期、早期棉铃、裂开的棉铃和成熟棉铃）的多样化、多地点数据集上对这些模型进行了测试，评估了它们的检测精度（mAP@0.5）、推理速度等指标...
未引用参考文献
Chen和Dong，2016；Coleman等人，2024；El-Kenawy等人，2022；Girshick等人，2014；ICAR-AICRP（棉花），2022–2023；K.，S.Elkanzi，M.，2024；Paul等人，2024；Ritchie等人，2007；Shi等人，2022；Sun等人，2019；Surya Prabha和Satheesh Kumar，2015；Tan等人，2020；Tedesco-Oliveira等人，2020；Zhang等人，2022。
CRediT作者贡献声明
Pooja Verma：概念化、方法论、调查、软件编写——初稿撰写、审阅与编辑、资源收集、验证、正式分析、可视化。
Ayan Paul：软件编写——初稿撰写、审阅与编辑、数据整理、验证。
Rajendra Machavaram：正式分析、可视化、监督、项目管理。
Mahua Bhattacharya：正式分析、可视化、监督、项目管理。
资助
本研究得到了印度卡拉格普尔印度理工学院的财政支持。
数据和支持本研究发现的材料可向相应作者索取。
相关代码也可根据合理请求提供。
利益冲突声明
作者声明他们没有已知的利益冲突或个人关系可能影响本文所述的工作。
