《Smart Agricultural Technology》:LMPF: Lightweight Multi-Scale Prediction Framework in Lettuce Agriculture
编辑推荐:
为解决生菜(Lactuca sativa L.)生长表型(如鲜重、干重、株高等)难以实现轻量化、跨生长阶段精准监测的难题,本研究提出了一种新颖的轻量级多尺度预测框架(LMPF)。该框架巧妙融合RGB与深度图像信息,通过深度可分离密集融合模块(DSDF)、生长阶段自适应感受野金字塔模块(GPAR-Pyramid)及多任务自适应空间通道注意力模块(MTASCA),在仅1.02M参数下实现了对生菜五个关键生长性状的平均预测R2达到93.77%,在保证高性能的同时显著降低了模型复杂度,为资源受限的边缘设备部署提供了高效解决方案,对推动精准农业实践具有重要意义。
在现代精准农业中,实现对作物生长关键指标的实时、无损、准确监测,是实现精细化灌溉、施肥和产量预估的基石。生菜作为一种广泛种植的叶类蔬菜,其鲜重、干重、叶面积、株高等表型性状直接关系到最终的产量与品质。然而,传统的测量方法依赖人工,费时费力,难以规模化;而基于图像的传统方法,其依赖于人工设计的特征,在面对复杂的田间环境(如叶片遮挡、光照变化)时,其稳健性和泛化能力往往捉襟见肘。近年来,虽然基于深度学习的卷积神经网络(CNN)方法展现出强大潜力,能自动学习特征,但现有研究大多追求更高的预测精度,导致模型日益复杂、参数量庞大、计算开销高,难以在计算资源有限的边缘设备(如田间监测节点、无人机)上部署。更关键的是,现有模型对RGB(颜色纹理)和深度(三维几何)这两种互补模态信息的融合与利用仍缺乏深度探索,这成为提升其全面感知能力的一个关键瓶颈。
针对上述交织的三大挑战——模型参数量大、计算成本高;作物从幼苗到成熟期尺度形态变化剧烈;RGB与深度模态信息互补但异质性强,难以有效融合——由哈尔滨师范大学物理与电子工程学院的Zihan Gao、Xianwei Rong和Xiaoyan Yu组成的研究团队,在《Smart Agricultural Technology》期刊上发表了一项创新性研究。他们提出了一个名为“轻量级多尺度预测框架(LMPF)”的紧凑型网络,旨在为生菜生物量预测提供一个兼顾高性能与低复杂度的端到端解决方案。
研究人员为开展此项研究,主要运用了以下几个关键技术方法:首先,利用腾讯与瓦赫宁根大学主办的第三届自主温室挑战赛的公开数据集,该数据集包含来自四个生菜品种(Lugano, Salanova, Aphylion, Satine)七个生长周期的388对RGB-D图像及其对应的五个生长性状真实测量值。其次,在数据预处理中,将RGB和深度图像沿通道维度拼接成四通道(4-channel)RGB-D张量作为模型输入。模型架构核心包括:1) 基于深度可分离卷积和密集连接的深度可分离密集融合(DSDF)模块,用于高效提取局部细节特征;2) 基于膨胀卷积构建分层金字塔结构的生长阶段自适应感受野金字塔(GPAR-Pyramid)模块,通过可学习分支权重动态调整感受野以捕获多尺度信息;3) 集成通道和空间注意力并引入任务相关性权重的多任务自适应空间通道注意力(MTASCA)模块,用于智能融合RGB-D信息并将其分配给不同的预测任务;4) 为五个生长指标(鲜重、干重、株高、直径、叶面积)分别建立独立的轻量级回归头,实现多性状联合预测。模型使用加权归一化均方误差作为多任务损失函数进行端到端训练。
研究结果部分揭示了LMPF框架的卓越性能与有效性:
- •
4.2. 性能评估:研究采用决定系数(R2)和归一化均方根误差(NRMSE)作为核心评估指标。在公开数据集上的测试表明,LMPF模型在参数量仅为1.02百万(1.02M)、计算量仅6.53 GFLOPs的情况下,取得了所有对比模型中最优的平均性能,五个生长性状的平均R2达到93.77%,平均NRMSE为16.23%。
- •
4.3. 定量比较:通过与一系列主流模型(包括CNN、VGG16、AlexNet、ResNet50、ResNet101、GFFN以及现代轻量级模型ConvNeXtV2、ShuffleNetV2、RepViT)进行公平比较,LMPF在平均预测精度上超越了所有对比模型。特别是在株高(LH)和直径(LD)这两个结构性性状上,LMPF取得了最优的预测结果(R2分别为92.54%和90.53%)。在鲜重(FW)、干重(DW)和叶面积(LA)预测上,其性能也与最优模型相当甚至接近,但LMPF在参数和计算效率上具有显著优势,验证了其出色的精度-效率权衡。
- •
4.4. 定性比较:通过对不同生菜品种样本的可视化分析显示,LMPF模型生成的响应图在生菜叶片边缘区域产生了更清晰、语义更分明的激活,同时有效抑制了无关背景响应。这种聚焦的激活模式与其在结构性性状(如LH和LD)上优越的定量性能相一致,直观表明其多尺度、跨模态融合机制能更有效地捕捉对回归预测至关重要的结构线索。
- •
4.5. 消融研究:为验证各核心模块的有效性,研究进行了系统的消融实验。结果表明,完整的LMPF框架(包含DSDF、GPAR-Pyramid和MTASCA三个模块)取得了最佳的综合性能。移除任何一个模块都会导致平均预测精度下降,特别是GPAR-Pyramid和MTASCA模块的缺失对株高和直径预测影响显著,证实了多尺度特征聚合和智能模态融合对于应对植物生长尺度变化和充分利用互补信息至关重要。DSDF模块则在保证性能的同时,是模型实现轻量化的关键。
研究结论与讨论部分对LMPF的创新性与应用价值进行了总结与展望。本研究成功提出并验证了一个名为LMPF的轻量级多尺度金字塔网络,用于生菜生物量和形态参数的高效、精准预测。该框架通过深度可分离密集融合(DSDF)模块实现了参数高效的特征提取;通过生长阶段自适应感受野金字塔(GPAR-Pyramid)模块动态捕获了从幼苗到成熟植株的多尺度特征;并通过多任务自适应空间通道注意力(MTASCA)模块智能地融合了RGB和深度模态信息,将其有效分配给不同的预测任务。实验证明,LMPF不仅在多个生菜生长性状预测任务上取得了领先的性能,更重要的是,其以极低的参数量(1.02M)和计算成本实现了这一目标,在精度与效率之间取得了优异的平衡。
这项研究的意义在于,它为解决农业表型分析中模型复杂度与部署可行性之间的矛盾提供了一个切实可行的技术方案。LMPF所展现出的轻量化、高精度特性,使其非常适合在资源受限的实际农业环境(如智能温室、田间移动监测平台)中进行部署,为实现实时、自动化的作物生长监测与精准管理提供了有力的工具。未来,该框架的设计思路有望扩展到其他作物或其他农业视觉任务中,推动深度学习在精准农业领域的更广泛应用。研究也指出,尽管在可控温室数据集上表现出色,未来仍需在更复杂、多变的露天田间环境中进一步验证和优化模型的鲁棒性与泛化能力。