《Smart Agricultural Technology》：Attention-based pretrained deep learning framework for nutrient deficiency diagnosis in oilseed rape using UAV multispectral imagery
编辑推荐：
本研究针对作物养分缺失诊断中RGB影像光谱范围有限、深度学习模型跨模态迁移困难等问题，开发了一种结合迁移学习与通道注意力机制的深度学习框架。利用无人机多光谱影像，该研究实现了油菜氮(N)、磷(P)、钾(K)缺失的精准分类，最优模型在独立跨年验证中F1-score达0.787，为精准农业中的高效养分监测提供了可靠解决方案。
在追求农业可持续发展的道路上，如何实现作物养分的精准管理一直是个关键挑战。传统的养分诊断方法，如化学分析，虽然准确但费时费力，难以满足大范围实时监测的需求。而遥感技术，特别是无人机遥感，以其高时空分辨率和灵活性，为作物养分监测带来了新的可能。然而，常用的RGB相机光谱信息有限，而多光谱影像虽然能提供更丰富的光谱信息，但将基于RGB数据训练的深度学习模型直接应用于多光谱数据时，会面临光谱域差异的挑战。
为了解决这些难题，华中农业大学的研究团队在《Smart Agricultural Technology》上发表了一项创新研究。他们开发了一种结合迁移学习和通道注意力机制的深度学习框架，用于基于无人机多光谱影像的油菜养分缺失诊断。该研究在2021-2025年间从武汉和武穴的四个试验田收集数据，系统比较了不同卷积神经网络架构在RGB和多光谱数据上的表现，并探索了多种迁移学习策略。
研究人员采用的主要技术方法包括：基于无人机平台的多光谱影像采集与预处理、多种CNN架构的性能比较、三种迁移学习策略的评估，以及通道注意力机制的集成。特别值得关注的是，他们针对多光谱数据与RGB预训练模型间的模态不匹配问题，创新性地将Squeeze-and-Excitation和Efficient Channel Attention模块集成到模型中，显著提升了特征表示能力。
3.1. 光谱响应分析
研究首先分析了不同养分条件下油菜冠层的光谱响应特征。结果显示，在近红外和红边波段，正常施肥的油菜与其他养分缺失处理间存在明显差异，而蓝、绿、红波段的区分度相对较小。这一发现证实了多光谱影像，特别是在近红外和红边区域，对检测油菜养分缺失具有更高的敏感性。
3.2. 选择骨干网络
在四种经典CNN架构的比较中，GoogLeNet在RGB和多光谱数据上都表现出最优的性能平衡。在多光谱数据集上，GoogLeNet达到了0.847的测试精度和0.849的F1分数，同时具有相对较少的参数和较短训练时间，因此被选为后续研究的骨干网络。
3.3. 确定迁移学习策略
三种迁移学习策略的比较表明，微调策略在RGB和多光谱数据上都表现最佳。在多光谱数据上，微调策略将F1分数提升至0.865，同时将可训练参数减少76.3%，并显著加快了模型收敛速度。
3.4. 结合迁移学习和注意力机制的养分缺失诊断
集成通道注意力机制后，模型性能得到进一步提升。SE-GoogLeNet-FT模型在多光谱测试集上达到了0.913的精度和0.914的F1分数，训练时间缩短了35.7%。混淆矩阵分析显示，该模型在识别氮缺失和磷缺失方面表现优异，准确率分别达到96.6%和94.9%。
3.5. 独立验证结果
在独立跨年验证中，SE-GoogLeNet-FT模型达到了0.786的精度和0.787的F1分数，表现出良好的泛化能力。尽管钾缺失的诊断仍存在一定挑战，但注意力机制的引入显著改善了对正常样本和钾缺失样本的区分能力。
该研究的结论部分强调，结合迁移学习和注意力机制的深度学习框架为无人机多光谱影像在作物养分监测中的应用提供了有效解决方案。特别是在处理有限标记数据和跨模态迁移挑战方面，该研究提出的方法展现出了显著优势。研究还指出，基于多光谱影像的模型比RGB模型诊断精度提高了10.0%，同时保持了计算效率。
在讨论中，研究人员分析了影响养分缺失诊断准确性的多个因素。不同养分缺失在油菜上表现出不同的表型特征：氮缺失导致叶片黄化和生长受限，磷缺失引起花青素积累使叶片呈现紫红色，而钾缺失的症状相对不明显，这解释了钾缺失诊断难度较大的原因。此外，作物生长阶段的变化和环境条件的年际差异也会影响诊断的准确性。
该研究的重要意义在于，它为解决精准农业中的养分管理难题提供了一个可扩展、适应性强的方法框架。通过有效结合迁移学习和注意力机制，该研究不仅提高了养分缺失诊断的准确性，还显著提升了模型训练效率，为实时作物监测和精准养分管理提供了技术支撑，对推动农业可持续发展具有重要价值。
