《Smart Agricultural Technology》：An Intelligent Multi-modal Q&A system for Agriculture Combining APGM, PBTCS, and RAG
编辑推荐：
本文针对通用大模型在农业专业场景中存在的领域知识匮乏、提示词依赖性强及多模态信息丢失等痛点，研究团队创新性地提出了融合农业提示生成模型（APGM）、问题分级控制策略（PBTCS）与检索增强生成（RAG）的智能问答系统。该系统通过多模态特征融合与动态权重分配机制，在果树病虫害诊断任务中准确率达到85.5%，推理速度提升25%，GPU显存占用降低超50%，为农业智能化提供了轻量化、低成本的解决方案。
在智慧农业快速发展的浪潮中，人工智能技术正深刻改变着传统农业生产方式。然而，当通用多模态大模型（如GPT系列、DeepSeek等）面对高度专业化的农业场景时，其表现却令人失望——在岭南果园项目的实测中，这些模型对果树种植问题的平均回答准确率不足65%。究其根源，农业科学独有的术语体系（如"土壤养分循环"、"病虫害综合防治"）与专业概念框架，在通用网络数据训练的大模型中难以深度编码，导致模型出现专业词汇识别困难、视觉特征提取不精准、知识推理能力薄弱等突出问题。
更严峻的是，传统解决方案存在明显瓶颈：基于外部系统的跨模态处理方案面临特征丢失严重、模型难以复用等问题；大模型性能高度依赖人工提示词设计，耗时占比高达47%；而直接使用大规模参数模型又会导致计算资源消耗巨大。这些矛盾严重制约了人工智能技术在农业领域的规模化应用。
为解决这一难题，华南农业大学研究团队在《Smart Agricultural Technology》发表最新研究成果，构建了一套集农业提示生成模型（Agricultural Prompt Generation Model, APGM）、问题分级控制策略（Problem-Based Tiered Control Strategy, PBTCS）和检索增强生成（Retrieval-Augmented Generation, RAG）技术于一体的智能问答系统。该系统通过多模态特征融合、动态资源分配和领域知识增强三大创新，实现了准确率与效率的平衡提升。
关键技术方法
研究采用无人机多角度采集果树图像数据，构建包含3,500个图像-文本对的专业数据集。APGM模型融合CLIP视觉编码器与Transformer文本编码器，通过双路径交叉注意力机制实现多模态特征对齐。PBTCS策略根据问题复杂度动态调度不同规模的语言模型（GLM-4-Flash/GLM-4V-Flash/GLM-4V-Plus）。RAG技术构建专业知识库，通过查询扩展和权重重排序增强领域知识理解。
研究结果
问题分级控制实验
通过对比GPT-3.5、GLM-4V-Plus与APGM+RAG+PBTCS系统的性能发现，分级控制系统在简单问题准确率达到88%，较基线模型提升5-10个百分点。内存占用稳定在15-31GB，推理时间缩短至18-32秒，实现资源消耗与精度的最优平衡。
APGM与RAG消融实验
在简单问题测试中，单独引入RAG使F1值提升9.8个百分点，BLEU-4提高4.01%；APGM模块将内存占用降低66.6%（24GB→8GB）。两者协同使用时，系统在保持85.5%准确率的同时，将内存占用优化至15.3GB，证实了模块间的正向协同效应。
可视化效果对比
与通用模型（Kimi、通义千问等）相比，本系统在需要图像理解的中等难度问题上表现突出。例如在蝽象识别任务中，APGM生成的提示词准确提取昆虫形态特征，结合RAG提供的专业知识，实现精准识别，而通用模型均未能正确识别目标害虫。
研究结论与讨论
该研究开创性地构建了"检索增强+多模态融合+轻量化分级"三位一体的技术框架。实验表明，系统在果树病虫害诊断等核心场景中准确率达到85.5%，较通用模型提升约20个百分点，同时显著降低资源消耗。分级控制策略使50%以上的简单问题由轻量化模型处理，大幅提升系统经济性。
研究同时指出未来发展方向：需增强模型在极端环境（如阴雨天气图像模糊）下的鲁棒性，构建知识库动态更新机制，并探索多传感器数据（红外、高光谱）融合方案。随着因果推理范式的发展，智能问答系统将从知识输出工具演进为农民深度参与的协同认知平台，通过可视化交互实现决策路径的实时修正与优化。
这项研究为农业领域大模型应用提供了可复制的技术范式，其分级策略设计使单问题计算成本降低25%以上，为资源受限的田间部署奠定基础。未来工作将聚焦于复杂度评估算法优化、知识库动态更新机制探索，以及模型在多品种果树栽培场景中的泛化能力扩展，推动智能问答系统从单功能工具向全周期农技服务平台的演进。
