《Artificial Intelligence in Agriculture》：LUNet: Language-infused UNet for precise
Camellia oleifera pests and diseases segmentation in complex agricultural environment
编辑推荐：
本研究针对复杂农业环境中油茶病虫害精准分割的技术瓶颈，提出了一种融合视觉-语义特征的多模态分割网络LUNet。通过引入跨模态Transformer实现特征对齐，结合多尺度特征融合(MFF)和位置混合注意力(PMA)模块，在自建VCD-7数据集上达到91.92%的mIoU，较基线模型提升5.12%。研发的智能诊断系统集成GPT-4和DeepSeek-R1，建立了"分割-分析-决策"的技术闭环，为智慧农业提供了创新解决方案。
在我国重要的木本油料作物油茶产业中，病虫害每年导致20%-45%的产量损失，传统化学防治不仅增加成本，还对生态系统造成破坏。早期的人工目视检测效率低下，而基于图像处理的传统方法在复杂农业环境中识别病害斑块的效果有限。随着深度学习技术的发展，卷积神经网络虽然能够通过多层次特征提取捕捉病虫害的深层语义信息，但在具体分割任务中仍面临三大挑战：传统单模态模型捕捉细微病理特征能力不足、复杂环境干扰导致病征误判、全局上下文信息整合不佳导致性能欠佳。
针对这些瓶颈问题，发表在《Artificial Intelligence in Agriculture》的研究提出了一种创新性的多模态分割网络LUNet（Language-infused UNet），并开发了配套的智能诊断系统。该研究主要采用了以下关键技术方法：首先构建了包含1400张高分辨率田间图像的VCD-7多模态数据集；其次设计了语义-视觉混合编码器，整合BERT语言模型和跨模态Transformer(MulT)；第三开发了多尺度特征融合(MFF)模块和位置混合注意力(PMA)模块，增强了模型对多尺度特征和边界特征的提取能力；最后基于Coze平台集成GPT-4图像理解和DeepSeek-R1深度推理模块，建立了完整的技术闭环。
模型架构设计
研究人员基于TransUNet框架，设计了层次化的编码器-解码器结构。编码器采用CNN视觉编码器和BERT语言模型的混合架构，通过跨模态注意力机制实现视觉和语言特征的细粒度对齐。在跳跃连接层集成MFF和PMA模块，显著提升了多尺度特征的利用效率。
跨模态注意力机制
研究引入了创新的跨模态Transformer架构，通过多头注意力机制计算文本查询(Query)与图像键值(Key-Value)之间的交互关系。该机制使模型能够根据文本提示聚焦图像中的相关区域，有效提升了在复杂背景下识别病害特征的准确性。
多尺度特征融合
针对传统U-Net网络忽视不同尺度特征图间共享信息的问题，研究团队设计了MFF模块。该模块采用1×1、3×3、5×5三种不同尺寸的卷积核提取多尺度特征，通过上采样和下采样操作统一特征图尺寸，最后沿通道维度进行特征拼接，显著增强了模型对大小不同病害区域的分割能力。
位置混合注意力机制
PMA模块整合了位置注意力(PAM)和通道注意力(CAM)两种机制。PAM通过计算空间位置间的依赖关系捕获全局上下文信息，CAM则建立通道映射间的相互依赖关系。实验表明，该模块能有效提升模型对低对比度区域分割目标轮廓特征的提取能力。
实验结果分析
在自建的VCD-7数据集上，LUNet在油茶病虫害分割任务中达到了93.67%的Dice系数和91.92%的mIoU，较基线模型TransUNet分别提升4.19%和5.12%。特别是在复杂背景下，其分割mIoU比DeepLabV3+高出15.52%。消融实验进一步证实了各模块的有效性，单独添加文本编码器可使mIoU提升2.1%，而完整架构的协同作用带来了最大性能增益。
泛化性能验证
研究还在苹果叶病害数据集上测试了模型的跨物种泛化能力，LUNet取得了94.71%的mIoU，显著优于对比方法。在柑橘叶病害检测的迁移学习实验中，模型无需微调即可实现高质量分割，证明了其良好的特征迁移能力。
智能诊断系统
基于LUNet框架，研究团队开发了油茶病虫害智能诊断系统，建立了"病害分割-病理分析-防治决策"的三阶段技术流程。系统集成GPT-4图像理解和DeepSeek-R1深度推理模块，能够根据输入图像自动生成包含病害特征描述的语义提示，并提供科学的综合治理方案。
研究结论表明，LUNet通过融合视觉-语义特征和创新的注意力机制，有效解决了复杂农业环境下油茶病虫害精准分割的难题。尽管模型在计算开销和小样本场景下存在一定局限，但其在多个作物病害数据集上的优异表现证明了强大的实用价值。该研究为多模态学习在农业图像分析中的应用提供了新思路，建立的智能诊断系统为精准农业提供了可扩展的技术解决方案。未来工作将探索模型在更多作物病害上的泛化能力，并构建病害发生与环境因素的关联模型，进一步提升智能决策水平。
