综述：实时深度学习分割在农业应用中的见解：针对精准杂草管理的洞察

《Smart Agricultural Technology》：Real-Time Deep Learning Segmentation for Agricultural Applications: Insights for Precision Weed Management

这篇综述系统回顾了实时深度学习分割模型在精准杂草管理（SSWM）中的应用进展。文章分析了用于杂草分割的不同数据类型、前沿标注策略（如SAM、DEXTR、SSL）以降低标注负担，并深入探讨了促进模型在边缘设备（如UAV、UGV）实时部署的关键技术（如模型剪枝、量化、TensorRT优化）。综述指出，分割相比检测能提供像素级精度，但实时部署在可变田间条件下仍面临计算复杂、系统集成和鲁棒性等挑战，为研究者、从业者和农学家指明了未来发展方向。

　　

引言：从检测到分割的范式转变

精准杂草管理（Site-Specific Weed Management， SSWM）领域的研究正经历一个显著的范式转变：从主流的边界框（bounding box）检测方法，逐步转向更具潜力的图像分割（segmentation）技术。检测模型虽然能对杂草进行基础的定位，但分割方法不仅能定位，还能量化杂草侵害的空间面积，从而绘制出更精确的杂草分布地图。这种像素级的精准度，对于杂草清除、机器人自主导航、处方图绘制乃至产量估算都至关重要。然而，实现田间实时分割面临巨大挑战，包括高计算需求、复杂的网络架构以及对图形处理器（Graphics Processing Unit， GPU）硬件的依赖。本综述旨在系统回顾近十年来（2015-2025年）用于实时性能的深度学习分割模型，并探讨其在杂草管理流程中的适用性。

数据与感知：多元信息的采集

成功的分割始于合适的数据输入。根据传感器类型，农业领域主要使用三种数据：

• •
  RGB图像：由红、绿、蓝三通道组成的可见光图像是最常用的数据类型。因其成本低、易于获取和处理，被广泛应用于无人机（Unmanned Aerial Vehicles， UAV）和无人地面车辆（Unmanned Ground Vehicles， UGV）系统。将RGB图像转换到HSV（Hue， Saturation， Value）等色彩空间可以提升模型在不同光照条件下的鲁棒性。其优势在于数据量小、推理速度快，适合对时效性要求高的除草和病害管理。
• •
  多光谱（Multispectral， MS）图像：这类传感器通常包含四到五个光谱波段（如近红外波段），能提供比RGB更丰富的植被信息。多光谱数据能有效减少光照变化、土壤背景和阴影的干扰，从而在作物与杂草区分上实现更准确、更稳健的分割。然而，其实时部署面临硬件限制，包括传感器带宽、机载处理能力和数据传输瓶颈，许多系统仍将多光谱图像存储起来进行离线推理。
• •
  RGB-D（Red， Green， Blue-Depth）数据：这种数据在标准RGB图像基础上融合了深度信息，提供了场景的三维信息。在农业中，深度信息主要用于几何推理、测绘、导航或避障，而语义分割通常在RGB分量上进行。尽管RGB-D数据能提供丰富的空间信息，但实现实时分割在计算上要求较高，且大多数系统仍依赖离线或近实时推理。

数据标注：应对“标注地狱”的策略

与检测任务相比，分割需要为图像中的每个目标对象生成精确的轮廓掩码（mask），这导致了巨大的标注工作量，成为限制其发展的主要瓶颈之一。为了降低标注成本，研究者们探索了多种策略和工具：

• •
  先进的交互式标注工具：传统的全手动多边形标注效率低下。新一代工具利用深度学习模型实现半自动标注，显著减少了人工交互。例如：
  • •
    Segment Anything Model（SAM）：作为基础模型，SAM能够根据用户提供的点击或框选提示，快速生成高质量的分割掩码，极大地提升了标注效率。基于SAM的工具如AnyLabeling和交互式半自动标注工具（ISAT）已被广泛应用。
  • •
    Deep Extreme Cut（DEXTR）：用户只需标注目标的四个极值点（最左、最右、最上、最下），模型即可生成精确的物体掩码，在单物体分割上效率很高。
  • •
    EISeg（Effective Interactive Segmentation）：集成在PaddleSeg框架中，用户通常只需在目标物体和背景上各点一下，模型就能推断出物体边界。
  • •
    Inside-Outside Guidance（IOG）方法：用户提供一个内部点（靠近物体中心）和两个外部点（形成一个包围框），模型结合内外信息生成掩码，能编码更丰富的物体先验信息。
• •
  减少标注依赖的学习范式：
  • •
    半监督学习（Semi-supervised learning， SSL）：利用少量标注数据和大量未标注数据进行训练。常用策略包括伪标签生成和模型蒸馏，能在仅使用一半标注数据的情况下，达到与全监督模型相近的分割性能。
  • •
    无监督/弱监督学习：例如，利用类别激活图（Class Activation Map， CAM）从图像级标签中定位目标区域，再细化为分割掩码。点标注（如中心点点击）因其低成本也成为实用选择。
  • •
    生成模型辅助：生成对抗网络（Generative Adversarial Networks， GANs），特别是CycleGAN，被用于图像到图像的翻译和无监督域适应（Unsupervised Domain Adaptation， UDA），帮助模型将在某一领域（如特定农田）训练的知识迁移到另一个领域（如不同作物或环境），而无需目标域的大量标注数据。

模型开发与优化：追求速度与精度的平衡

开发能够在资源受限的边缘设备上实时运行的分割模型，需要在架构设计和参数优化上做出精细权衡。

• •
  关键影响因素：
  • •
    图像分辨率：输入图像分辨率是影响分割精度和推理速度的关键因素。高分辨率能保留更多细节，提升准确率，但会显著增加计算负担和延迟。大多数实时SSWM系统采用中等分辨率（如512×512或640×640像素）作为折中方案。策略如图像切片（slicing） 和多分辨率知识蒸馏（用高分辨率“教师”模型指导低分辨率“学生”模型）被用来兼顾细节与速度。
  • •
    模型架构与复杂性：
    • •
      语义分割：主流采用编码器-解码器结构。为了轻量化，常使用MobileNet系列等轻量级骨干网络（backbone）替代传统的ResNet等重型网络。例如，结合MobileNetV2的U-Net能在保持精度的同时大幅加速。注意力机制，如卷积块注意力模块（Convolutional Block Attention Module， CBAM），被集成以提升模型在复杂场景下的鲁棒性。
    • •
      实例分割：传统方法如Mask R-CNN精度高但速度慢。YOLO系列模型的改进版（如YOLO-seg）因其在速度和精度间的良好平衡，在基于无人机的实例分割中更受青睐。Transformer架构也开始在分割模型中展现潜力，逐步超越传统的卷积神经网络（Convolutional Neural Network， CNN）。
• •
  模型优化技术：为了使复杂模型能在Jetson TX2/Xavier等边缘设备上流畅运行，需采用专门的优化技术：
  • •
    剪枝（Pruning）：移除网络中不重要的连接或神经元，减少模型大小和计算量。
  • •
    量化（Quantization）：将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数），大幅降低内存占用和计算开销，同时尽量保持精度。TensorRT是NVIDIA提供的常用推理优化器，能有效执行剪枝和量化。
  • •
    知识蒸馏（Knowledge Distillation）：如前所述，用大型复杂模型（教师）的知识来训练小型高效模型（学生）。

应用平台：无人机与无人地面车辆的协同

分割模型最终需要部署在无人系统上，形成完整的感知-决策-执行闭环。

• •
  无人机（UAV）：擅长大范围、快速的田间巡查。搭载RGB或MS相机，可实时或近实时地生成大面积的杂草分布图，用于制定精准施药处方。优化后的模型（如轻量化的DeepLabv3+、SegNet）已能在Jetson TX2等机载计算平台上处理视频流。
• •
  无人地面车辆（UGV）：如农业机器人，负责执行精细的除草操作。它们需要更近距离、更实时的感知来进行导航、行间行走和针对性的杂草清除。语义分割模型（如ENet、PSPNet）被用于提取作物的可通行路径，而实例或全景分割则有助于识别和定位每一株杂草。

未来挑战与展望

尽管算法取得了显著进展，但将分割驱动的SSWM系统推向可扩展的田间部署，仍面临一系列挑战：

1. 1.
   边缘部署：在尺寸、重量和功耗（Size， Weight and Power， SwAP）严格受限的边缘设备上实现复杂模型的实时推理，仍需持续的模型轻量化和硬件优化。
2. 2.
   系统级集成：分割模型仅是感知部分。将其与传感器硬件、嵌入式计算单元、平台动力学、控制算法以及执行机构（如喷雾器、机械手）无缝集成，构成稳定可靠的完整系统，是更大的工程挑战。
3. 3.
   可变田间条件下的鲁棒性：模型需要能够适应不同的光照条件、作物生长阶段、天气变化、土壤类型以及复杂的作物-杂草重叠场景。提高模型的泛化能力和适应性是关键。
4. 4.
   全景分割（Panoptic Segmentation）的探索不足：全景分割旨在统一语义分割（识别类别）和实例分割（区分个体），为无人系统提供对田间环境最全面的理解。目前这在SSWM中仍是一个尚未充分探索的领域，未来潜力巨大。
5. 5.
   数据与标注瓶颈的持续缓解：虽然SAM、SSL等方法减轻了负担，但在复杂农业场景中，完全无需人工干预的高质量自动标注仍未实现。开发更智能、更适合农业领域的低成本标注方案仍是研究重点。

结语

本综述通过对近期文献的系统梳理，阐明了实时深度学习分割在推动精准杂草管理向更精准、更自动化方向发展中的核心作用。通过分析数据模态、标注技术、模型架构、优化策略和部署平台，为研究人员、深度学习从业者、杂草科学家和技术推广专家提供了关键的见解和未来的研究方向。最终目标是促进这些先进技术从实验室走向田间，实现高效、环保、可持续的农业生产力。