Depth?Aware Scale Normalization for Robust Semantic Segmentation in Vineyard images

《Smart Agricultural Technology》：Depth?Aware Scale Normalization for Robust Semantic Segmentation in Vineyard images

　　

在用于自动产量监测的田间传感系统中，利用人工智能和先进传感技术进行图像采集与处理变得至关重要。尽管红绿蓝-深度（RGB-D）相机为农民提供了宝贵支持，但深度信息在自然图像分割领域受到的关注相对较少。本研究利用葡萄园图像的语义和深度数据训练模型，将深度学习架构与基于深度的分类器相结合，旨在实现在不同距离拍摄的葡萄园图像的连贯语义分割。深度数据被输入分类器以检测图像拍摄的距离范围，随后图像根据分类结果进行预处理，再输入深度学习模型进行语义分割。研究人员分析了四种深度学习架构，即采用ResNext50和ResNet50骨干网络的DeepLabV3+模型，以及采用EfficientNetB3和ResNet50骨干网络的MANet模型。实验结果表明，所有模型均从深度信息的加入中获益匪浅，其中葡萄类别的提升尤为显著。采用ResNext骨干网络的DeepLabV3+模型在准确率（Accuracy）、交并比（Intersection over Union, IoU）和平均边界F分数（mean boundary F-score）上分别实现了57.52%、43.67%和27.86%的最大增幅，最终各项指标的平均值分别为72.57%?±?6.03、61.57%?±?1.78和57.33%?±?2.33。这些发现强调了在农业应用的基于图像的分析中集成深度数据以实现尺度不变监测的重要性。

该研究针对田间传感系统在作物监测中的应用，探讨了现代物联网与人工智能技术在农业生产优化中的作用。尽管遥感技术和成像传感器在作物健康监测中已广泛应用，但RGB-D（红绿蓝-深度）相机所获取的深度信息在自然图像分割领域尚未得到充分挖掘。现有研究多集中于自监督深度估计或室内场景的RGB-D分割，缺乏利用实测深度信息解决田间采集距离变化导致的尺度变异问题。为此，研究人员开展了一项结合深度感知尺度归一化与深度学习语义分割的研究，旨在通过集成深度数据提升葡萄园环境下图像分割的鲁棒性，该研究成果发表于《Smart Agricultural Technology》。

研究人员采用了几项关键技术方法：首先，利用Intel RealSense D435相机在两个地理上不同的葡萄园（意大利Apulia的Negroamaro品种和Asti的Malvasia Nera品种）采集了包含RGB图像、深度图像及人工标注掩膜的数据集。其次，构建了一个基于决策树（Decision Tree）的深度分类器，通过对原始深度数据进行列均值特征提取和数据增强，区分“近距离”与“远距离”图像。接着，设计了一种尺度归一化预处理流程，根据分类结果动态调整RGB图像尺度。最后，选用DeepLabV3+（含ResNext50和ResNet50骨干）和MANet（含EfficientNetB3和ResNet50骨干）四种架构进行语义分割，并采用迁移学习策略在ImageNet上预训练。

研究结果部分显示：

1. 1.
   深度分类器性能评估：决策树分类器在测试集上达到了96%的准确率，能有效识别图像采集距离，仅有2幅图像被误分类，证明了深度特征在距离判别上的有效性。
2. 2.
   语义分割结果对比：仅使用RGB信息时，所有模型在葡萄类别上的表现均不佳，例如DeepLabV3+结合ResNext骨干的准确率仅为22.47%?±?0.59。而当集成深度基分类器进行预处理后，所有模型的性能指标均获得显著提升。特别是采用ResNext骨干的DeepLabV3+模型表现最佳，其准确率、交并比和平均边界F分数分别提升至72.57%?±?6.03、61.57%?±?1.78和57.33%?±?2.33。这表明深度引导的尺度归一化有效解决了因采集距离不同导致的目标尺度变化问题，尤其是改善了小目标（如葡萄串）的分割精度。

讨论与结论部分指出，该研究提出了一种创新的尺度不变图像分割框架，通过深度信息指导预处理而非修改分割网络架构本身，从而保留了利用预训练模型进行迁移学习的能力，并保持了较低的计算开销。尽管该系统对决策树的准确性有一定依赖，且目前仅限于短/长距离的二元分类，但实验结果证实了深度数据在纠正几何差异方面的关键作用。未来研究可聚焦于连续的深度回归分析，以克服二元阈值化的限制，并探索将该系统应用于更先进的Transformer架构。总体而言，该研究证明了深度感知预处理对于提升复杂葡萄园场景中语义分割鲁棒性的重要价值。