《Measurement: Sensors》:Heterogeneous Models with Synergistic Feature Fusion for Real-Time Apple Recognition in Robust Apple Harvesting Robotics
编辑推荐:
本研究针对复杂果园环境下苹果识别需兼顾高精度与实时性的挑战,提出一种融合自适应图像处理与异构模型推理的协同框架。通过Lab色彩空间转换实现光照不变性,结合双阈值HSV分割处理红/绿苹果,并采用椭圆形结构元素进行形态学优化以应对遮挡。创新性地将实时筛选任务分配至嵌入式随机森林(RF)分类器,精确定位则由基于主机的轻量级YOLOv5模型通过融合颜色-形态特征完成。实验表明,双特征输入使RF分类器准确率达83.35%,轻量YOLOv5达98.90%,特征融合较基线提升超3%,且准确率增益超越单特征贡献之和,证实协同效应。该研究为非结构化环境下可靠苹果识别提供了计算可行的解决方案。
随着农业自动化需求的加剧,果园采摘机器人对高可靠性视觉识别系统的要求日益迫切。然而,在光照多变、遮挡频繁、表型多样性丰富的复杂果园环境中,实现既精准又实时的果实检测仍面临严峻挑战。传统图像处理方法在环境变化下缺乏鲁棒性,而深度学习模型则在精度与计算效率的平衡上存在困难,尤其在严重遮挡和小目标场景下表现不佳。为此,一项发表于《Measurement: Sensors》的研究提出了一种混合识别框架,通过自适应图像处理与协同模型推理的结合,为复杂果园环境下的苹果识别提供了创新解决方案。
为了应对这些挑战,研究人员设计了一套关键技术方法:首先采用Lab色彩空间转换确保光照不变性,利用双阈值HSV(Hue, Saturation, Value)分割同时处理红绿苹果,并结合椭圆形结构元素进行形态学优化以应对遮挡。核心框架采用异构计算架构,将实时初步筛选任务分配给嵌入式随机森林(Random Forest, RF)分类器,而精确检测任务则由基于主机的轻量级YOLOv5模型完成,两者通过融合颜色与形态特征协同运作。实验基于包含27,920张图像的数据集,涵盖不同光照、遮挡及苹果表型条件,采用70%训练、30%验证的划分策略,并进行了系统的超参数优化与正则化处理。
3.1. 对比度增强预处理与色彩空间效能
研究通过直方图均衡化有效提升了图像在挑战性果园环境下的可解释性,特别是在曝光不足区域增强了果实轮廓的辨识度。色彩空间评估表明,Lab空间分解显示出优于HSV的特征分离能力:L*通道的亮度隔离防止了亮度变化破坏色度数据,a*轴通过将成熟苹果定位在正值空间、树叶在负值空间,增强了红绿对立。这种基于人类视觉生理学的特性确保了颜色辨别的一致性,为后续识别提供了敏感特征参数。
3.2. 双阈值策略与形态学优化
双阈值识别策略显著提升了对果园环境中表型多样性的处理能力。仅考虑红色的单阈值检测在26张图像中未能识别任何苹果,而通过双HSV阈值将检测扩展至红绿苹果后,未检测案例减少至5张图像,识别覆盖率提升81%。形态学优化通过椭圆形结构元素执行可控侵蚀以消除叶脉,同时保留苹果拓扑结构,随后进行膨胀以重新连接被遮挡片段。在轮廓拟合过程中,基于紧凑度阈值的几何约束排除了非圆形伪影,将原始像素簇转化为经过验证的苹果目标。
3.3. 双特征输入模型性能评估
协同架构中,嵌入式RF分类器和主机轻量级YOLOv5模型在不同特征输入配置下表现出明显性能差异。具有双特征输入的RF分类器在充分训练后鲁棒性显著提升,准确率、精确率和召回率分别达到0.83354、0.76928和0.77096。相同特征输入下,轻量级YOLOv5模型表现更优,三项指标分别为0.98901、0.87582和0.82867。分析表明,采用颜色和形态双特征时,两种模型的所有评估指标相较未增强基线均提升超过3%。准确率改善超过单特征贡献之和,而精确率和召回率改善呈现次加性协同效应,证实了特征融合的必要性。
该研究通过自适应图像处理、双特征提取和异构模型协作的集成,解决了机器人采摘中的关键挑战。Lab色彩转换确保光照不变性,双阈值HSV分割覆盖表型多样性,形态学优化提供遮挡弹性。异构架构将实时筛选分配给嵌入式RF分类器,精确检测由主机轻量级YOLOv5完成,形成计算可行的解决方案。未来研究将通过探索先进架构、多模态传感和全面机器人部署,进一步推进鲁棒视觉识别能力的发展。