《Smart Agricultural Technology》:Pepper-Det: A Real-Time Framework for Automated Chili Pepper Detection and Harvesting Point Localization
编辑推荐:
为解决复杂环境下辣椒果实识别和采摘点定位的难题,研究人员开展了名为Pepper-Det的轻量化实时检测框架研究。该研究通过集成EMBC模块、RFCBAMConv注意力机制和LADH-Pose检测头,在自建辣椒数据集上实现目标检测mAP@50达85.1%,关键点检测mAP@50达88.7%,3D定位中位误差仅9.51毫米。该成果为果蔬采摘机器人视觉感知技术提供了创新解决方案。
随着全球人口老龄化和劳动力成本上升,传统人工采摘方式面临严峻挑战,特别是对于辣椒这类重要经济作物。中国作为世界最大辣椒生产国,种植面积达283万公顷,但密集种植、果实遮挡和形态变异等复杂田间环境,使得自动化采摘机器人的视觉系统面临巨大考验。现有检测模型在严重遮挡场景下表现不佳,多数研究方法仅关注二维感知而缺乏三维空间定位精度验证,这直接影响机械臂采摘的成功率和系统鲁棒性。
针对这些技术瓶颈,福建农林大学研究团队在《Smart Agricultural Technology》发表研究成果,提出名为Pepper-Det的轻量化实时框架。该研究基于YOLOv11架构进行创新改进,通过三个核心技术模块的协同作用实现突破:首先采用有效通道注意力与移动倒置瓶颈卷积结合的EMBC模块替代传统卷积,增强多尺度特征建模能力;其次引入融合感受野与卷积注意力机制的RFCBAMConv模块提升空间感知;最后设计轻量级非对称检测头LADH-Pose,将目标检测与关键点定位任务解耦。这些创新使模型在保持轻量化的同时,显著提升了对遮挡目标的识别精度。
关键技术方法包括:使用英特尔RealSense D435i深度相机采集真实辣椒数据集(1150张图像/2381个实例),通过人工标注工具LabelMe标注果实边界框和采摘点(Pick)、顶部(Top)、底部(Bottom)三个关键点;构建人工辣椒模型(ACPM)和茄子跨物种数据集验证泛化能力;采用RGB-D数据的三维评估流程,通过深度图和相机内参将二维关键点投影到三维空间计算欧氏距离误差。
研究结果通过系统实验验证了模型性能:在自建辣椒数据集上,Pepper-Det的目标检测mAP@50达到85.1%,关键点检测mAP@50达88.7%,整体mAP为83.0%。与YOLOv5n、YOLOv8n等主流模型相比,在复杂遮挡场景下表现出更优的鲁棒性。二维像素定位误差分析显示,其X轴平均误差仅4.96像素,欧氏距离误差11.13像素。三维空间定位精度方面,中位误差控制在9.51毫米,70%样本误差低于16.18毫米,满足采摘机器人厘米级操作需求。
跨数据集验证进一步证实了模型的泛化能力。在ACPM数据集上关键点检测mAP@50达到95.6%,茄子数据集上达到94.3%。实验室模拟采摘实验中,使用Realman RM65-B六轴机械臂进行50次采摘测试,在无遮挡场景成功率96%,复杂遮挡场景成功率88%,综合成功率92%。这些结果凸显了模型在实际应用中的可靠性。
研究讨论指出,Pepper-Det的成功得益于任务特异性特征解耦与低计算成本的平衡。特别发现基于残差连接的YOLOv11 backbone比注意力密集的YOLOv12更适配改进模块,使目标检测mAP提升3.5%。横向定位误差(X轴4.96像素)的显著降低对机械臂对齐至关重要。虽然极端遮挡会导致误差异常值,但70%样本误差控制在16.18毫米内,证实了模型在真实场景的实用性。
该研究通过创新性的模块化设计,实现了精度与效率的协同优化,为农业机器人视觉感知提供了新技术路径。未来通过引入多视角几何和时序信息,有望进一步解决全遮挡场景的挑战,推动智能采摘技术向更广泛作物种类和应用场景拓展。