《Computers and Electronics in Agriculture》：A robotic harvesting system for occluded cucumbers using F2SA-YOLOv8 and HVSC
编辑推荐：
本文介绍了一项针对温室黄瓜采摘中果实和切割点被遮挡、植株结构重叠等挑战的研究。团队开发了一套集成了新型感知模块、控制策略和末端执行器的全自动机器人采摘系统。感知方面，提出了基于Type-2 Fuzzy Self-Attention (F2SA) 的YOLOv8模型，有效提升了遮挡条件下的黄瓜检测性能。执行方面，设计了单驱动器多功能末端执行器，实现了切割与抓取的同步操作。控制方面，采用了分阶段的混合视觉伺服控制(HVSC)策略，确保在遮挡条件下仍能精确对准切割点。实验表明，该系统在实验室和温室环境下均取得了较高的采摘成功率和效率，为复杂环境下的实时黄瓜采摘提供了一种紧凑、稳健的解决方案。
想象一下，在一个现代化的温室里，翠绿的黄瓜藤蔓缠绕，硕果累累。然而，采摘这些黄瓜却是一项繁琐且劳动强度极高的工作。随着全球人口老龄化和农村劳动力向城市迁移，农业劳动力短缺问题日益严峻，尤其是在需要及时采收的果蔬领域。与此同时，全球黄瓜产量在近二十年间大幅增长，其中亚洲贡献了超过87%的产出。面对巨大的生产需求和有限的人力，自动化、智能化的机器人采摘技术成为破局的关键希望。
然而，理想很丰满，现实却很“遮挡”。温室环境对机器人“视力”和“手法”提出了严酷挑战：茂密的枝叶常常将黄瓜本体或关键的茎秆切割点完全或部分遮挡；黄瓜颜色与背景绿叶高度相似，难以区分；植株生长方向多变、果实相互重叠，这些都导致传统的机器视觉算法准确率骤降，定位可靠性差。虽然深度学习技术凭借其强大的环境适应能力，已在农业机器人领域逐步取代传统图像处理方法，但在处理严重遮挡、边界模糊的目标时，其表现仍不尽如人意。以往的许多研究，例如在番茄采摘中应用的增强关键点定位、轻量级6D姿态估计网络和注意力特征提取等方法，虽然一定程度上缓解了遮挡影响，但它们大多在目标与背景颜色对比鲜明（如红色番茄）的作物上验证有效。对于黄瓜这类“伪装高手”，在目标边界附近或严重遮挡下的检测依然困难重重。更重要的是，这些工作多停留在感知层面的网络优化，并未延伸到“必须接触到并剪下被叶子隐藏的切割点”的完整集成化采摘场景。
此外，现有的黄瓜采摘系统也存在各自的局限。有些改进了Mask R-CNN框架用于分割被遮挡的黄瓜，但无法保证切割点的可见性；有些优化了YOLOv5以区分密集的黄瓜，却未解决切割点定位问题；还有的提出了集成检测、分割和关键点估计的多任务模型，但被遮挡的切割点问题依然悬而未决。在机械设计方面，许多末端执行器依赖笨重的多级执行器或气动/吸附机构，增加了机械复杂性，在轻量化、低基础设施要求的温室中实用性受限。视觉伺服控制策略也鲜有将遮挡感知与混合的基于图像(PBVS)和基于位置(IBVS)的视觉伺服控制(HVSC)相结合，限制了在图像特征或深度估计不可靠时的鲁棒恢复能力。
为了攻克这些难关，来自国立台湾师范大学的一支研究团队在《Computers and Electronics in Agriculture》上发表了一项开创性研究。他们提出并开发了一套紧凑、耐遮挡的机器人黄瓜采摘系统。该系统并非简单堆砌现有技术，而是从感知、执行到控制进行了全方位的协同创新，旨在实现温室杂乱环境下黄瓜的实时、可靠、自动化采收。
核心研究方法：三项技术融合创新
为开展这项研究，团队整合了多项关键技术：
- 1.
感知模块创新：开发了F2SA-YOLOv8模型。他们在YOLOv8骨干网络中嵌入了Type-2模糊自注意力模块 (F2SA)。这个模块的核心是将区间二型模糊逻辑引入自注意力机制，能够更好地处理视觉特征中的不确定性，从而在面对遮挡或重叠区域时，动态、保守地分配注意力焦点，显著提升了模型在遮挡条件下的特征鲁棒性和检测精度。
- 2.
执行机构设计：研制了单伺服电机驱动的多功能末端执行器。该执行器巧妙结合了曲柄双滑块剪刀机构（实现连续切割运动）和受Fin-Ray结构启发的自适应夹持器，仅用一个动力源即可同步完成切割和抓取动作，避免了复杂的气动基础设施，简化了机械结构。
- 3.
控制策略实现：实施了分阶段混合视觉伺服控制 (HVSC) 方案。该策略融合了基于图像的视觉伺服控制(IBVS)和基于位置的视觉伺服控制(PBVS)，并引入感知引导的切换机制。在接近目标阶段使用IBVS进行粗略的平面定位，在近距离精对准阶段切换到PBVS，从而在叶片遮挡环境下仍能可靠地引导机械臂精确对准切割点。
整个系统硬件平台包括UR5e机械臂、Intel RealSense D435i RGB-D相机（采用“手眼”配置，置于末端执行器下方以减少遮挡）以及自制的3D打印末端执行器。研究构建了涵盖五种典型遮挡场景（无遮挡、中段遮挡、尖端遮挡、切割点遮挡、尖端与切割点组合遮挡）的多样化黄瓜图像数据集，用于模型训练和验证。实验分别在实验室控制的模拟环境和真实的商业温室中进行，以全面评估系统性能。
研究结果：系统性能全面验证
通过一系列严谨的实验，该研究取得了以下关键结果：
1. 感知模型性能卓越
- •
F2SA-YOLOv8模型在测试集上取得了0.92635的F1分数，平均每张图像推理时间仅为256毫秒。与基准模型YOLOv8n（F1分数0.92056，推理时间903.9毫秒）相比，在精度和速度上均有显著提升，证明了F2SA模块在提升遮挡条件下检测性能的有效性。
2. 采摘成功率与效率达标
- •
实验室环境：在模拟的五种遮挡场景下，系统取得了超过90%的采摘成功率，平均每株黄瓜采摘时间为55秒。
- •
温室真实环境：在更复杂、不可控的真实温室条件下，系统依然取得了81%的采摘成功率，平均每株采摘时间为73.16秒。这些数据表明该系统具备了在实际生产环境中应用的潜力。
3. 末端执行器功能验证
- •
设计的曲柄双滑块剪刀机构能够产生足够的剪切应力（计算值约2.29 MPa），满足黄瓜茎秆的断裂强度需求（假设为1-5 MPa）。
- •
Fin-Ray-inspired自适应夹持器能够安全、柔性地抓持不同粗细的黄瓜茎秆。
- •
集成的“切-抓-推”协同机制被证明可以有效完成切割、抓取和残留茎秆清理动作，避免了后续操作的干扰。有限元分析显示，夹持器在1N的抓持力下，最大形变小于0.1毫米，展现出良好的结构适应性和应力分布。
4. 混合视觉伺服控制策略有效
- •
分阶段的HVSC策略成功引导机械臂在叶片遮挡的环境下，先通过IBVS粗略接近目标，再通过主动搜索和PBVS精确定位到被遮挡的切割点。
- •
该系统能够实现切割点的三维姿态估计，并据此调整末端执行器的手腕方向，使切割矢量垂直于图像平面，从而提高了切割精度。
结论与意义：为智能农业提供新方案
这项研究成功地开发并验证了一套面向温室黄瓜采摘的、全集成化的机器人系统。其核心贡献在于三个方面：
- 1.
提出了F2SA-YOLOv8模型，通过引入区间二型模糊逻辑增强的自注意力机制，显著提升了深度学习模型在农业复杂遮挡场景下的感知鲁棒性。
- 2.
设计了紧凑的单伺服电机多功能末端执行器，实现了切割与抓取的同步化，简化了机械结构，提高了可靠性，更适合轻量化的现场部署。
- 3.
实现了分阶段的HVSC控制管道，将图像与位置信息融合控制，为解决视觉伺服在特征不可靠时的恢复问题提供了有效方案，确保了在遮挡条件下的可靠采摘。
该研究的成功，标志着在应对温室作物采摘中最棘手的遮挡挑战方面迈出了坚实的一步。它不仅为黄瓜的自动化采收提供了一种切实可行的技术方案，其提出的F2SA注意力机制、紧凑型执行器设计思想和混合视觉伺服控制框架，也具有向草莓、辣椒、茄子等其他类似作物采摘机器人推广的潜力。这项工作展示了通过紧密集成感知、决策与执行模块，可以构建出能够适应真实世界非结构化、不确定环境的智能农业机器人，为缓解农业劳动力短缺、提升农业生产效率与智能化水平提供了重要的技术参考和思路。未来，研究团队可以进一步优化系统的采摘速度，降低成本，并探索在更大规模、更多样化的温室环境中进行长期、稳定的运行测试。
