FlyYOLO-SORT：面向自动植物检疫监测的实蝇轻量级检测与多目标追踪框架

《Smart Agricultural Technology》：FlyYOLO-SORT: A Lightweight Detection and Multi-Object Tracking Framework for Tephritid Fruit Flies Towards Automated Phytosanitary Monitoring

　　

： 对实蝇进行实时监测对于有效的农业害虫控制和严格的植物检疫措施至关重要。大多数现有的计算机视觉方法主要关注来自粘虫陷阱的静态图像。由于缺乏时间运动信息，当目标经历快速剧烈的运动、形态模糊和相互遮挡时，这些方法难以保持稳健的追踪性能。为了克服这些局限性，挖掘和利用时间运动特征至关重要，而高精度的多目标追踪是多目标追踪的基础。以桔小实蝇（Bactrocera dorsalis）和南瓜实蝇（Bactrocera correcta）为案例研究，研究人员构建了一个专为视频监测设计的高性能检测与多目标追踪框架。首先，研究人员提出了FlyYOLO，一个基于YOLOv11n的轻量级检测器。通过融合深浅层特征，该检测器被鼓励关注实蝇微小的背部特征，从而提高了分类准确性。同时，引入了边界框评分机制以进一步优化定位精度。其次，以FlyYOLO为基础检测器，研究人员提出了FlyYOLO-SORT，一种基于检测后追踪范式的算法。研究人员设计了一种双框互补融合策略，以有效整合轴对齐边界框和旋转边界框的优势，从而生成高质量的检测结果。此外，为数据关联提出了一种角度感知欧几里得度量，显著增强了涉及频繁遮挡和不规则飞行的复杂场景下的追踪鲁棒性。在本文的数据集上，FlyYOLO-SORT实现了卓越的性能，HOTA为48.26%，MOTA为80.15%，MOTP为56.01%，IDF1为81.96%。与ByteTrack相比，其ID切换次数减少了52.3%。实验结果表明，所提出的方法能够实现对实蝇的高效、稳定的多目标追踪，为具有复杂运动模式的昆虫的种群计数和行为分析等应用提供了可靠的技术支持。

一、 研究背景、问题与目的

多食性实蝇，如具有高度入侵性的桔小实蝇和地中海实蝇，因其可侵染数百种作物而造成重大农业损失和国际贸易中断。准确鉴别和监测这些形态相似的检疫性害虫是有效实施综合害虫管理的关键前提。然而，传统人工观察方法劳动强度大、效率低，而基于雷达、光电传感器和声学传感器等非视觉电子感知技术容易受环境干扰且无法区分不同物种。近年来，基于深度学习的计算机视觉技术，特别是YOLO系列和基于区域的卷积神经网络，为害虫自动检测和计数提供了有前景的解决方案。然而，在静态陷阱环境中，复杂的背景、目标尺寸小、近缘物种间的高形态相似性等因素常会损害检测精度。更重要的是，常规的单帧监测方法在应对严重的目标遮挡和运动模糊时存在固有局限性，因为它们缺乏时间上下文来解决这些模糊性。多目标追踪技术能够精确记录个体的时空轨迹，为分析害虫种群的复杂动态行为提供了强大工具。然而，将目标检测和MOT技术应用于实蝇监测存在独特困难。实蝇不仅爬行缓慢，还会快速飞行和频繁侧向跳跃，导致帧间存在显著的非线性位移。这些复杂的运动模式直接挑战了主流算法固有的线性运动假设。加之目标尺寸小、外观相似度高、频繁遮挡等因素，现有算法容易陷入目标混淆和频繁身份切换的困境。因此，为实现实蝇的精确检测和稳健追踪，研究人员致力于开发一种面向桔小实蝇和南瓜实蝇监测场景的鲁棒MOT框架。

二、 关键技术方法概述

研究人员以桔小实蝇和南瓜实蝇为研究对象，在实验室环境中采集了1571张图像和15个视频序列，构建了包含轴对齐边界框和旋转边界框标注的数据集。研究核心包括两部分：1) 提出轻量级检测器FlyYOLO，采用StarNet作为骨干网络以减少参数冗余，设计BSDFM模块以融合深浅层特征并聚焦于实蝇背部关键细微特征，并引入LQE-detect头通过边界框质量评分机制提升定位精度。2) 提出MOT框架FlyYOLO-SORT，设计了DBCF策略，通过对轴对齐边界框和旋转边界框检测结果进行互补融合来生成高质量检测；随后提出AEM度量用于数据关联，融合空间邻近性和方向一致性，以在复杂运动场景下实现鲁棒的跨帧目标关联。

三、 研究结果

3.1. 不同标注策略对旋转检测模型的影响

研究人员评估了两种旋转边界框标注策略。策略一标注整个实蝇（包括翅膀），策略二仅标注实蝇主体（不包括翅膀）。定量分析表明，采用策略二训练的模型，其角度平均绝对误差（MAE）从策略一的23.42°显著降低至5.15°，极大地提高了方向精度。然而，由于缺乏翅膀特征，其分类准确性有所下降。鉴于可靠的实蝇主体方向角度数据对追踪框架至关重要，研究最终选择了策略二进行标注，并保留了轴对齐边界框检测提供的更高准确性的分类结果。

3.2. 目标检测性能

为验证FlyYOLO的有效性，研究人员在其实蝇数据集上综合评估了包括SSD、Faster R-CNN、RT-DETR及多个YOLO系列模型在内的多种主流检测算法。结果表明，完整的FlyYOLO架构在测试集上实现了98.7%的mAP@0.5，精确率为97.0%，召回率为95.6%。与YOLOv11n基线相比，参数减少了33.72%，FLOPs减少了23.81%。消融实验证实了每个模块的互补效益：StarNet显著降低了模型复杂度；BSDFM模块通过有效整合浅层纹理和高层语义，提升了精确率和召回率；LQE-detect头通过将定位置信度嵌入分类分数，显著提高了定位精度。最终的FlyYOLO在三模块集成下，在检测精度和部署效率之间达到了最佳平衡。

3.3. 多目标追踪性能

3.3.1. DBCF改进与分析

研究人员提出的DBCF方法通过二次非极大值抑制和轴对齐/旋转边界框的互补融合来提升检测质量。可视化结果表明，二次非极大值抑制有效消除了YOLO基检测器的多类预测行为导致的误报。融合策略则利用了两种边界框表示的互补优势：旋转边界框提供了对运动关联至关重要的精确方向估计，而轴对齐边界框则保持了更高的分类可靠性，从而带来了整体检测性能的提升。

3.3.2. 与先进追踪器的比较

研究人员在自建的实蝇MOT数据集上，将FlyYOLO-SORT与多种先进追踪器（包括ByteTrack、OC-SORT、Deep OC-SORT、BoT-SORT、StrongSORT和QDTrack）进行了比较。实验结果表明，FlyYOLO-SORT在HOTA、MOTA、MOTP和IDF1等主要指标上均取得了最佳性能，分别为48.26%、80.15%、56.01%和81.96%。特别值得注意的是，在最具挑战性的ID切换指标上，FlyYOLO-SORT（51次）相比性能最接近的ByteTrack（107次）减少了52.3%，显著提升了身份一致性。消融研究进一步证实了DBCF和AEM两个核心模块的有效性，它们分别对提升检测质量和增强运动关联鲁棒性起到了关键作用。

四、 讨论与结论

讨论：FlyYOLO-SORT框架的核心优势在于其针对实蝇监测特定挑战的定制化设计。DBCF策略协同利用了轴对齐边界框的分类稳定性和旋转边界框的方向敏感性。AEM度量则利用实蝇运动过程中方向变化比空间位移更平滑的特性，在空间重叠可忽略时仍能实现可靠关联。然而，该研究也存在局限性。目前的数据采集在受控的实验室环境（培养皿、白纸背景）中进行，以消除背景干扰并专注于解决高外观相似性和复杂运动模式的挑战，这可能限制了模型在更复杂自然环境下的泛化能力。未来的工作可以探索在更接近真实农业环境的条件下验证和优化该框架。

研究结论翻译：

本研究开发了一个鲁棒的多目标追踪框架，用于在监测场景中准确识别和追踪桔小实蝇和南瓜实蝇。所提出的FlyYOLO-SORT框架成功解决了与实蝇复杂运动模式、高外观相似性以及频繁遮挡相关的挑战。通过集成专门的检测模块（FlyYOLO）和创新的追踪策略（DBCF和AEM），该系统实现了高效稳定的多目标追踪，性能优于现有最先进的方法。实验验证表明，FlyYOLO-SORT为自动化植物检疫监测、种群动态分析和昆虫行为研究提供了有前景的解决方案。未来的工作将集中在将模型部署到边缘设备，并在更广泛的现场条件下进行测试，以进一步验证其在实际农业应用中的有效性和鲁棒性。