SGT-BST：一种基于图神经网络的方法，用于在受控牧场环境中对纯色牛进行多目标跟踪

《Knowledge-Based Systems》：SGT-BST: A Graph Neural Network Approach for Multi-Object Tracking of Solid-Colored Cattle in Controlled Pasture Settings

多目标跟踪技术在牧场监控中面临颜色单一、形变复杂、遮挡频繁等挑战，本文提出基于图神经网络的SGT-BST框架，通过跨帧特征关联、分区域序列聚合和动态关系加权网络，有效提升黑白牛的跟踪精度与鲁棒性，实验显示MOTA达91.17%，IDF1达94.61%。

　　

Ji Li|Boyu Liu|Kejian Wang|Lingling Liu|Yongsheng Si|Zhenxue He

河北农业大学信息科学与技术学院，中国河北省保定市

摘要

牛的多目标跟踪（MOT）对于行为监测、疾病预防和畜牧业管理中的定量分析至关重要。在牧场环境中，跟踪纯色牛（尤其是黑安格斯牛）面临重大挑战，因为牛之间的相似度很高，遮挡现象频繁发生，且牛的身体具有非刚性变形。本研究提出了一种改进的稀疏图跟踪器与平衡空间跟踪（SGT-BST）框架，该框架优化了特征提取和消息传递机制，专门适用于受控牧场条件下的纯色牛跟踪。该框架包含一个帧间目标关联（ITA）模块，通过特征分组在快速移动和遮挡情况下解决特征不一致性问题，从而平衡稳定和动态线索。它采用基于部分的序列聚合（PSA）方法将目标划分为关键区域，并结合门控循环单元（GRU）的门控机制对区域特征进行顺序自适应融合，有效提高了长期遮挡场景下的重新关联性能。此外，动态关系加权网络（DRWN）模块通过关系引导的层次特征协调重建消息传递策略，以捕捉长距离依赖性，同时保持节点特征的区分度，从而增强在密集重叠情况下的跟踪鲁棒性。我们在公开的CVB数据集上的实验表明，该方法在封闭牧场中对纯色牛的MOTA达到了91.17%，IDF1达到了94.61%，与现有方法相比，MOTA平均提高了7.74%，IDF1提高了10.14%，为智能牛管理系统提供了有效的技术支持。完整实现代码可在以下链接获取：https://github.com/773888867/SGTBST。

引言

智能畜牧业管理在现代化养牛业中发挥着重要作用。健康监测尤为重要：实时跟踪个体动物可以及早发现疾病并追踪源头，防止疫情爆发，同时也有助于分析表现优异的个体，优化喂养策略并提高产品质量[1]。实现这些目标需要建立可靠的个体跟踪系统，且不会干扰牛的自然行为。

现有的个体跟踪技术大致可分为两类：基于接触的硬件传感器和非接触式的计算机视觉分析方法。基于接触的硬件包括用于识别的RFID耳标、配备加速度计和GPS的项圈设备以及蹄部监测系统[2]。尽管这些设备被广泛使用，但它们存在显著局限性：单个传感器只能捕获局部信息，使得准确的行为评估变得困难；多个传感器虽然可以提供多维数据，但可能会造成物理伤害[3]并改变正常活动模式[4]，从而导致数据失真和预测可靠性降低。虽然非接触式传感器克服了干扰问题，但由于对设施放置位置的严格要求、设备污染风险以及设计场景与实际应用场景之间的差异[5]，它们难以获得稳定有效的监测数据。

基于计算机视觉的多目标跟踪（MOT）在现代畜牧业管理中起着关键作用。在牛的多目标跟踪任务中，我们面临几个与经典跟踪场景不同的主要挑战：（1）目标识别困难：与可以通过多样化服装区分的行人不同，牛的外观高度统一，个体间差异很小，这使得区分极为困难。对于黑色牛来说，这个问题尤为突出，因为它们的身体阴影与深色皮肤融为一体。（2）严重变形：四足行走在行走、吃草和进食活动中会产生复杂的姿态变化。这些非刚性变形，加上固定相机位置的视角扭曲，使得特征提取和帧间匹配变得复杂。（3）遮挡干扰：当发生群体遮挡时，个体之间已经相似的外观特征变得更加模糊。由社会纽带驱动的牛群聚集行为会产生密集的物理接触，随着牛群重新组织，遮挡关系会动态变化，导致目标长期丢失和错误重新识别。（4）不可预测的运动：牛的运动具有随机性和突发性，会在没有预警的情况下在静止吃草和快速移动之间切换。与城市场景中的目的地驱动路径不同，它们的速度和方向会根据本能反应而变化，使得轨迹预测异常困难，导致关联失败。

为了解决这些挑战，本文提出了一种基于图模型的新多目标跟踪方法，适用于固定相机的牧场监控系统。图神经网络在牛的跟踪中具有特殊优势，因为它们可以利用更高阶的关系特征来弥补个体外观信息的不足——在严重遮挡或变形时，当直接视觉线索失效时，相邻对象的关系和上下文空间模式可以提供互补的区分信号。这些挑战在图1中得到了清晰体现，图1展示了牛跟踪场景中的典型变形和遮挡案例。本工作的主要贡献有三个方面：

• (1)
  我们提出了一个帧间目标关联（ITA）模块，通过分组融合利用稳定和易变特征维度之间的互补关系，有效防止同一个体在不同帧的多维特征中的特征同时退化，从而在严重变形和不可预测的运动情况下解决特征不一致性问题。
• (2)
  我们开发了一种基于部分的序列聚合（PSA）模块，通过利用基于GRU的序列融合来适应性地抑制被遮挡的区域，同时保留可见部分的区分性线索，特别适用于遮挡干扰后的目标重新识别。
• (3)
  我们设计了一个动态关系加权网络（DRWN），引入了不对称传播路径来捕捉方向依赖的运动模式，通过双向关系指导和层次特征协调保持有效的时空特征相关性，防止特征在长序列中的退化，并显著提高了视觉相似牛之间的目标识别难度和跟踪鲁棒性。

大量实验表明，与现有技术相比，我们提出的方法在检测准确性和跟踪稳定性方面都表现出更优的性能。本文的其余部分安排如下：第2节介绍多目标跟踪和牛跟踪方法的相关工作，第3节介绍实验数据集并详细说明方法论，第4节展示实验结果和消融研究，第5节讨论我们框架的局限性和未来研究方向，第6节总结本文。

相关研究

多目标跟踪（MOT）近年来取得了显著进展，出现了专门用于畜牧业监测的发展。在本节中，我们回顾了两个关键领域的相关工作：通用多目标跟踪框架和最新的牛跟踪方法。

CVB数据集

为了验证我们的方法，我们在自然环境条件下进行了测试，选择了黑色牛作为实验对象，因为它们的识别特征特别具有挑战性。我们选择了CVB（Cattle Visual Behaviors）公共数据集来支持我们的实验，为未来的研究提供了有价值的比较基准。

CVB数据集[15]于2023年发布，记录了八头成年黑色牛在开放牧场中的日常活动

实验环境

CVB数据集中的原始图像分辨率为1920×1080。为了提高计算效率并便于与其他跟踪模型进行公平比较，我们在预处理过程中将图像缩小到1088×608，这是多目标跟踪算法中的常见分辨率。为了数据增强，我们采用了翻转、变换和抖动技术。为了提高对象检测性能，我们使用在

讨论

尽管在CVB数据集上取得了有竞争力的性能，但我们的SGT-BST框架仍表现出一些需要注意的失败模式。通过对跟踪错误的系统分析，我们发现了两个主要失败场景，揭示了当前方法的根本局限性。

第一个问题涉及远距离处的小范围重叠目标。当多头牛在昏暗的光线下远离相机聚集时，个体之间的边界几乎无法区分

结论

本文提出了一种改进的SGT多目标跟踪框架SGT-BST，用于解决农业环境中纯色牛的多目标跟踪挑战，包括遮挡、变形和密集聚集问题。我们设计了ITA模块来增强短期关联的鲁棒性，引入了DRWN来实现高效的特征传播机制，并结合了基于GRU的部分特征序列聚合方法来提高部分遮挡后的识别能力

CRediT作者贡献声明

Ji Li：概念化、数据整理、方法论、撰写 - 原稿撰写、审稿与编辑。Boyu Liu：数据整理、形式分析、撰写 - 审稿与编辑。Kejian Wang：监督、资金获取、撰写 - 审稿与编辑。Lingling Liu：数据整理、验证、撰写 - 审稿与编辑。Yongsheng Si：监督、撰写 - 审稿与编辑。Zhenxue He：监督、撰写 - 审稿与编辑。

数据可用性

数据可应要求提供。

未引用的参考文献

[6,28,31]

CRediT作者贡献声明

Ji Li：撰写 – 审稿与编辑、撰写 – 原稿撰写、方法论、数据整理、概念化。Boyu Liu：撰写 – 审稿与编辑、形式分析、数据整理。Kejian Wang：撰写 – 审稿与编辑、监督、资金获取。Lingling Liu：撰写 – 审稿与编辑、验证、数据整理。Yongsheng Si：撰写 – 审稿与编辑、监督。Zhenxue He：撰写 – 审稿与编辑、监督、概念化。

利益冲突声明

作者声明他们没有可能影响本研究报告工作的竞争性财务利益或个人关系。

致谢

本研究得到了国家自然科学基金（项目编号62102130）和河北省重点研发计划（项目编号22327404D）的资助。