FedERFT：通过特征增强正则化和聚合后的微调来提升联邦学习效果

《Knowledge-Based Systems》：FedERFT: Improving federated learning through feature-enriched regularization and post-aggregation fine-tuning

多目标跟踪技术在牧场中应用面临高相似性个体、频繁遮挡和形态变化挑战，本文提出SGT-BST框架，通过Inter-frame Target Association模块平衡稳定与动态特征，Part-based Sequential Aggregation模块利用GRU动态融合区域特征，以及Dynamic Relation Weighting Network模块优化关系权重，在CVB数据集上实现91.17% MOTA和94.61% IDF1，较现有方法分别提升7.74%和10.14%。

　　

李智|刘博宇|王克健|刘玲玲|司永生|何振学

中国河北省保定市，河北农业大学信息科学与技术学院

摘要

牛的多目标跟踪（MOT）对于行为监测、疾病预防和畜牧业管理中的定量分析至关重要。在牧场环境中，由于个体间高度相似、频繁遮挡以及非刚性变形，跟踪纯色牛（尤其是黑安格斯牛）面临显著挑战。本研究提出了一种改进的稀疏图跟踪器与平衡空间跟踪（SGT-BST）框架，该框架优化了特征提取和消息传递机制，专门用于控制环境下纯色牛的跟踪。该框架包含了一个帧间目标关联（ITA）模块，通过特征分组在快速移动和遮挡情况下解决特征不一致性问题，平衡了稳定和动态线索。它采用了基于部分的序列聚合（PSA）方法，将目标划分为关键区域，并结合门控循环单元（GRU）的门控机制对区域特征进行序列自适应融合，有效提高了长期遮挡场景下的重新关联性能。此外，动态关系加权网络（DRWN）模块通过关系引导的层次特征协调重建了消息传递策略，捕捉长距离依赖性，同时保持节点特征的区分度，增强了密集重叠情况下的跟踪鲁棒性。我们在公开的CVB数据集上的实验表明，该方法在封闭牧场中的纯色牛上达到了91.17%的MOTA和94.61%的IDF1，相比现有方法平均提高了7.74%的MOTA和10.14%的IDF1，从而为智能牛管理系统提供了有效的技术支持。完整实现代码可在以下链接获取：https://github.com/773888867/SGTBST

引言

智能畜牧业管理在现代化养牛业中发挥着重要作用。健康监测尤为重要：实时跟踪个体动物可以实现早期疾病检测和源头追踪，防止疫情爆发，同时也有助于分析表现优异的个体，优化喂养策略并提高产品质量[1]。实现这些目标需要建立不会干扰牛自然行为的可靠个体跟踪系统。

现有的个体跟踪技术大致可以分为两类：基于接触的硬件传感器和非接触式计算机视觉分析方法。基于接触的硬件包括用于识别的RFID耳标、配备加速度计和GPS的项圈设备以及蹄部监测系统[2]。尽管这些设备被广泛使用，但它们存在显著局限性：单个传感器只能捕获局部信息，使得准确的行为评估变得困难；多个传感器虽然可以提供多维数据，但可能会造成物理伤害[3]并改变正常活动模式[4]，导致数据失真和预测可靠性降低。虽然非接触式传感器克服了干扰问题，但由于设施放置要求严格、设备污染风险以及设计场景与实际应用场景之间的差异[5]，它们难以获得稳定有效的监测数据。

基于计算机视觉的多目标跟踪（MOT）在现代畜牧业管理中起着关键作用。在牛的多目标跟踪任务中，我们面临几个与传统跟踪场景不同的主要挑战：（1）目标识别困难：与可以通过多样化服装区分的行人不同，牛的外观高度统一，个体间差异极小，这使得区分变得极其困难。对于黑色牛来说，这个问题尤为突出，因为它们的身体阴影与深色皮肤融为一体。（2）严重变形：四足行走在行走、吃草和进食活动中会产生复杂的姿态变化。这些非刚性变形加上固定相机位置的视角扭曲，使得特征提取和帧间匹配变得复杂。（3）遮挡干扰：当发生群体遮挡时，个体间已经相似的外观特征变得更加模糊。由社会纽带驱动的牛群聚集行为会产生密集的物理接触，遮挡关系随着牛群重组而动态变化，导致长期目标丢失和错误重新识别。（4）不可预测的运动：牛的运动具有随机性和突然性，会在没有预警的情况下在静止吃草和快速移动之间切换。与城市场景中的目的地驱动路径不同，它们的速度和方向会根据本能反应而变化，使得轨迹预测异常困难，导致关联失败。

为了解决这些挑战，本文提出了一种基于图模型的新多目标跟踪方法，适用于固定相机的牧场监控系统。图神经网络在牛的跟踪中具有特殊优势，可以利用高阶关系特征来补偿不足的个体外观信息——在严重遮挡或变形时，当直接视觉线索失效时，相邻对象的关系和上下文空间模式提供了互补的区分信号。这些挑战在图1中得到了清晰体现，图1展示了牛跟踪场景中的典型变形和遮挡案例。本研究的主要贡献有三个方面：

(1)

我们提出了一个帧间目标关联（ITA）模块，通过分组融合利用稳定和易变特征维度之间的互补关系，防止同一个体在不同帧的多维特征上同时出现特征退化，有效解决了严重变形和不可预测运动过程中的特征不一致性问题。

(2)

我们开发了一种基于部分的序列聚合（PSA）模块，通过利用基于GRU的序列融合来适应性地抑制遮挡区域，同时保留可见部分的区分性线索，特别是在遮挡干扰后重新识别目标时非常有效。

(3)

我们设计了一个动态关系加权网络（DRWN），引入了不对称的传播路径来捕捉方向依赖的运动模式，通过双向关系指导和层次特征协调保持有效的时空特征相关性，防止特征在长序列中的退化，并显著提高了视觉相似牛之间的目标识别难度和跟踪鲁棒性。

大量实验表明，与现有技术相比，我们提出的方法在检测准确性和跟踪稳定性方面都表现出更优的性能。本文的其余部分安排如下：第2节介绍多目标跟踪和牛跟踪相关的工作，第3节介绍实验数据集并详细说明方法论，第4节展示实验结果和消融研究，第5节讨论我们框架的局限性和未来研究方向，第6节总结本文。

相关研究

近年来，多目标跟踪（MOT）取得了显著进展，出现了专门用于畜牧业监测的进展。在本节中，我们回顾了两个关键领域的相关工作：通用多目标跟踪框架和最新的牛跟踪方法。

CVB数据集

为了验证我们的方法，我们在自然环境条件下进行了测试，选择了黑色牛作为实验对象，因为它们的识别特征特别具有挑战性。我们选择了CVB（Cattle Visual Behaviors）公共数据集来支持实验，为未来的研究提供了有价值的比较基准。

CVB数据集[15]于2023年发布，记录了八头成年黑色牛在开放牧场中的日常活动

实验环境

CVB数据集中的原始图像分辨率为1920×1080。为了提高计算效率并便于与其他跟踪模型进行公平比较，我们在预处理过程中将图像缩小到1088×608，这是多目标跟踪算法中常见的分辨率。为了数据增强，我们使用了翻转、变换和抖动技术。为了提高对象检测性能，我们使用在

讨论

尽管在CVB数据集上取得了有竞争力的性能，但我们的SGT-BST框架仍表现出一些值得仔细研究的失败模式。通过对跟踪错误的系统分析，我们发现了两种主要的失败情况，揭示了当前方法的基本局限性。

第一种情况涉及远处的小范围重叠目标。当多头牛在昏暗的光线下远离相机聚集时，个体间的边界几乎无法区分

结论

本文提出了一个名为SGT-BST的改进多目标跟踪框架，用于解决农业中纯色牛的多目标跟踪挑战，包括遮挡、变形和密集聚集问题。我们设计了ITA模块来增强短期关联的鲁棒性，引入了DRWN来实现高效的特征传播机制，并结合了基于GRU的部分特征序列聚合方法来提高部分遮挡后的识别能力

CRediT作者贡献声明

李智：概念化、数据整理、方法论、初稿撰写、审阅与编辑。刘博宇：数据整理、形式分析、审阅与编辑。王克健：监督、资金获取、审阅与编辑。刘玲玲：数据整理、验证、审阅与编辑。司永生：监督、审阅与编辑。何振学：监督、审阅与编辑。

数据可用性

数据可根据请求提供。

未引用的参考文献

[6,28,31]

CRediT作者贡献声明

李智：撰写 – 审阅与编辑、初稿撰写、方法论、数据整理、概念化。刘博宇：撰写 – 审阅与编辑、形式分析、数据整理。王克健：撰写 – 审阅与编辑、监督、资金获取。刘玲玲：撰写 – 审阅与编辑、验证、数据整理。司永生：撰写 – 审阅与编辑、监督。何振学：撰写 – 审阅与编辑、监督、概念化。

利益冲突声明

作者声明他们没有可能影响本研究报告工作的竞争性财务利益或个人关系。

致谢

本工作得到了国家自然科学基金（项目编号62102130）和河北省重点研发计划（项目编号22327404D）的资助。