仅关注触发因素：基于时空行为提议生成的群养猪交互识别新方法

《Computers and Electronics in Agriculture》：You only look at triggers: spatiotemporal behavioral proposal generation for group-housed pig interactions

针对群养猪复杂社交行为自动化检测的挑战，研究人员提出了一种新颖的触发式时空行为提议生成方法。该方法结合了进化参数优化、姿态识别、关键点检测和空间约束，旨在精准识别咬尾、争斗、料槽争抢、访饲和访饮五种关键行为。该框架显著降低了冗余背景提议，对福利相关行为的召回率达100%，为精准畜牧和动物表型组学研究提供了高效、可扩展的分析工具。

　　

在猪的规模化养殖中，准确理解动物的社交互动行为至关重要。这不仅关乎动物福利的提升，更是精准畜牧、健康监测和数字动物表型组学等前沿领域发展的基石。然而，现实世界中，动物的行为并非整齐划一地依次发生。在一个拥挤的猪栏里，常常会出现多只猪同时、重叠地展现不同行为：两头猪可能在争斗，而旁边的猪正在进食或饮水，还有的可能在进行咬尾。这种空间和时间上的复杂重叠，给计算机视觉的自动化行为分析带来了巨大挑战。

过去的研究方法通常将行为识别、空间定位（行为发生在画面的哪个位置）或时间定位（行为何时开始和结束）分开处理，往往难以应对这种“多线程”的现实场景。一种常见的基线方法是“穷举配对”，即枚举所有可能的猪对组合，生成大量的“行为提议”，再从中进行分类。例如，一个16头猪的猪栏，就需要考虑120对组合。这种方法计算消耗巨大，产生的提议绝大部分是无关的“背景噪声”，导致系统效率低下，难以应用于大规模、长时间的农场监控录像分析。

为了攻克这些难题，比利时鲁汶大学的研究团队在《Computers and Electronics in Agriculture》上发表了一项研究。他们提出了一种全新的、名为“仅关注触发因素”的解决方案。与“盲猜”所有可能的交互不同，他们的方法像一位经验丰富的观察员，只“关注”那些真正有可能发生交互的信号。其核心是设计了一系列轻量级的、基于猪只空间姿态、身体关键点和时序的“触发器”规则。这些规则像一个高效的多级滤网，能快速筛掉绝大多数无关的猪对，只对那些满足特定时空和姿态条件的候选交互（例如，一头猪的鼻子接近另一头猪的尾部）投入计算资源，生成精确的时空行为提议（标明是哪些猪、在何时、何处、可能发生了哪种交互）。最终，这套方法在对五种关键行为（争斗、咬尾、料槽争抢、访饲、访饮）的分析中，实现了100%的召回率，同时将冗余的时空提议数量减少了约10倍，从而能够高效处理长时间、高密度的农场监控录像。

为了开展这项研究，研究人员采用了多模态数据分析和计算模型构建的技术路线。他们利用了两项独立的猪只实验（奥胡斯实验和Teagasc实验）中采集的视频数据，构建了一个包含19段视频、总计约140,241帧（5 FPS）的专用交互数据集，并公开命名为PigInteraction。在数据处理层面，他们首先对每头猪进行精确的旋转边界框标注、姿态分类和身体关键点检测，这些信息构成了后续分析的“时空-姿态”表示基础。研究核心的方法论是前述的触发式时空行为提议生成框架，这是一个两阶段的流程：第一阶段，基于预先计算好的每头猪的旋转边界框、姿态和关键点数据，应用一系列分层的、计算高效的过滤规则（如空间接近度、点区域检查、时序和姿态验证）来生成紧凑的交互提议。第二阶段，针对每个高质量的提议，可进一步提取外观或骨骼描述子，用于下游的精确行为分类。

2.4. 方法

研究人员建立了一个两阶段的分析框架。首先，他们为视频中的每一头猪，在每一帧中构建了一个包含其空间、姿态和关键点信息的结构化表示，记为Pig^t_i= 。其中，RBB（旋转边界框）由高精度的检测器生成，包含中心坐标、长宽和方向向量。POSTURE（姿态）被分为站立、左侧卧、右侧卧、腹卧和坐五种状态。KEYPOINTS（关键点）则包括鼻子、左右耳、颈部、肩部、尾基等十个身体部位的2D坐标，由专门的算法预测得出。基于此，完整的时空行为定位与分类流程分为三步：1. 交互提议生成：计算每头猪的行为和空间触发器，筛选出潜在的交互事件。2. 描述子提取：为每个提议生成基于外观或骨骼的描述子，捕捉时空动态。3. 提议分类：将描述子输入分类模块，为交互行为分配标签。

2.4.1. 交互提议生成

提议生成是研究的核心创新。它被设计为一套分层、高效的过滤规则，从最易计算到最复杂逐步应用，旨在早期阶段就剔除大部分无关的猪对。这套规则被封装为函数f，当特定猪对在连续的时间区间[t_s, t_e]内始终满足规则f时，就会生成一个交互提议P(t_s, t_e, i, j)。研究者为五种目标行为（访饲/访饮、咬尾、争斗、料槽争抢）分别定制了触发器规则。例如，对于咬尾行为，规则从猪i的鼻子到猪j的尾基距离小于动态阈值开始，然后通过检查猪i头部区域与猪j尾部区域的交集是否连续大于0，来拆分长的提议，并应用时长约束去除过短（如偶然接触）或过长（如一头猪躺在另一头猪身后）的虚假提议，最后还通过识别“接触阶段”的连续性来进一步精炼提议。所有规则都在预计算的边界框、姿态和关键点数据上通过高效的矩阵运算实现，保证了处理长视频的可行性。

结论与重要意义

本研究的核心成果是提出并验证了一套高效的、基于触发器的时空行为提议生成框架，用于分析群养猪的复杂社交交互。该方法成功解决了现有方法中普遍存在的“提议冗余”和“计算效率低下”两大瓶颈。通过对旋转边界框、姿态和关键点等标准化信息的层次化、轻量化过滤，该框架在对争斗、咬尾、料槽争抢、访饲和访饮这五种对动物福利、健康和生产至关重要的行为进行分析时，实现了100%的召回率，同时将冗余的时空提议数量减少了约一个数量级。这意味着研究人员能够以极低的计算成本，从海量的农场监控录像中精准地定位出所有潜在的关键行为事件，为后续的精细分类和量化分析铺平了道路。

研究的意义是多维度的。首先，在方法论上，它提供了一个统一的、模块化的框架，可以同时处理动物与动物、动物与物体之间的交互，这增强了模型的通用性和可扩展性。基于标准化的关键点和旋转边界框表示，该框架便于与其他基于外观或骨骼模型的行为识别方法进行比较和集成。其次，在实践层面，该研究催生并公开了一个高质量的、带有效率评估指标的基准数据集PigInteraction。这个数据集不仅为领域内的算法比较提供了共同的基础，也极大促进了计算机视觉与畜牧科学交叉领域的深入研究。最后，这项研究为精准畜牧、计算动物行为学和数字动物表型组学领域提供了一把强有力的工具。它使得自动化、高通量、个体化的猪只行为监测成为可能，从而为早期疾病预警、福利状况评估、育种性状量化以及饲养管理优化提供了客观、精准的数据支持，具有推动畜牧业向智能化、精细化方向发展的巨大潜力。