《Smart Agricultural Technology》：Development of a computer vision-aided lameness detection system for dairy cattle
编辑推荐：
本文介绍了一项针对奶牛跛行早期自动检测的计算机视觉系统研究。为克服传统人工视觉评分的主观性、滞后性等问题，研究者利用视频分析与深度学习技术，开发了一套基于YOLOv5m目标检测模型的实时监测系统。该系统通过单视角相机捕捉奶牛行走视频，检测头、背、蹄等关键身体部位，并基于检测到的位点计算与标准跛行评分一致的跛行分数。实验结果表明，YOLOv5m模型在测试集上取得了73.2%的均值平均精度(mAP@0.5)和约14帧/秒的实时推理速度，其检测结果驱动的跛行分类与专家视觉评估一致。这项工作为奶牛跛行的客观、连续监测提供了一种非侵入性、可解释的自动化工具，对提升动物福利与农场经济效益具有重要意义。
在现代化的奶牛养殖场中，跛行是影响奶牛健康、福利和生产效益最严重的疾病之一。它不仅给动物带来持续的疼痛，还会导致采食量下降、产奶量降低和繁殖性能受损，给养殖者造成巨大的经济损失。然而，传统的跛行检测主要依赖受过训练的人员进行视觉评分，这种方法存在显著的主观性，且通常只能在跛行发展到较严重阶段时才能被可靠地识别。这种滞后性使得早期干预变得困难，错失了减轻动物痛苦和减少经济损失的最佳时机。为了实现对奶牛跛行的客观、连续和早期监测，自动化、非侵入性的检测技术成为畜牧业智能化发展的迫切需求。
在此背景下，来自匈牙利农业与生命科学大学动物科学研究所的Martin Czirok等人，在《Smart Agricultural Technology》期刊上发表了一项研究，旨在开发一套基于计算机视觉的奶牛跛行自动检测系统。该研究巧妙地利用奶牛挤奶后返回牛舍的行走路径，通过一个单视角摄像头捕捉其自然行走的短视频片段。研究人员构建了一个包含12,182张标注图像的数据集，用于训练目标检测模型。他们系统性地比较了三种主流模型架构：Faster R-CNN、单发多框检测器(SSD)和YOLOv5。经过综合评估，YOLOv5m模型凭借其优异的性能脱颖而出，成为最终选择。该系统不仅能以约14帧/秒的速度在标准CPU硬件上实时运行，更重要的是，它能精确检测出与跛行相关的关键身体部位（包括整个奶牛、头部、背部、腿部关节和蹄部）。基于这些检测到的身体部位位置，系统通过一套可解释的规则算法，计算出一个与标准运动评分（0分：健康，1分：中度跛行，2分：严重跛行）相一致的跛行分数。田间验证测试表明，该系统能成功识别出与跛行相关的运动参数改变，如步长变化、不对称步态模式和姿态代偿机制，其跛行严重程度分类结果与专家的视觉评估保持一致。这项研究为精准畜牧业提供了一种高效、可靠的自动化监测工具，有望实现对奶牛跛行的早期预警和及时干预。
为了开展这项研究，作者主要采用了以下几项关键技术方法。首先，在匈牙利三个牧场的标准化条件下（挤奶后通道），使用单视角摄像机录制了699头荷斯坦-弗里斯兰奶牛的行走视频，构建了原始视频库。其次，开发了本地化的数据采集与处理系统，包括用于视频剪辑和帧提取的图形用户界面(GUI)软件，以及利用开源标注工具Label Studio对提取的图像进行身体部位（全牛、头、背、腿部关节、蹄）边界框标注，最终生成了包含超过5万个边界框的标注数据集。接着，在数据集准备阶段，整合了公开数据集并进行了包括旋转、镜像、对比度调整等在内的数据增强，以提升模型鲁棒性。然后，在模型实现与比较阶段，基于PyTorch和TensorFlow框架，训练并评估了Faster R-CNN、SSD Inception v2和YOLOv5系列模型，重点关注其检测精度（以mAP@0.5为主要指标）、推理速度和模型复杂度。最后，利用性能最优的YOLOv5m模型的检测输出，设计并实现了一个基于规则的、可解释的跛行评分算法，将检测到的身体部位空间关系与时间动态转化为0、1、2的跛行等级。
3.1. 模型选择与比较性能
研究人员对三种目标检测架构在奶牛图像数据集上进行了评估，以选择最适合跛行评估的模型。评估聚焦于推理速度、检测精度和模型复杂度三个关键维度。
- •
3.1.1. 推理速度分析：SSD Inception v2在CPU上推理速度最快（~21-25毫秒/帧），但精度最低。Faster R-CNN速度最慢（106-122毫秒/帧）。YOLOv5m在CPU上达到约70毫秒/帧（14帧/秒），在GPU上更快，在速度与精度间取得了良好平衡。
- •
3.1.2. 检测精度比较：SSD模型精度最低（mAP@0.5约24%）。Faster R-CNN精度中等（约58% mAP@0.5）。YOLOv5系列表现最佳，其中YOLOv5m在测试集上的整体mAP@0.5达到73.2%，显著优于另外两种模型，尤其在检测头部等关键部位时优势明显。
- •
3.1.3. 模型复杂度和计算要求：SSD模型最轻量，Faster R-CNN最复杂。YOLOv5m参数数量（2120万）和计算量（FLOPs 490亿）适中，利于部署。
3.2. 选择理由
基于综合评估，研究选择YOLOv5m作为最优架构。其理由包括：在测试模型中精度最高（73.2% mAP@0.5）；在CPU上具备实时处理能力（~14 fps）；对所有身体部位类别均表现出稳健性能，包括蹄部等小特征；计算要求适中，适合在标准农场计算设备上部署。
3.3. 所选模型（YOLOv5m）的详细性能分析
对YOLOv5m模型进行了深入分析。
- •
3.3.1. 整体检测性能：模型在测试集上整体mAP@0.5为73.2%，能较好处理不同光照、遮挡情况，并支持单帧中多实例检测。
- •
3.3.2. 各类检测精度：各类别的平均精度(AP@0.5)分别为：全牛0.786，头部0.745，背部0.758，腿部关节0.641，蹄部0.732。其中“全牛”检测最好，“腿部关节”检测最具挑战性。
- •
3.3.3. 精确率-召回率分析：精确率-召回率曲线显示，除腿部关节外，其他类别在较高召回率下仍能保持较高精确率，表明模型能有效区分目标与背景。
- •
3.3.4. 误差分析：混淆矩阵表明，模型分类特异性高，极少将不同身体部位相互误判。主要错误模式是漏检（假阴性），而非误分类。这在具有挑战性的场景（如严重遮挡、光照极差）中更为常见。
3.4. 跛行分类与系统输出
利用检测模型的输出，系统通过分析识别出的身体部位的位置和运动来评估跛行。关键指标包括蹄部承重不均、头部上下摆动和背部弓起姿态。原型系统采用一个简单的基于规则的分类器，根据这些指标分配跛行分数（0、1或2）。例如，如果奶牛表现出持续的背部弓起和单蹄或多蹄的步态时序不规则（通过多帧的头背部运动模式分析检测到），则被分类为严重跛行（2分）。在未用于训练的新视频测试中，系统的跛行分类在多数情况下与专家的视觉评估结果一致。系统能够正确识别健康奶牛（评分0）与严重跛行奶牛（评分2）的关键姿态差异，如背部曲度。
研究的结论与讨论部分强调了该计算机视觉辅助系统用于奶牛自动跛行检测的可行性。该系统成功地将基于机器学习的目标检测与跛行体征的领域专业知识相结合，对奶牛的运动健康状况进行分类。YOLOv5m模型被证明是一个出色的核心检测器，在本数据集上的精度和速度均大幅优于Faster R-CNN和SSD。研究指出，物体尺度在模型性能中起着关键作用：SSD模型缺乏鲁棒的多尺度特征金字塔，难以检测小物体（如蹄子），而YOLOv5的架构则能很好处理这些，使其在检测细微跛行线索方面具有决定性优势。集成系统通过基于检测到的身体部位位置和运动分配跛行分数，超越了单纯的目标检测。在示例案例中，系统的跛行评估与专家判断相符，这是令人鼓舞的。与依赖“黑箱”深度学习或仅关注单一解剖指标（如背部曲线）的现有方法相比，本系统采用基于规则的可解释算法，在标准CPU硬件上实时运行，具有部署优势和透明度。
同时，研究也指出了若干局限性与未来方向。数据收集是在受控的挤奶后通道进行，与实际牛舍多变的环境（地面类型、垫料、光照）存在差异。数据仅来自匈牙利的荷斯坦-弗里斯兰奶牛，向其他品种和养殖系统的泛化能力有待验证。系统依赖清晰的侧视视角，动物朝向或背对摄像头时可靠性可能降低。YOLOv5m模型在部署到不同光照或背景环境时可能需要微调，且在检测极小的物体（如蹄、关节）方面存在已知限制。当前的跛行分类模块使用了基于规则的评分逻辑，未来可探索用数据驱动的分类器进行增强或替换以提高性能。此外，技术的采纳还取决于养殖户对系统准确性的信任以及其给农场运营带来的效益感知。
总而言之，该研究开发并评估了一套基于计算机视觉的奶牛跛行自动检测系统。系统利用YOLOv5m目标检测模型，从单摄像头侧视视频中识别奶牛整体及其关键解剖区域（头、背、蹄），并通过可解释的基于规则算法分配跛行分数。该模型实现了73.2%的整体mAP@0.5，并能在标准CPU硬件上实时运行。在未见过的视频上的验证证实，该系统能正确区分健康奶牛与跛行奶牛，识别出包括背部弓起和不规则步态在内的关键姿态指标。该方法具有非侵入性、一致性和实用性：无需可穿戴传感器，对所有动物应用统一的评分标准，并可集成到挤奶后通道监控等常规农场工作流程中。这些特性使其成为早期跛行检测的可行工具，对动物福利和牛群生产力有直接益处。
