PigInstance：一种高效的Pig Instance分割框架，用于智能养猪业

《Computers and Electronics in Agriculture》：PigInstance: An efficient Pig Instance segmentation framework for intelligent pig farming

提出PigInstance框架，通过冻结SAM-B基础模型和轻量级适配器提升猪实例分割精度，结合概率引导后处理解决重叠与遮挡问题，在PigInstance数据集上实现93.50%的IoU和96.35%的Dice，优于SAM-H并消除掩膜冲突。

　　

魏家林|何新源|李子伟|刘恩丽|刘艳华|曾志雄|黄军端

中国华南农业大学工程学院，广州510642

摘要

实例分割是精准畜牧养殖（PLF）中的基本任务。它为自动化体重估计、个体跟踪和行为分析等高级应用提供了必要的像素级信息。尽管已经取得了显著进展，但在现实世界的养猪场中部署强大的实例分割系统仍然具有挑战性。像Mask R-CNN这样的监督模型需要大量的手动注释，并且难以在不同农场环境中泛化。相比之下，基础模型具有出色的零样本能力，但需要计算密集型的微调。为了克服这些障碍，我们提出了PigInstance，这是一个用于高效训练基础模型的新框架。我们的主要目标是在猪与猪之间的重叠和设施遮挡等具有挑战性的条件下实现强大的实例分割，提供一种替代全微调的部署方案。所提出的PigInstance框架利用一个冻结的基础模型框架来提取强大的图像特征，然后通过一个轻量级的适配器进行细化。随后，引入了一个概率引导的后处理（PG-PP）步骤来解决实例间的像素冲突。我们使用Segment Anything Model（SAM）作为基础框架来展示我们框架的有效性。在对各种变体进行比较分析后，我们确定SAM-B是最佳基础模型，因为它在性能和效率之间取得了平衡。在此基础上，我们的PigInstance框架取得了最先进的结果，平均IoU达到了93.50%，Dice分数达到了96.35%。我们提出的PigInstance的性能显著优于更大的SAM-H模型（IoU：92.26%，Dice：95.89%），mIoU提高了3.57%，Dice分数提高了1.82%。在该框架定义的困难样本子集上，其优势尤为明显，mIoU提升到了73.92%，远超SAM-H的66.70%。重要的是，PigInstance完全消除了掩码冲突，将我们提出的结构显著重叠比率（SSOR）从SAM-H的0.46%降为零。为了促进进一步的研究，我们发布了一个高质量的多源猪实例分割数据集，可在https://github.com/linwjscau/PigInstance_Efficient-Pig-Instance-Segmentation-Framework-For-Pig-Farming获取。

引言

精准畜牧养殖（PLF）越来越多地利用计算机视觉技术来提升动物的管理、健康和福利（Huang等人，2020年；Qiao等人，2021年；Zhao等人，2023年）。在这些技术中，实例分割为每个个体提供了像素级的掩码，这是高级分析的关键前提。与粗略的边界框不同，精确的掩码使得细粒度的形态学分析成为可能。这对于从身体尺寸自动估计体重（Cang等人，2019年；He等人，2023年；Meckbach等人，2021年）、通过掩码重叠跟踪社会互动（Chen等人，2021年）等高级应用至关重要。因此，准确的分割是现代智能养猪生产的基石。为了实现这一目标，研究人员探索了两种主要范式：传统的监督模型和最近的大规模基础模型。

第一种范式侧重于特定的监督模型。其中，像Mask R-CNN这样的两阶段方法（He等人，2017年）在PLF中得到了广泛应用，因为它们具有高精度（Xie等人，2024年）。这些方法首先检测潜在的对象区域，然后在每个提出的框内进行像素级分割（Hu等人，2021年；Qiao等人，2019年）。与此同时，像YOLACT++（Bolya等人，2020年）这样的一阶段模型通过生成一组全局原型掩码并预测特定于实例的系数来组合它们，从而实现更快的推理（Jia等人，2023年）。像U-Net（Ronneberger等人，2015年）这样的架构代表了另一种关键方法。其特有的编码器-解码器结构和跳跃连接在保留细粒度细节方面表现出色，非常适合用于猪超声分析等应用（Liu等人，2025年）。当在足够的领域数据上训练时，这些模型可以实现高精度和特定于任务的性能。然而，它们的主要限制是对领域变化的鲁棒性不足。在一个养猪场上训练的模型对光照、圈舍基础设施甚至猪的生长阶段的变化非常敏感，需要昂贵的重新注释和重新训练周期来保持性能。

随着大规模基础模型的出现，出现了一种有吸引力的替代范式，特别是Segment Anything Model（SAM）（Kirillov等人，2023年）。SAM在庞大且多样化的数据集上预训练，表现出出色的零样本泛化能力，使其能够在没有特定于任务的训练的情况下对新领域中的对象进行分割。这大大减少了PLF对手动注释的依赖（Liu等人，2024年；Odo等人，2024年）。最近针对以猪为中心的数据集（如PigLife（Li等人，2024年）的基准研究验证了这一潜力。他们的发现表明，基于SAM的零样本方法可以实现与一些从头开始训练的监督模型相当的性能，这比Mask R-CNN等方法有显著优势。

然而，这种通用能力也带来了权衡。同样的研究显示，尽管零样本SAM的性能很有前景，但仍远远落后于在养猪场数据上微调的监督模型（Li等人，2024年）。我们对真实农场数据的分析表明，这种性能差距体现在两个对现实养猪场普遍存在的关键故障模式中，如图1所示。首先，面对来自农场基础设施的遮挡时，SAM默认只生成可见部分的碎片化掩码。它缺乏对猪形态的领域特定知识，无法进行强大的非模态完成——推断出被遮挡猪的完整、合理的形状（Huang等人，2023年；Qi等人，2019年）。其次，在实例重叠严重的密集场景中，SAM的独立预测过程经常导致像素所有权冲突，即多个掩码错误地声称相同的像素区域。

虽然这些限制可能通过微调来解决，但巨大的计算成本使得这种方法在养猪场环境中难以广泛部署。这提出了一个关键的研究挑战：如何在不采用这种计算成本高昂的方法的情况下提高基础视觉模型的领域特定分割精度。

为了弥合这一差距，我们提出了PigInstance。我们的主要目标是开发一个面向部署的框架，在猪与猪之间的重叠和设施遮挡等具有挑战性的条件下实现强大的实例分割。PigInstance通过结合两种范式的优势，提供了一种高效的训练替代方案，避免了昂贵的微调需求。它利用基础模型的强大零样本泛化能力，同时避免了昂贵的微调。我们的方法采用了一个轻量级的适配器，该适配器在冻结的基础视觉模型框架的特征上操作，以最小的计算开销学习领域特定的校正。为了解决实例间的冲突，这个细化器还配有一个概率引导的后处理（PG-PP）步骤。这种设计不仅允许我们的框架纠正基础模型的弱点，还超越了更大基础模型的性能。这项工作的主要贡献有三个方面：

• 1.
  我们构建并发布了一个高质量、公开可用的数据集，名为PigInstance数据集，涵盖了包括严重遮挡和重叠在内的各种复杂场景，以促进未来的养猪场研究。
• 2.
  我们提出了一个新的猪实例分割框架，提供了一种高效的训练替代方案，替代了全微调。它将一个冻结的基础视觉模型框架与一个轻量级的适配器和一个概率引导的后处理模块相结合。这种架构是在对不同基础模型进行比较分析后建立的，平衡了性能和计算之间的权衡。
• 3.
  我们的PigInstance框架在猪实例分割这一具有挑战性的任务上取得了最先进的（SOTA）性能。基于更轻量级的基础视觉模型，它成功超越了明显更大的模型。

部分摘录

材料

为了确保全面和严格的评估，我们通过整合我们自定义收集的数据和几个不同的公共来源构建了一个复合数据集。这个多源基准数据集涵盖了广泛的猪生长阶段、饲养条件、相机视角和实例密度，为我们的实验提供了一个真实且具有挑战性的测试平台。我们数据集的组成在表1中详细说明，代表性场景在图2中可视化。

实施细节

所有实验都在配备了Intel Core i7-14700HX CPU、16 GB DDR4 RAM和8 GB内存的NVIDIA GeForce RTX 4060 GPU的工作站上进行。我们的框架使用Python 3.9、PyTorch 2.6.0库和CUDA 12.6实现，基于Ultralytics框架进行数据处理和训练流程。

U形适配器是从头开始训练的，而预训练的SAM框架保持冻结状态。这种策略将性能提升归功于我们提出的

讨论

我们的研究介绍了一个用于密集场景中的非模态实例分割的专门框架。以下讨论了研究结果和剩余的挑战。

• •
  重要性和影响。我们的主要发现是，一种专门的、高效的训练方法可能比依赖更大的通用模型更有效。通过将基础模型（SAM-B）与轻量级的U形适配器结合，我们的方法超越了更大的基础模型（SAM-H）的性能。

结论

本文解决了将大规模基础模型适应于复杂、密集养殖环境中猪实例分割这一关键挑战的问题。我们提出了PigInstance，这是一个新颖且高效的猪实例分割框架，提供了一种替代计算成本高昂的微调的方案。通过集成一个用于领域特定特征增强的轻量级U形适配器和概率引导的后处理（PG-PP），

CRediT作者贡献声明

魏家林：写作 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，软件，方法论，形式分析，数据策划，概念化。何新源：验证，软件，方法论，调查，形式分析，数据策划，概念化。李子伟：可视化，验证，软件，调查，形式分析，数据策划。刘恩丽：可视化，监督，资源，项目管理，方法论，调查，概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

这项工作得到了广东省乡村振兴战略专项项目（2025TS-3）、广东省设施和设备关键技术研究与开发创新团队项目（2024CXTD02）、广东省农业科学技术社会服务成果整合示范项目（20230201）、广州市关键研发计划（2023B03J1363）、汕尾市科技计划（2023A009）等项目的支持。