基于AIoT的智能养猪场的生成式数据增强技术：PigTalk 2.0系统

《Computers and Electronics in Agriculture》：Generative data augmentation for AIoT-based smart pig farming: The PigTalk 2.0 system

降低仔猪死亡率的人工智能物联网系统研究。提出基于AIoT和图像识别的PigTalk2.0系统，通过实时监测母猪姿势自动驱离仔猪，并提前预警首次分娩。采用混合数据增强策略（传统增强+生成式AI）解决农业数据稀缺问题，提升模型鲁棒性。系统集成视频流传输（RTSP协议）和图像处理，实现异常中断自动恢复与持续监控。研究验证了物联网技术在中小型猪场应用的有效性。

　　

陈怀恩|林世哲|赵信宏

台湾宜兰国立大学计算机科学与信息工程系

摘要

仔猪死亡率是养猪场面临的一个严重问题。通常，仔猪出生后没有得到适当的照顾，或者被母猪压死，导致每次分娩过程中有2到4只仔猪死亡。这对养猪户来说是一个巨大的损失。为了解决这些问题，本文介绍了PigTalk2.0系统的开发，该系统基于人工智能物联网（AIoT）和图像识别技术，旨在防止仔猪被母猪压死。由于收集大规模农业数据集成本高昂且劳动密集，本研究提出了一种混合增强策略。我们将传统技术（如平移、翻转）与基于生成式AI的数据增强相结合，有效扩展了有限的数据集并提高了模型的鲁棒性，提供了增强模型训练的合成多样性。PigTalk2.0利用图像识别来监测母猪的姿势。当母猪突然躺下时，系统会激活鼓风机轻轻将仔猪推开，以防止其压死仔猪。此外，PigTalk2.0还可以检测母猪何时即将分娩，从而通知农场管理员检查仔猪的健康状况并在出生后立即提供必要的照顾。结果表明，将消费级物联网技术引入家庭经营的农业或中大型企业经营的养猪场可以显著提高生产力。

引言

根据联合国粮食及农业组织（FAO）2023年《世界粮食和农业统计年鉴》，全球猪肉产量达到了1.2亿吨，占全球肉类总产量的34%，成为最大的肉类生产类别。这凸显了养猪业在全球畜牧业中的关键作用。

猪在生长初期最容易死亡，尤其是新生仔猪。根据联合国粮食及农业组织（FAO）2023年《世界粮食和农业统计年鉴》的数据，一窝仔猪通常有8到12只，其中1到2只可能因照料不足而死亡。此外，在哺乳期间，还有1到2只仔猪因被母猪压死而死亡。目前，仔猪断奶前的死亡率为约10%（Tucker等人，2021年10月）。减少仔猪死亡的最直接方法是让饲养员定期监测猪场中的仔猪，并立即处理仔猪被压死的情况。然而，由于畜牧业劳动力短缺，没有足够的人力持续照顾仔猪，导致仔猪因虚弱、低温和被压而死亡。本研究旨在降低仔猪死亡率，从而帮助提高畜牧业的产值。

如上所述，新生仔猪死亡有两个主要原因：出生时照料不当导致仔猪死亡，以及被母猪压死。本文将探讨这两个问题：

母猪通常与仔猪一起饲养以便哺乳，但由于其身体不稳定，尤其是在突然改变姿势（如躺下）时，经常会压死仔猪。大多数仔猪死亡发生在第一周内。如果及时发现，农民可以采取干预措施来防止此类事故。本文提出了一种基于仔猪对温暖偏好的预防性解决方案（Caldara等人，2014年）。利用图像识别技术，系统可以检测到母猪站立时，并激活空气压缩机将仔猪从母猪下方轻轻吹开，防止压死。

新生仔猪通常很虚弱，需要立即照顾。文献（Caldara等人，2014年）指出，仔猪容易体温过低和出生体重过低，这可能导致虚弱或死亡。护理人员需要使用加热灯或鼓励进食来预防这种情况。此外，在分娩过程中，脐带收缩会减少氧气供应，导致缺氧，如果没有适当的照顾可能会导致死亡（Gourley等人，2020年）。由于分娩时间难以预测以及24/7监控的成本高昂，大多数养猪场只能定期检查母猪是否分娩。为了解决这个问题，本文建议监测怀孕的母猪，并在第一个仔猪出生时通知管理人员，确保及时照顾以防止出生时因照料不足而导致的死亡。

近年来，由于劳动力短缺，农场管理变得极具挑战性。在这种严峻的情况下，许多学者提出了使用消费电子产品技术在智能农场实现自动灌溉（Tran等人，2023年），开发昆虫识别技术作为未来害虫控制的基础（Yang等人，2024年），以及应用家禽识别技术进行智能育种（Ali等人，2024年）。在养猪场，这些问题更加严重，特别是对于缺乏基本硬件设施（如单独围栏）的小型家庭农场。因此，本文旨在利用人工智能（AI）进行图像监控，并结合人工智能物联网（AIoT）技术（Chi和M. d. F. Domingues、H. Zhu、C. Li、K. Kojima和A. Radwan，2023年），以实现猪的监控（Lin等人，2017年），并改进我们之前的工作PigTalk 1.0（Lin等人，2021年），进一步降低仔猪死亡率。在本研究中，我们主要采用了条件生成数据增强策略，如平移、翻转和随机采样，来丰富有限的真实世界养猪数据集并创建合成数据，以解决农业数据集稀缺的问题。具体来说，我们应用了旋转、亮度调整、缩放和平移来生成不同条件下母猪姿势和仔猪出生的真实图像。这种方法进一步提高了训练数据的多样性和质量，降低了养猪场的数据收集成本，并提高了识别模型的鲁棒性。本研究采用实时流协议（RTSP）进行视频传输，利用OpenCV库捕获流并执行编解码器转换。为了确保传输稳定，本文提出了一种处理中断的解决方案。当发生中断时，管理员会立即得到通知，系统会自动从错误中恢复。分析了视频传输的性能，以证明其在实际条件下的可行性。一旦传输稳定，系统就可以进行图像识别。研究根据现有文献将母猪的姿势分为站立、坐着和躺下三种类型，并详细介绍了注释方法和参数调整，以提高模型训练的准确性。后续章节将评估训练模型的性能，以确认其在实际场景中的适用性。

本文的其余结构如下：第二节介绍我们的AIoT平台及其应用；第三节讨论图像流服务和图像识别；第四节评估图像传输和识别的性能；第五节总结上述内容并讨论未来的研究方向。

部分摘录

背景和相关工作

本文结合了智能图像监控和AIoT创新来降低仔猪死亡率，重点关注出生时的死亡和被压伤的情况。为了阐明技术背景并突出PigTalk 2.0的新颖性，本节将现有研究分为三种主要方法：基于传感器的、基于视觉的和集成AIoT的方法。最后，回顾了所提出系统的前身PigTalk 1.0，以强调PigTalk 2.0所取得的改进。

AIoT平台

为了解决仔猪出生和哺乳期间出现的问题，本文在PigTalk1.0的基础上增加了智能监控功能。这个新的AIoT平台被称为PigTalk2.0。通过物联网控制信息交换和数据计算，PigTalk2.0平台集成了视频流、图像识别模型和空气压缩机。本节介绍了PigTalk2.0的系统架构，并解释了用户界面和功能。

传感和执行

本节讨论了PigTalk2.0系统的图像处理，重点关注图像提取组件。图像提取组件将来自IP摄像机的流传输给多方使用，当图像流式传输到机器学习模块时，它们会被识别。此外，还将介绍图像识别训练方法。

图像提取性能评估

在流中断的情况下，程序会暂停并通知管理员，同时在RTSP端口上监听，并在恢复后继续视频捕获和传输。本文提出了针对两种异常情况的解决方案和性能分析：视频服务异常和电源/网络中断。

(1)视频服务异常。

视频服务器通常连续运行，但为了防止意外关闭，使用Kubernetes部署了视频服务。Kubernetes实现了自动化

结论

本文介绍了PigTalk 2.0系统的开发，该系统结合了AIoT和机器学习技术，主动预防仔猪被压死，并在分娩期间提供及时干预，而不仅仅是发布事后通知。在PigTalk 1.0的基础上，PigTalk 2.0从被动的声音检测发展到主动的、基于视觉的预防和通知框架，实时监控母猪的姿势和仔猪的出生情况。

CRediT作者贡献声明

陈怀恩：撰写——原始草稿、验证、监督、方法论。林世哲：撰写——原始草稿、可视化、软件、数据管理、概念化。赵信宏：撰写——审阅与编辑、监督、方法论、数据管理、概念化。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

本研究部分由台湾地区国家科学委员会资助，项目编号为NSTC 112-2221-E-197 -033 -MY2和NSTC 112-2221-E-197 -016 -MY3。