基于热成像和传感器数据的多模态融合技术的自动化羊只发情检测研究

《Computers and Electronics in Agriculture》：Research on an automated detection for sheep estrus based on multimodal fusion of thermal images and sensor data

　　

张亚丹|曾雪婷|李子若|刘一泽|李晓聪|韩颖|刘刚|王俊

中国农业大学教育部智能农业系统集成重点实验室，北京100083，中国

摘要

发情监测对于提高母羊的繁殖效率 and 优化人工授精时机至关重要。然而，现有的研究主要集中在二元发情检测上，通常依赖于可穿戴传感器、侵入性的生理测量方法或基于视觉的行为分析方法，这些方法难以精细区分发情阶段，并且受到动物压力、高部署成本以及农场环境干扰的影响。为了解决这些问题，本研究提出了一种非接触式的多模态框架，用于将母羊的发情阶段分类为发情后期、发情期和发情后期。我们使用了一种改进的 ResNet18 模型提取热红外线特征，该模型结合了初始卷积（INC）、挤压激励（SE）和多尺度融合（MSF）模块，记为 INC-SE-MSF-ResNet18。同时，通过基于多层感知器（MLP）的眼部温度特征提取器和基于 MLP 的环境变量特征提取器分别提取了双眼温度特征和环境温度及湿度特征。然后将这三种类型的特征连接起来形成多模态特征，并使用 Light Gradient Boosting Machine（LightGBM）进行分类。在相同的 LightGBM 分类器下，INC-SE-MSF-ResNet18 比 ResNet18、MobileNetV3、EfficientNet、ShuffleNet 和 DenseNet 产生了更具区分性的热红外线特征，召回率提高了 15.10%，F1 分数提高了 7.67%，准确率提高了 3.10%。在相同的特征提取和融合策略下，LightGBM 在所有发情阶段的表现均优于支持向量机（SVM）、极端梯度提升（XGBoost）、梯度提升决策树（GBDT）、随机森林（RF）、决策树（DT）、逻辑回归（LR）和卷积神经网络（CNN），精确度分别提高了 21.23%、13.17% 和 11.11%。温度分析进一步显示，双眼温度和直肠温度之间存在明显的阶段依赖性差异：双眼温度在发情期间达到峰值，而直肠温度在发情期间下降，在发情后期显著上升。这些结果表明，表面温度和核心温度反映了不同的生理过程，并在发情周期中表现出不同的时间动态。总体而言，本研究将基于红外热成像的母羊发情监测从传统的二元检测扩展到了协议定义的发情阶段分类，为大规模养羊系统中的排卵时间推断和精确繁殖管理提供了一种可行的方法。

引言

繁殖效率是影响羊业生产力和经济回报的关键因素，直接影响产羔率、羊群周转率和农场盈利能力（Gizaw 和 Tegegne, 2018; Yaprak 和 Korkmaz, 2016）。为了促进大规模发情同步、提高人工授精（AI）的成功率并减少重复繁殖造成的经济损失，发情同步已成为集约化养羊系统的常规做法（Camozzato 等, 2026; Alijani 等, 2024）。通过将含有孕酮（P₄）的阴道海绵与促排卵激素结合使用，发情同步协议将发情时间集中在一个预定义的时间窗口内，为大规模 AI 提供了可控的基础（Bottino 等, 2025）。然而，在自由放养和半放养条件下，发情同步面临巨大的管理挑战，尤其是阴道海绵的过早丢失。由于 P₄ 海绵必须在阴道内停留 12–14 天以确保稳定的激素释放，动物的活动、群体互动和自我梳理行为经常导致海绵过早脱落（Walker 等, 2025）。海绵丢失会扰乱内分泌调节，导致发情和排卵时间错位，从而影响授精效果。海绵丢失很难及时发现，补救措施如二次激素治疗或加强行为观察往往实施得太晚。这些干预措施增加了母羊的压力，并加剧了与 AI 失败相关的经济损失（Spanner 等, 2024）。这些挑战表明，发情同步的有效性在很大程度上取决于准确及时的发情检测（Bottino 等, 2024）。因此，开发自动化和非接触式的发情检测技术已成为精准畜牧养殖的关键目标。

为了克服视觉观察的局限性，自动化发情检测技术得到了迅速发展。可穿戴设备被广泛用于捕捉与发情相关的行为变化（Schweinzer 等, 2019; Fogarty 等, 2015; Rae 等, 1999）。然而，单传感器系统通常只能捕捉有限的行为维度，并且对环境条件、个体性格和传感器固定紧密度非常敏感，导致检测性能不稳定。尽管多传感器融合可以提高检测准确性，但这些系统受到高部署成本、复杂维护和能耗增加的限制（Benaissa 等, 2020; Wang 等, 2025）。激素检测方法提供了更高的生物学准确性，但依赖于实验室或自动化平台，不适合在放养系统中进行连续监测（Bruinjé 等, 2025; Perez Marquez 等, 2023）。同样，侵入性生理传感器可以捕捉与发情相关的温度变化，但受到动物压力、感染风险和长期维护要求的限制（Burnett 等, 2020; Randi 等, 2018）。基于视觉的行为分析也受到关注，但其对光照条件、遮挡和个体行为变异性的强依赖性限制了整体鲁棒性（Yu 等, 2023; Shi 等, 2025）。此外，行为信号仅间接反映发情状态，缺乏足够的分辨率来区分内部发情阶段。

重要的是，发情同步解决了群体层面的授精时机问题，但无法在个体层面精确区分发情阶段。母羊的排卵通常发生在发情结束后的 24–30 小时内，存在显著的个体差异（Bottino 等, 2021）。因此，仅基于发情存在的 AI 调度可能导致授精和排卵时间不匹配，降低受孕率（Malmakov 等, 2022）。红外热成像（IRT）提供了一种非接触式和生理上直观的方法，用于捕捉发情周期中的细微体表温度变化。先前的研究报道了发情期间外阴和眼睛等外周区域的温度升高（Barros de Freitas 等, 2018a; Perez Marquez 等, 2022）。在这些区域中，眼周温度受环境干扰的影响较小，被确定为发情相关生理变化的稳定指标（Barros de Freitas 等, 2018b）。尽管先前的研究已经证明了 IRT 在发情识别中的可行性，但大多数研究仍限于二元发情检测，无法区分与排卵时间相关的发情阶段。此外，现有的基于 IRT 的方法通常依赖于单一热特征或局部热区域，缺乏对双眼热信息、眼温特征和环境变量的综合整合。此外，发情阶段之间体表温度和核心温度的关系尚未得到充分理解，限制了热指标的解释性和实际鲁棒性。因此，当前的研究仍缺乏精细的发情阶段区分、热信息和环境信息的鲁棒多模态融合，以及阶段依赖性热模式的系统表征。为了解决这些差距，本研究开发了一种非接触式多模态框架，用于将母羊的发情阶段分类为发情后期、发情期和发情后期，结合了双眼热图像、眼温特征以及环境温度和湿度信息，以提高农场条件下的鲁棒性，并分析了不同阶段眼温和直肠温度的协调变化，以支持热变化模式的解释。

部分摘要

动物伦理声明

所有涉及动物的程序都得到了中国农业大学实验动物福利和伦理委员会（编号 1101020321550）的批准。

实验动物

2024 年 9 月 23 日至 10 月 4 日，在中国内蒙古自治区锡林浩特市的 Mengzhiyuan 牲牧有限公司收集了处于不同发情阶段的母羊的双眼 IRT 视频和直肠温度数据。研究期间，平均环境温度为 12.75°C，平均相对湿度为 59.01%。

发情阶段分类结果

图 4 比较了在不同 TIF 提取方法下 LightGBM 分类器的性能。总体而言，使用 INC-SE-MSF-ResNet18 提取的 TIF 显著提高了母羊的发情阶段区分能力。对于发情后期，INC-SE-MSF-ResNet18 在所有指标上均优于 ResNet18、MobileNetV3、EfficientNet、ShuffleNet 和 DenseNet，准确率提高了 2.05%–4.19%，召回率提高了 7.02%–15.10%，F₁ 分数提高了 3.57%–7.67%。最大的提升出现在

讨论

在集约化养羊系统中，繁殖效率是管理的核心目标，精确同步授精时机和排卵时间对于实现高受孕率和产羔性能至关重要（Carvalho-de-Paula 等, 2020）。尽管发情同步协议规范了群体层面的发情开始时间，但个体之间的排卵时间仍存在显著差异（Martinez-Ros 等, 2018）。在放养条件下，阴道内

结论

本研究开发了一种非接触式的母羊发情阶段分类框架，结合了热图像、双眼温度和环境数据，能够准确区分发情后期、发情期和发情后期。结果表明，多模态特征融合显著提高了发情阶段分类的准确性，为母羊繁殖管理提供了可靠且可自动部署的解决方案。基于 LightGBM 的发情阶段识别模型实现了

代码可用性

由于当前的项目管理要求，与本研究相关的代码属于中国正在进行的国家重点研发计划（项目编号 2021YFD130050201）的一部分，计划于 2026 年 11 月完成。因此，代码尚未公开发布。但是，研究人员如有合理需求，可以获取该代码。此外，附录 D 中提供了外部数据测试结果和代码系统整合的演示视频。

CRediT 作者贡献声明

张亚丹：写作 – 审稿与编辑、原始草稿撰写、可视化、验证、方法论、数据管理。曾雪婷：写作 – 审稿与编辑、可视化、方法论、数据管理。李子若：写作 – 审稿与编辑、可视化、数据管理。刘一泽：写作 – 审稿与编辑、软件开发、数据管理。李晓聪：验证、数据管理。韩颖：验证、数据管理。刘刚：写作 – 审稿与编辑、监督、方法论。王俊：写作 –

资金支持

本工作得到了中国国家重点研发计划（项目编号 2021YFD130050201）的支持；部分资金来自中国农业大学 2115 人才培养计划。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。