《Computers and Electronics in Agriculture》：Multi-posture RGB-D image fusion for weight estimation of unconstrained pigs in group housing conditions
编辑推荐：
动态融合侧卧、站立、仰卧三种猪姿，提出F2Net模型，通过RGB-D图像融合与动态姿态融合提升群体养殖中自由姿势猪体重估算精度，最佳组合（侧卧+站立）R2达0.9771，MAPE为3.83%，验证多姿态动态融合的有效性。
Juncheng Ma|Hao Wang|Chaole Xiao|Dan Xu|Xiao Yang|Chaoyuan Wang|Chao Liang
中国农业大学水资源与土木工程学院，北京 100083，中国
摘要
猪的姿势显著影响基于视觉的体重估算的准确性，而目前的研究主要采用标准站立姿势，即猪的头部和背部成一条直线。然而，在群养条件下，标准站立姿势并不总是适用于自由活动的猪，这大大降低了现有基于标准站立姿势的方法的准确性。为了实现对群养条件下自由活动猪的准确体重估算，本研究提出了一种新的F2Net模型，该模型能够动态融合多种猪的姿势，包括侧卧、站立和腹部着地。F2Net包括两种融合方式：RGB-D图像融合和动态姿势融合（DPF）。结果表明，与单一姿势相比，融合多种姿势可以提高估算准确性，其中融合侧卧和站立姿势的效果最佳，决定系数为0.9771，平均绝对百分比误差为3.83%。融合更多姿势并不一定会带来更好的性能，而且随着姿势数量的增加，性能并不总是提高，其中DPF是F2Net的关键，它能够更全面地表示猪的特征并具备强大的姿势适应性。对于群养条件下的自由活动猪，侧卧姿势能够提供准确的体重估算，可以作为站立姿势的补充。研究表明，F2Net能够获得稳健的结果，是群养条件下自由活动猪体重估算的一个有前景的工具。
引言
联合国粮食及农业组织（FAO）预测，到2032年全球肉类消费量将增长51%，其中猪肉将是第二大消费来源（FAO，2023年）。具体而言，预计猪肉消费量将增加11%，达到9300万吨零售重量，占2032年所有肉类来源蛋白质摄入量的约25%（FAO，2023年）。鉴于对猪肉需求的增加，集约化养猪业可能会面临一些挑战，包括动物福利的下降（Broom，2010年；Van Erp-van Der Kooij等人，2023年）。体重是衡量猪福利的关键指标，在养猪管理中起着重要作用（Franchi等人，2023年；Pezzuolo等人，2018年），它被广泛用于确定饲料转化率（Kashiha等人，2014年；Meckbach等人，2021年；Shi等人，2016年；Yu等人，2021年），评估健康状况（Jun等人，2018年；Meckbach等人，2021年；Shi等人，2016年；Yu等人，2021年），以及预测最佳上市时间（Jun等人，2018年；Nguyen等人，2023年；Tan等人，2023年）。因此，准确及时地估算猪的体重具有重要意义。
得益于深度学习技术的发展，基于视觉的猪肉体重估算技术取得了巨大进步（He等人，2023年；Kwon等人，2023年；Nguyen等人，2023年；Paudel等人，2023年；Tan等人，2023年）。深度图像因其能提供比传统RGB图像更全面的结构信息而被越来越多地使用（Jun等人，2018年；Kwon等人，2023年；Meckbach等人，2021年；Nguyen等人，2023年；Tan等人，2023年）。然而，由于缺乏细节、传感器噪声和像素丢失，基于深度图像的模型性能通常会受到影响（He等人，2023年；Tan等人，2023年；Yu等人，2021年）。因此，结合深度图像和RGB图像来弥补这些缺陷是合理的（Tan等人，2023年；Yu等人，2021年），因为RGB图像通常具有比深度图像更好的空间分辨率。
在之前的研究中，标准站立姿势（头部和背部成一条直线）是估算猪体重的前提，因为已经证明体重与体表面积有显著相关性（Kashiha等人，2014年；Nguyen等人，2023年；Schofield，1990年；Tu和J?rgensen，2023年）。Meckbach等人（2021年）使用带有称重秤的约束围栏捕捉了一只标准站立猪的顶视图深度图像，并将其输入基于EfficientNet-B0的回归网络进行体重估算。He等人（2021年）使用类似的图像采集方式，从深度图像构建了猪的点云，并使用基于BoTNet的回归网络进行了体重估算。考虑到在这种受限情况下采集图像对猪造成的严重压力（He等人，2023年；Jun等人，2018年），人们采用了其他方法来获取标准站立姿势下的猪的图像。在喂食和饮水时捕捉顶视图图像（Schofield，1990年）被广泛采用，因为此时猪相对保持直立。通常，相机被放置在围栏的喂食区上方（Franchi等人，2023年；Li等人，2022年；Pezzuolo等人，2018年；Tu和J?rgensen，2023年）。同样，放置在喂食通道入口上方（He等人，2023年）或通往称重秤的过道上方（Tan等人，2023年；Wang等人，2008年）的相机也可以捕捉到标准站立姿势下的猪的图像。然而，群养猪大部分时间都躺在地上，喂食和饮水仅占日常行为的一小部分（Tu和J?rgensen，2023年）。上述方法在实际应用中往往不够及时。因此，一些基于计算机视觉的指标被用来过滤掉非标准行为，以提高技术的实用性，例如体表面积的像素计数和猪的脊柱曲率（Kashiha等人，2014年；Fernandes等人，2019年；Yu等人，2021年）。然而，这些基于计算机视觉的指标是特定场景的，导致对新变体的泛化能力较差（Zhao等人，2023年）。总之，上述研究中报告的方法需要标准站立姿势的猪图像来确保体重估算的准确性（Jun等人，2018年；Kashiha等人，2014年；Nguyen等人，2023年；Okayama等人，2021年；Schofield，1990年；Shi等人，2016年）。然而，在集约化群养条件下，标准站立姿势的猪图像并不总是可用的，因此减少猪的姿势对体重估算的影响非常有必要。Jun等人（2018年）提出了两种与姿势相关的特征用于估算自由活动猪的体重，提高了体型扭曲的猪的估算准确性。本研究表明，非标准站立姿势下的猪图像也能提供合理的体重估算结果，从而强调了无需限制姿势即可准确估算猪体重的可行性。因此，鉴于猪可以呈现的多种姿势，如坐着、躺着和非标准站立姿势，仍需要更多研究来促进群养条件下自由活动猪的体重估算。
为了减少姿势的影响，本研究提出了一种新的体重估算模型（F2Net），用于群养条件下的自由活动猪，基于多姿势RGB-D图像融合。F2Net采用了两种融合方式：RGB-D图像融合和动态姿势融合。RGB-D图像融合基于自监督学习，通过将RGB图像映射到深度图像来建模跨模态互补信息，以提高估算性能。动态姿势融合用于动态融合常见的猪姿势，包括站立、腹部着地和侧卧，以防猪的姿势偏差影响体重估算。据我们所知，这是首次动态融合多种姿势来估算群养条件下自由活动猪的体重。研究目标是：（1）验证融合多种姿势是否可以提高体重估算的准确性；（2）研究三种姿势对群养条件下自由活动猪体重估算的贡献；（3）评估F2Net在群养条件下的性能。
实验设置
动物和实验设置
实验于2023年7月底至8月在中国荣昌市重庆动物科学研究院的5号畜舍进行。该畜舍长约36米，宽约10.2米，包含26个围栏（图1a）。实验用围栏（图1a中标记为红色）面积为10.8平方米，采用半漏缝混凝土地板，四只体重相近的猪被标记并集中饲养。数据收集持续了大约十天。
体重估算结果
结果表明，融合多种姿势可以提高体重估算的准确性。与单一姿势相比，F2Net结合了三种姿势（侧卧+站立+腹部着地）显著提高了体重估算的准确性（图7a），决定系数为0.9716，平均绝对误差为2.81公斤，平均绝对百分比误差为3.88%。单一姿势的结果显示，侧卧姿势最适合群养条件下自由活动猪的体重估算。
多姿势融合在体重估算中的潜力
本研究提出了新的F2Net模型，用于群养条件下自由活动猪的体重估算。通过RGB-D图像融合和动态姿势融合两种融合方式，F2Net取得了令人满意的估算结果（图7a）。RGB-D图像融合已被证明对猪肉体重估算有益（He等人，2023年；Tan等人，2023年）。本研究进一步证实了这一结果，并观察到从仅使用MP模型到MP+RGB-D模型的性能提升（图9）。
结论
本研究提出了一种新的F2Net模型，用于动态融合多种姿势来估算群养条件下自由活动猪的体重，包括侧卧、站立和腹部着地。结果表明，与单一姿势相比，融合多种姿势可以提高体重估算的准确性，其中融合侧卧和站立姿势的效果最佳。
CRediT作者贡献声明
Juncheng Ma：撰写 – 审稿与编辑，撰写 – 原稿，验证，软件，方法论，概念化。Hao Wang：验证，资源，数据管理。Chaole Xiao：验证，资源，数据管理，概念化。Dan Xu：可视化，资源。Xiao Yang：撰写 – 审稿与编辑，验证，资源。Chaoyuan Wang：撰写 – 审稿与编辑，验证，监督，项目管理，资金获取，正式分析。Chao Liang：验证，项目
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
致谢
作者感谢国家科技重大项目（2021ZD0113801）和中国农业大学的2115人才发展计划以及中国高校科学基金（2025RC031）对这项研究的资助支持。
