《Engineering Applications of Artificial Intelligence》：A novel infrared and visible image fusion method for pig-body multi-feature detection
编辑推荐：
红外与可见光图像融合方法用于猪体多特征检测，提出基于梯度特征优化和生成对抗网络（GAN）的GGANFuse模型，解决传统方法边缘和纹理细节模糊问题，实验显示检测准确率提升1.280-3.347%。
钟震|邱天慈|池子斌|于秋东
天津职业技术大学信息技术工程学院，中国天津，300222
摘要
由于依赖人工检测存在生物安全风险，猪体健康检测一直是一个热门的研究课题。本文将形状和温度特征作为两个基本的研究单元，并采用红外和可见光图像融合算法来表示猪体的多特征。然而，现有的多源猪体图像融合方法通常忽略了局部细节特征，这限制了多特征检测的性能。为了有效检测猪体的多特征，提出了一种基于梯度特征和生成对抗网络（GAN）模型的新型红外和可见光图像融合方法。首先，通过生成器的梯度路径和源路径描述局部和全局细节特征，以生成丰富的猪体融合特征。然后，将多源图像同时输入到鉴别器中，以获得与多源猪体图像在视觉上一致的结果。接下来，基于融合图像使用Otsu分割和形态学方法检测猪体形状特征。最后，根据形状特征检测结果测量猪体温度特征。实验结果表明，基于所提出的融合方法的猪体多特征检测方法的平均准确率比现有最先进方法高出1.280-3.347%，可有效应用于动物多特征检测领域。
引言
随着信息技术的快速发展，大规模养猪的趋势对智能化养殖提出了更高的要求。由于智能视觉检测算法具有非接触和自动连续的优点，不仅可以尽早识别猪体的异常状态，还能有效降低人畜共患病的风险（Wang等人，2022年）。因此，本文提出了一种智能猪体多特征表示算法用于检测健康状况。
目前，动物特征可以分为两类：生理特征包括形状、体重和温度等；行为特征包括声音、姿势、饮食状态和习惯等。由于生理特征是评估动物健康的核心指标，一些研究人员尝试通过深度学习模型将2D图像特征拟合到3D模型中，以描述体重和行为特征（Li等人，2022年；Bhoj等人，2022年）。然而，构建3D模型的高成本和复杂性降低了动物3D重建的可靠性和适用性。考虑到形状特征是反映动物健康的重要形态指标，而温度是评估生理状态的关键参数（Yan等人，2022年），因此形状和温度特征被认为是评估猪体健康的重要标准，但现有技术难以从单源图像中同时获取多种特征。
考虑到物体的热辐射由红外图像编码，并且物体温度值高于背景温度值，红外图像能够有效表示猪体温度特征和明显的猪体形状边缘特征，但其空间分辨率较低，纹理细节稀疏。此外，可见光猪体图像提供了丰富的结构和纹理特征，可以有效表示猪体形状的空间和纹理特征，但在低光照和复杂背景环境中的性能会严重下降。尽管红外和可见光图像具有互补性，但它们内在的模态差异给跨模态特征融合带来了挑战。因此，本文考虑使用可见光和红外图像融合方法进行猪体多特征检测。
现有的多源融合方法分为两类：传统方法和基于深度学习的方法。传统方法主要包含空间域和多尺度分析（Feng等人，2023年；Hu等人，2024年）。然而，它们严重依赖于手动设计的规则，这限制了融合性能（Gupta和Jain，2024年）。随着深度学习的发展，它被引入到图像融合领域，如卷积神经网络（CNN）（Li等人，2023年）和生成对抗网络（GAN）（Chang等人，2024年）。然而，大多数基于CNN和GAN的方法无法保证所表示的特征能够有效描述多源猪体图像的结构，因为在网络训练过程中梯度特征和纹理特征容易丢失，如图1所示。由于缺乏真实数据，Densefuse（Li和Wu，2019年）和MCNNFuse（Zhong，2022年）生成的融合图像中猪体形状的边缘和纹理细节模糊。GAN即使在没有真实数据的情况下，也能通过生成器和鉴别器之间的对抗训练实现图像融合。然而，边缘和纹理特征的丢失导致融合图像中的猪体特征不足。如图1所示，FusionGAN（Ma等人，2019年）、GANMcC（Ma等人，2021年）、DUGAN（Chang等人，2024年）和MEF-GAN（Xu等人，2020年）生成的边缘和纹理特征在融合图像中也是模糊的。
为了解决上述问题，提出了一种用于猪体多特征检测的新型可见光和红外融合方法，命名为
GGANFuse。所提出的可见光和红外猪体图像融合方法的主要优势如下：
●基于红外猪体图像提出了一种新的梯度路径模块，可以模拟跨模态梯度一致性。
●提出的GGANFuse
模型用于融合红外和可见光图像的梯度特征和纹理特征。基于所提出的融合模型的猪体形状特征检测方法的平均准确率比当前发表的算法高出1.280-3.347%。
本文的结构是：第2节介绍相关研究，第3节描述方法，第4节展示实验结果，第5节给出结论和讨论。
相关研究
相关研究
本节回顾了动物体形分割方法、温度特征表示和多源图像融合方法。
方法
为了获得更好的融合和检测结果，提出了一种用于猪体多特征检测的新型红外和可见光融合方法，命名为GGANFuse，如图2所示。GGANFuse包括一个双路径生成器G和一个鉴别器D。G根据多源图像特征（Ivi、Iir）和红外图像的梯度特征Iirg生成猪体融合图像If，并重建红外梯度图像Ireg。鉴别器D进行预测
实验结果
为了验证基于GGANFuse模型的猪体多特征检测的性能，首先详细构建了包含单个和多个猪体的自定义数据库。然后，考虑了七种基于深度学习的先进融合方法与所提出的猪体图像融合方法进行比较，分别是GANMcC（Ma等人，2021年）、Densefuse（Li和Wu，2019年）、FusionGAN（Ma等人，2019年）、MCNNFuse（Zhong，2022年）、MEF-GAN（Xu等人，2020年）、DUGAN（Chang等人，2024年）等
结论
提出了一种基于改进的GAN模型的新型红外和可见光图像融合方法，命名为GGANFuse，有效解决了传统融合方法中猪体多特征检测中边缘细节模糊的问题。首先，提出融合模型以获得可见光和红外猪体融合图像。然后，基于融合图像提取猪体形状特征图。最后，通过红外图像和形状特征检测猪体温度特征。
CRediT作者贡献声明
钟震：撰写——原始草稿、方法论、资金获取、概念构思。邱天慈：软件实现。池子斌：验证。于秋东：监督。
利益冲突声明
我们确认本出版物不存在已知的利益冲突，且本工作未接受任何可能影响其结果的财务支持。
我们确认手稿已由所有署名作者阅读并批准，且没有其他符合作者资格但未列入名单的人。我们进一步确认手稿中列出的作者顺序已得到所有人的同意。
我们确认
致谢
作者感谢同事们对这项工作的支持。非常感谢匿名审稿人的详细意见。本工作得到了天津市教育委员会研究计划（编号：2023KJ194）的联合支持。
