基于轻量级卷积和跨视图融合的牛群视角检测

《Expert Systems with Applications》：Cattle Herd Viewpoint Detection Based on Lightweight Convolution and Cross-View Fusion

牛群检测是精准畜牧养殖的关键，但高形态相似性和复杂环境变量影响检测鲁棒性。本文提出AMSD-Net，通过自适应核卷积(AKConv)增强细粒度特征提取，结合多尺度感知融合网络(MSRF)优化多尺度特征表征，在无人机拍摄的畜牧数据集上实现75.1% mAP50精度与37.5 FPS实时性能，显著优于基线模型和现有先进架构，验证了其在农业场景中的有效性。

　　

Xinxin Luo|Fuzeng Zhang|Eksan Firkat|Askar Hamdulla|Bin Zhu|Aizimaiti Xiaokaiti|Abdusalam Dawut

新疆大学智能科学与技术学院软件学院，中国乌鲁木齐830046

摘要

牛只检测对于精准畜牧业至关重要，它有助于实现自动健康监测和高效的畜群管理。然而，牛只之间的高度形态相似性以及环境变化（包括光照变化、天气条件和饲养密度）显著影响了检测的稳定性。为了解决这些问题，本文提出了AMSD-Net，这是一种改进的新型无锚点检测框架，它结合了自适应核卷积（AKConv）进行细粒度特征提取，以及多尺度感受野融合网络（MSRF）以实现优化的多尺度表示。在无人机拍摄的牲畜数据集和Jetson Nano嵌入式平台上进行的广泛实验表明，AMSD-Net在37.5 FPS的帧率下达到了75.1%的mAP50，其准确性与速度的平衡优于基线和现有的先进检测模型。这些结果证实了其在实际农业场景中实时、大规模牛只检测的有效性和鲁棒性。源代码可在https://github.com/luoxinxinfdi/AMSD-Net获取。

引言

准确的视觉目标定位和分类是计算机视觉中的基本能力，主要通过对象检测方法实现（Girshick, Donahue, Darrell, & Malik, 2014）。深度学习的快速发展极大地推动了这一领域的发展，使其成为多个领域中的关键使能技术（Weng et al., 2022）。显著的应用展示了该技术的广泛影响，包括通过机器人系统的农业自动化（De la Rosa, Miranda, Fernández, Guo, & Jiménez, 2022）和智能安全监控网络（Deng, Liu, Yang, Ramanan, & Liu, 2023）。这些应用还扩展到了计算机辅助医疗诊断（Chen, Zhang, & Shen, 2023f）和关键任务操作。这些操作包括搜救任务（Lee, Park, Kim, & Fox, 2023b）、无人机部署（Wu, Loianno, & Kumar, 2023）和应急响应协调（Garcia & Shahabi, 2023）。总体而言，这些实现突显了该技术的广泛工业影响和变革潜力。

基于CNN的对象检测的最新进展（He, Song, Meng, & Yan, 2022）使得无人机在精准农业中的自动监测成为可能（Li, Zhang, Wang, & Chen, 2023c）。这些进展通过实现自主危险检测减少了网络依赖性。然而，传统检测器（Wang, He, & Gupta, 2023g）在空中牛只监测中面临三个关键挑战（Liu, Zhang, Wang, 2023d, Wang, Kayacan, Chowdhary, 2023f）：高海拔巡逻和变化的牛只形态阻碍了目标与背景的分离，而小目标尺寸限制了特征提取。无人机检测系统必须处理大规模异构数据，这增加了计算负载和延迟，同时降低了准确性，因此需要轻量级架构。快速的无人机运动和动态的牛只行为对实时检测提出了挑战，要求网络既高效又精确。精准农业中对改进的牛只检测系统的日益增长的需求（Wang, Li, Zhang, Liu, & Smith, 2023b）促使开发了一种创新的基于无人机的监测平台。该平台整合了先进的深度学习能力（Zhang, Chen, & Kumar, 2023d）以应对特定的农业挑战。基于视觉的牛只导航主要采用两种方法：基于地图的系统（Smith, Corke, & Milford, 2023）和无地图技术（Garcia, Kayacan, 2023, Lee, Gupta, Levine, 2023a）。无地图方法利用各种局部视觉特征，包括模板匹配（Chen, Zhang, & Chowdhary, 2023e）、光流分析（Huang, Li, & Ramanan, 2023）、地标跟踪（Liu, Zhang, & Ramanan, 2023c）和基于CNN的分类（Li, Han, & Wang, 2023a）。对于路径记录，我们实现了基于2D网格地图M的方法，灵感来自占用网格技术而非拓扑地图，如图1所示。这种高效的表示显著促进了牛只搜索操作（Zhang, Wang, Anderson, & Clark, 2023b）。牛只识别采用基于CNN的生物特征分析（Wang, Zhang, Clark, & Chen, 2023e），该方法通过堆叠的卷积模块处理红色感兴趣区域（ROIs）。整体架构在计算效率和检测准确性之间取得了最佳平衡，弥合了轻量级机载处理和高性能网络需求之间的差距。

基于计算机视觉的最新进展，所提出的系统结合了AKConv（Chen, Vahid, & Kumar, 2023b）来动态优化感受野。这种优化增强了牛只与背景的区分能力，同时保持了计算效率。此外，该系统实现了跨视角动态通道融合（CDCF）模块。CDCF模块通过将多视图自适应加权机制与膨胀卷积和多分支架构相结合（Liu, Wang, He, 2023a, Wei, Xiao, Shi, Jie, Feng, Huang, 2018, Zhang, Szeliski, Freeman, 2023f），显著超越了传统的特征选择方法（Chen, Wang, Zhang, Gupta, & Yang, 2022）。这种协同组合实现了全面的特征空间构建（Wang, Liu, & Zhou, 2023d），同时保留了关键的判别特性。这种方法比现有的静态维度剪枝方法有了显著改进，后者通常基于统计分析或稀疏学习技术。

AMSD-Net在YOLOv11架构（Wang, Yeh, & Liao, 2023a）的基础上进行了扩展，整合了两项关键创新：自适应核卷积（AKConv）模块和跨视角通道融合（MSRF）模块，专门用于牛只检测任务。AKConv模块动态调整感受野以捕捉更丰富的空间和上下文细节。同时，MSRF模块通过跨视角集成细化了多尺度特征表示。在相关数据集上进行的实验评估验证了该框架的总体有效性。本工作的主要贡献如下：

1)

设计了一种新方法，将AKConv和MSRF集成到YOLOv11中，以实现快速牛只检测。

2)

AMSD-Net专为畜牧业场景设计，结合AKConv和MSRF实现密集和小物体的高精度检测，能够在NVIDIA Jetson Nano上实现实时性能。

3)

所提出的方法在真实的农场监控数据上进行了严格评估，并与YOLOv11和领先的当代检测架构进行了比较分析

本文的结构如下。第2节回顾了相关文献。第3节详细介绍了提出的方法和架构。第4节介绍了实验设置，包括数据集、增强策略和实现，并进行了结果分析。通过实验可视化评估了方法的有效性，并讨论了局限性。最后，总结了研究发现并指出了未来的研究方向。

相关工作

AMSD-Net提出了一个改进的牛只检测框架。该框架在YOLOv11架构的基础上进行了显著改进。这种改进是通过整合两个核心组件实现的：自适应核卷积（AKConv）模块和多尺度感受野（MSRF）模块。所提出的架构使用AKConv进行自适应空间特征提取，同时利用MSRF进行优化的多尺度特征融合。这种组合实现了

算法概述

通过无人机巡逻进行自动牛只检测的架构如图4所示。在AMSD-Net中，主干网络整合了AKConv、SPPF和C2PSA模块以实现高效的特征提取。MSRF模块通过融合来自主干网络的分层特征进一步细化了多尺度检测，提高了复杂场景中的鲁棒性。值得注意的是，特征融合模块中的空心圆符号（?）代表一个加权融合节点，其中来自不同层次的特征被自适应地

实验设备和数据集

所有实验都在装有NVIDIA RTX 3090 GPU的Ubuntu系统上使用PyTorch 2.0.0进行。训练采用了带有动量的随机梯度下降（SGDM）算法，共进行了350个周期，批量大小为64。超参数包括初始学习率0.01（每周期衰减0.1），动量0.9，以及L2正则化（λ=0.0005）以实现泛化。

实验平台使用了DJI Matrice 100六旋翼无人机和兼容ROS的DJI N1飞行控制器，在自主任务中得到了验证

实验可视化结果

实验评估了所提出方法对环境因素、相机限制和实际处理造成的图像退化的鲁棒性。评估对象检测模型对这些畸变的抵抗力对于实际应用至关重要。鉴于目标区域（中国中北部）和当时的天气（阴天、下雨、雾天），研究重点关注了雨天和雾天条件下的牛只检测

结论

本研究提出了AMSD-Net，这是一个改进的牛只检测框架，它在YOLOv11架构中创新性地整合了AKConv和MSRF模块。AKC组件动态调整感受野以优化空间特征提取，而基于注意力的MSRF机制在检测过程中有效优先考虑了具有区分性的牛只特征。实验结果表明，与基线YOLOv11相比有显著改进，mAP值有所提高

未引用的参考文献

缺少参考文献图12

CRediT作者贡献声明

Xinxin Luo：概念化、方法论、软件。Fuzeng Zhang：数据整理、初稿撰写。Eksan Firkat：可视化、调查。Askar Hamdulla：撰写和编辑。Bin Zhu：监督。Aizimaiti Xiaokaiti：验证。Abdusalam Dawut：软件。广西科技重大项目杰出博士生创新计划

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。