《Engineering Applications of Artificial Intelligence》：Lightweight method of foreign matter detection in coal conveying based on improved you only look once version 8 and embedded equipment
编辑推荐：
异物检测在燃煤输送中至关重要，本文提出C2f_LPF+CSPDC+PFA改进的轻量级YOLOv8算法，通过模块化设计平衡计算效率与检测精度，嵌入式设备测试显示mAP达0.963，FPS提升29.6%，优于原版YOLOv8和Faster R-CNN。
杜冠峰|张洪正|罗玉鹏|鲍志波|李志伟|周明欣|刘志林|曹胜贤|王工|马乐|王建明|耿涛|葛鹏|高广州|于长明|杨欣|李旭军|高翔
东北电力大学自动化工程学院，中国吉林132012
摘要
在输送煤粉的过程中，混合的异物不仅会影响煤粉的燃烧效率，还可能导致煤炭输送设备的安全事故。因此，监测输送过程中的异物非常重要。由于实际输送场所的范围有限，需要使用嵌入式设备进行检测。针对嵌入式设备的计算和存储挑战，提出了一种改进的轻量级YOLOv8（You Only Look Once版本8）算法。该算法的核心部分使用了具有2次卷积的跨阶段部分（C2f_LPF）模块来提取轻量级特征，并通过具有可变形卷积的跨阶段部分（CSPDC）模块提取异物信息。然后，使用特征聚合（PFA）模块进行轻量级特征融合。所提出的C2f_LPF+CSPDC+PFA组合实现了轻量级性能和检测精度之间的平衡优化，解决了嵌入式设备计算资源限制与实时检测精度需求之间的矛盾。使用自制的数据集（包含废铁、石头、木棍和树枝）在计算机和嵌入式设备上对Faster R-CNN和YOLO系列算法进行了测试。这些数据集包含612张图像，共4413个异物样本，是在实验室规模的自制煤炭输送平台上收集的。在嵌入式设备上的平均精度（mAP）、每秒千兆浮点运算次数（GFLOPS）和每秒帧数（FPS）分别为0.963、610万和37.04。与原始YOLOv8相比，计算量和参数分别减少了24.7%和18.9%，FPS提高了29.6%。与其他算法相比，该算法也表现更好，与嵌入式设备的配置要求兼容良好，实现了精度和速度之间的良好平衡。这表明其在实验室规模平台上的性能很有前景，经过进一步验证后可以扩展到实际工业生产线。
引言
在煤炭开采、运输和加工过程中，容易混入石头、废铁、木材等异物。这些异物不仅会降低煤炭燃烧效率，还可能对机械设备造成严重磨损和损坏，增加维护成本，甚至引发事故、火灾和爆炸。如果这些异物在燃烧前未能及时清除，将严重影响生产过程和设备的安全运行（Du等人，2023年）。通常有两种检测异物的方法：数据中心检测和现场检测。然而，煤炭运输速度相对较快，而数据中心中的视频采集和检测速度可能无法跟上运输速度，容易导致管道堵塞等安全事故。因此，现场检测是工厂的首选，需要使用嵌入式设备。
在煤炭开采阶段，根据地下开采环境的特性，魏等人（2024年）提出了一种基于无参考图像质量评估的煤炭图像自适应增强方法。其核心是建立可见光图像质量评估模型，并基于改进的麻雀搜索算法（SSA）开发图像增强参数的自适应优化算法，从而确保高效准确的煤炭开采。
带式输送机是煤炭运输的关键设备。为了解决设备安全问题，Salim等人（2021年）提出了一种基于被动UHF（超高频）的鲁棒且低成本的射频识别（RFID）裂纹检测系统。该系统能够实时处理和检测传感器数据中的裂纹，从而检测输送带上的裂纹。这种缺陷检测方法实际应用性不强。裂纹的原因归结为运输过程中的异物。煤炭在运输过程中暴露程度最大，因此在运输过程中识别异物最为有效（Wen等人，2024年）。还有其他检测方法，Zou等人（2020年）基于改进的广义学习近红外光谱识别煤炭和矸石。目前，大多数学者使用基于深度学习神经网络的计算机视觉检测技术进行实时检测，例如YOLO系列算法。为了解决大异物识别问题，Huang等人（2023年）提出了一种基于多尺度注意力模块的改进YOLOv5算法。Luo等人（2023b年）也提出了一种轻量级改进的YOLOv5算法，在清晰明亮的环境中提高了识别准确率和速度。此外，为了解决低亮度、多尘环境中遮挡目标的检测精度低和效率低的问题，Fan等人（2024年）使用Inner-SIoU（内部软交集覆盖并集）优化了边界框的回归损失，并使用分组Taylor剪枝压缩YOLOv5模型。这种图像检测算法具有较高的识别精度，显著降低了煤粉运输过程中的风险。
随着YOLO技术的进步，Yang等人（2023年）采用上下文转换网络（COTN）改进了YOLOv7，并使用距离IoU（DIoU）损失边界回归损失函数计算预测帧与真实帧之间的重叠部分，并结合双路径注意力机制来增强小目标检测，降低GPU内存消耗。为了提高检测的实时性能，Yang等人（2024年）提出了一种改进的异物跟踪算法，以YOLOv7作为识别算法，并补充了遮挡感知空间注意力（OSA）代替深度排序。实验结果验证了该算法的有效性，成功实现了异物的检测和跟踪，解决了实际检测差异不明显的问题。目前，YOLO算法的实时性能已得到提升，但在移动设备中的应用仍然非常有限。
YOLOv8算法在图像检测领域取得了重大进展。Zhang等人（2024年）提出了一种基于LDSI-YOLOv8的煤炭开采场景多目标检测方法，解决了由于低亮度、高灰尘和雾气、多目标遮挡以及煤炭开采场景中目标尺度跨度大等因素导致的漏检和识别率低的问题。Li等人（2023年）添加了坐标注意力来增强异物的位置信息，并修改了损失函数。虽然缩短了训练时间，但有效提高了精度，但尚未在嵌入式系统中部署。Luo等人（2023a）设计了轻量级ShuffleNetV2网络作为主干网络，减少了冗余参数。此外，引入了非参数注意力机制SimAM进一步提高了识别效率，避免了计算负担的增加。然而，对不同形态相同异物的识别精度不高。Wu等人（2024年）提出了一种基于联邦智能的小目标检测方法，用于辅助煤矿物联网的目标检测，针对现有矿系统检测精度低、延迟高和速度慢的问题。使用改进的YOLOv8算法，提高了推理速度，同时保持了高检测精度，并将其部署在嵌入式设备上进行实验，但检测目标主要是矿工、头盔、空转轮等，未关注煤炭输送中的异物。针对上述模型的问题，如结构复杂、计算速度慢和精度不足，本文提出了一种改进的轻量级YOLOv8方法用于煤炭输送中的异物检测，并已在嵌入式设备中进行了测试。
本工作的贡献如下：首先是对YOLOv8的改进。在主干网络中，提出了基于MetaFormer架构（Yu等人，2022年）的轻量级网络LPF（Lightweight PoolFormer）。结合原始的C2f（跨阶段部分，具有2次卷积）模块，减少了计算量并提高了检测速度。在SPPF（空间金字塔池化 - Fast）处理各种图像之前，提出了CSPDC（具有可变形卷积的跨阶段部分）模块。在主干网络的最后部分提取模型特征时，结合了多尺度注意力模块以最大限度地提取特征。在颈部网络中，使用特征聚合模块（PFA）融合提取的特征，确保了精度并实现了轻量化。
然后，建立了一个模拟含有异物和煤粉的实际工作条件的煤炭输送实验平台。根据不同的环境因素创建了相关数据集，并在PC（个人计算机）上使用改进的算法进行训练。使用Jetson Orin NANO计算平台作为嵌入式设备进行验证，识别了不同环境中的异物。将检测结果与原始YOLOv8、流行的Faster R-CNN和其他YOLO系列算法（包括YOLOv5、YOLOv10等）进行了比较，结果显示在嵌入式设备上的准确率和检测速度均有所提高。
实验平台
建立了一个煤炭输送装置，并在实验室规模平台上进行了相应的实验。如图5所示，使用外径为81厘米、内径为64厘米的电动转盘来承载与旋转基座外径相同的圆形铝板。电动转盘的转速设置为50转/分钟。这种线速度可以在不同半径位置覆盖煤炭输送的速度
环境因素
在煤炭输送的实际操作中，由于空气中灰尘较多，灰尘很容易附着在相机上，导致镜头模糊。此外，煤炭输送过程需要日夜进行，因此环境光照条件也在变化，这对异物检测有一定影响。
在正常光照条件下，亮度分别降低了20%和40%
结论
本文提出了一种轻量级改进的YOLOv8算法，用于检测煤粉输送中的混合异物。在算法的主干网络中，提出了C2f_LPF模块用于轻量级特征提取，CSPDC模块中的MSDC用于重点提取异物信息。同时，使用PFA模块融合颈部特征。使用四个数据集（包含废铁、石头、木棍和树枝）来比较它们的性能
CRediT作者贡献声明
杜冠峰：撰写——原始草稿，监督，方法论，概念化。张洪正：撰写——原始草稿，软件，方法论，数据管理。罗玉鹏：软件。鲍志波：软件。李志伟：资源。周明欣：资源。刘志林：资源。曹胜贤：资源。王工：资源。马乐：监督，资源。王建明：资源。耿涛：资源。葛鹏：资源。高广州：资源。于长明：资源。杨欣：资源。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
致谢
本工作部分得到了吉林省科技项目（项目编号：20250203171SF）的支持。同时感谢参与公司提供的讨论和便利，以便进行即将到来的工厂安装和测试。这些作者的贡献不可或缺。本工作还将扩展到其他数据集进行进一步评估。
