分层几何-光谱Mamba架构在输送部件磨损识别中的应用

《Expert Systems with Applications》：Hierarchical Geometric-Spectral Mamba Architecture for Identification in Conveyance Components Wear

针对地下资源运输系统中机械连接件结构缺陷检测难题，提出双流信息融合Mamba架构（DS-mamba），通过空间域语义感知与频率域细节提取的协同交互模块，有效解决图像模糊、材质纹理复杂及边界模糊问题，在11506张真实工业图像上验证其较现有方法提升3%以上精度。

　　

魏远林|贾欣莉|王一文|王瑞|高志凡|于海宁|Khan Muhammad

中山大学生物医学工程学院，中国深圳

摘要

在重要的工业运输系统中，如地下资源开采系统中，精确识别机械连接部件的结构缺陷对于保持运行完整性和人员安全至关重要。传统的基于图像的检测方法一直受到恶劣工作环境下的视觉干扰的阻碍，表现为图像清晰度降低、材料纹理多样以及损伤边界模糊。为了克服这些固有限制，我们提出了一种分层几何-光谱Mamba架构。该架构利用了两种并行的分析路径：一种专门用于通过理解广泛的空间关系来提取整体上下文线索；另一种则擅长通过分析信号成分来辨别细微的局部纹理偏差。一个定制的交互式集成模块将这两种互补的见解结合起来，从而提高了准确定义模糊缺陷边界的能力，并在宏观理解和微观细节之间建立了联系。在包含11,506张真实世界图像的广泛数据集上的实证验证表明，我们提出的方法性能优越，其缺陷分割和表征的准确率比10种现有方法高出3%以上。这一贡献为实现具有挑战性的工业应用中的自主和可靠的故障监测迈出了重要一步。

引言

工业处理系统，特别是矿用皮带输送机，是现代资源开采的基础，但其运行完整性经常受到挑战。由于高速运行和恶劣的环境条件，输送带极易受损（Konecki, Wojtkowiak, Tala?ka, Ko?odziej, & Domek (2021)），根据职业安全与健康管理局（OSHA）（Mao et al. (2024a); Safety (2012); Zhang, Shi, Zhang, Yu, & Zhou (2021)）的统计，这种脆弱性使它们成为工作场所中最危险的设备之一。为了减少停机时间并延长系统寿命（Yuan et al. (2025)），机械紧固件是用于皮带连接和维修的关键部件（Hardygóra, Bajda, & Ryszard (2015); Konecki et al. (2021); Mao et al. (2024b)）。尽管这些紧固件非常重要，但它们往往是故障的主要发生点。由于由互锁的扣件组成，它们会随着时间的推移而退化并脱落，导致紧固件断裂，表现为撕裂（图1(a)）。这种局部缺陷可能会迅速升级为灾难性的皮带故障，包括纵向切割和撕裂，造成严重的经济损失和人员伤亡（Bortnowski, Kawalec, Król, & Ozdoba (2022); Liu, Wang, & Liang (2025)）。因此，准确评估紧固件损伤的能力对于预防性维护和运行安全至关重要。在这种情况下，基于图像的深度学习成为自动化这一关键评估任务的一种强大且有前景的方法（Chen, Zhang, Wang, & Li (2015); Gao, Xu, Zhang, Li, & de Albuquerque (2020a); Han, Huang, Yang, & Li (2025); Hao & Liang (2019); Wang, Zheng, Li, & Wang (2025); Yang, Hou, Qiao, Zhang, & Ma (2019)）。

尽管具有潜力，但自动视觉检测在恶劣的工业环境中面临着根本性的挑战，这些挑战源于紧固件缺陷的可辨识度低。主要障碍是图像质量差，这是地下条件不佳的必然结果，那里普遍存在的灰尘和不足的照明严重降低了捕获的图像质量（Wang, Zheng, Zhang, Cui, & Li (2024b)），引入的噪声掩盖了初期损伤（Bortnowski et al. (2022); Siami, Barszcz, Wodecki, & Zimroz (2024)）。这一问题还因场景的固有纹理复杂性而加剧。虽然完好的紧固件呈现出重复的模式，但断裂会破坏这种规律性，创造出复杂且不均匀的纹理，这些纹理很难与同样多变的背景区分开来（Yang et al. (2020); Zhang, Xu, Gao, Rodrigues, & De Albuquerque (2020)）。此外，紧固件的精确边界往往也是模糊的。这种模糊性是由皮带的高速运动导致的运动模糊以及脱落部件与皮带表面摩擦产生的物理磨损共同造成的（Konecki et al. (2021); Li et al. (2025)）。这些因素——图像质量差、纹理复杂和边界模糊——共同降低了损伤特征的信噪比（Tang et al. (2024); Zhang et al. (2025)，使得可靠和准确的紧固件评估成为一项艰巨的任务（Gao et al. (2020b)）。

为了解决这些挑战，我们提出了一种双流信息融合Mamba（DS-mamba）用于紧固件损伤评估，如图1(c)所示。我们的方法通过状态空间视角独特地提取和整合了紧固件图像的空间域和频域信息，构建了作为损伤关键判别器的信息状态。具体来说，DS-mamba旨在从三个方面对抗低损伤可辨识性问题：首先，一个具有语义感知的状态空间模块用于捕获空间信息。通过建模长距离依赖性，它提取了对于在低质量图像中推断损伤至关重要的语义上下文。其次，一个具有频率感知的状态空间模块针对频域进行分析，提取细粒度的纹理和细节信息，使模型能够有效捕捉由紧固件损伤引起的微妙变化（Wu, Wang, Liu, Wang, & Zhang (2023)）。第三，一个状态空间交互模块将空间和频率表示结合起来。这种融合提供了边界线索，以解决模糊问题；空间流提供了整体边界结构，而频率流提供了高保真的边界细节（Ren, Liu, Jiao, Han, & He (2023)）。最终，这种组合表示协调了全局语义上下文和局部详细特征。最后，为了生成评估结果，这些融合信息被解码成紧固件的像素级分割图，明确传达了损伤属性。在真实的工业应用中，所提出的DS-mamba被设计为部署在集成有检测摄像头的边缘计算设备上，沿着矿用输送机运行。通过实现高速、自动化的紧固件缺陷分割，该系统充当了连续的早期预警机制。这使得维护团队可以从反应性维修转向预测性维护，在潜在的皮带撕裂升级为灾难性故障之前识别出来，从而显著减少停机时间，并将人员从危险的检查环境中移除。

本文的贡献可以总结如下：

1) 我们开发了一种用于矿用输送机紧固件损伤评估的新自动化框架，为恶劣工业环境中的计算机辅助预防性维护提供了强大而高效的解决方案。

2) 我们提出了一种新的时空状态空间架构DS-mamba，它协同整合了空间上下文和频域细节。这种双流融合范式专门设计用于提高细微和模糊紧固件缺陷的可辨识性。

3) 我们在包含11,506张工业图像的大规模真实世界数据集上进行了广泛的实验。结果表明，DS-mamba的性能显著优于十种现有的最先进方法。

相关工作

相关工作

图像处理技术在评估矿用输送带损伤中起着关键作用。基于图像的方法被广泛用于检测矿用输送带的表面缺陷。例如，已经提出了一种基于SVM的系统用于检测输送带损伤（Chen et al. (2015); Hao & Liang (2019)）。此外，基于图像的方法也被应用于输送带纵向撕裂的早期预警（Leite, Cavalieri, & Prado (2024); Li, Wang, Xie, & Zhang (2024); Zhang et al.）。

概述

DS-mamba的架构如图2所示。它由空间特征提取模块、频率特征提取模块和空频交互模块组成。整个框架基于状态空间模型（SSM）。

标准SSM可以表示为：

$\begin{array}{c}{h}_t& =\stackrel{￣}{A}{h}_{t?1}+\stackrel{￣}{B}{x}_t\\ y_t& =\stackrel{￣}{C}{h}_t\end{array}$其中 x_t 表示输入序列的 $t?th$ 元素。h_t 表示隐藏状态。y_t 表示SSM系统的输出。

在方程（1）中，$\stackrel{￣}{A},\stackrel{￣}{B}$ 和 $\stackrel{￣}{C}$ 是数据独立的。

数据集

实验是在11,506张带有紧固件的输送带图像上进行的。这些图像是由相机从长距离运行的输送带上收集的。相机放置在输送带下方以拍摄背面。收集到的图像尺寸为1097×912。由于地下矿井环境昏暗，原始收集的图像比较暗。因此，使用了自适应直方图均衡算法来增强图像的亮度和对比度。

局限性

值得注意的是，当前的数据集是从一个特定的大型矿用输送系统使用一致的成像硬件收集的。尽管该模型在该领域内对环境干扰（如灰尘和照明）具有很强的鲁棒性，但其在完全未见过的站点或不同硬件配置上的泛化性能尚未得到充分验证。未来的工作将集中在扩展数据集，以包括不同的矿场和相机类型。

更广泛的适用性

除了矿用输送系统之外，所提出的DS-mamba架构在更广泛的工程问题中也具有巨大潜力，特别是在薄壁结构中的几何缺陷识别方面。正如基础研究中所强调的（Reitinger & Ramm (1995); Shen & Wadee (2018)），薄壁部件对几何缺陷非常敏感，微小的偏差可能会引发灾难性的屈曲模式（Groh & Pirrera (2019)）。最近的研究已经展示了这一点。

结论

本研究提出了一种双流信息融合Mamba（DS-mamba）用于紧固件损伤评估。DS-mamba将空频组合视为状态空间模型，并利用组合信息作为损伤评估的依据。它研究了集成到DS-mamba中的空间特征提取模块、频率特征提取模块和空频交互模块，以解决紧固件损伤评估的挑战。

ORCID

魏远林：0000-0001-5679-141X 贾欣莉：0009-0000-3150-5771 高志凡：0000-0002-1576-4439

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Khan Muhammad报告称，他获得了“区域创新系统与教育（RISE）”通过首尔RISE中心的财务支持，该中心由教育部（MOE）和首尔市政府资助（2025-RISE-01-018-01）。如果有其他作者，他们声明没有已知的财务利益或个人关系。