基于神经形态计算的多模态数据融合技术在智能机器故障诊断中的应用

《Journal of Industrial Information Integration》：Neuromorphic Computing-Enabled Multimodal Data Fusion for Intelligent Machine Fault Diagnosis

多模态数据融合与神经形态计算结合的智能机器故障诊断方法，通过统一时空脉冲表征空间提升多源数据对齐效率，设计模态专用神经形态特征提取模块降低计算负载，并构建广义多模态对比学习框架实现跨模态特征一致性优化。实验表明该方法在保证诊断可靠性的同时实现响应延迟88%以上的优化，为工业场景部署提供轻量化解决方案。

　　

陈新瑞|李翔|雷亚国|杨斌|李乃鹏|冯凯

中国西安交通大学教育部长江现代设计与转子轴承系统重点实验室，西安710049

摘要

近年来，数据驱动方法的快速发展显著提升了机器故障诊断的性能。目前，主流的智能故障诊断方法通常基于有限的模式数据。在实际工业应用中，数据来源的严格限制影响了这些方法的灵活性。近年来，利用多模态数据进行智能建模在不同领域受到了越来越多的关注。多模态数据可以为机器故障诊断提供更完整的健康状态信息。然而，不同模式的数据结构通常不一致，这带来了重大挑战。此外，当前的数据驱动方法在实际部署时需要大量的计算资源，尤其是在处理多模态数据时。为了解决上述问题，本文提出了一种基于神经形态计算的多模态数据融合方法，用于智能机器故障诊断。首先将包括振动、电流等在内的多模态状态监测数据转换为统一的脉冲表示空间。随后，为每种模式设计了专门的特征提取模块以提高特征提取效率。提出了一种通用多模态对比学习（GMCL）框架，以准确对齐来自不同模式的数据。故障诊断模型采用神经形态计算框架构建，不仅确保了高诊断可靠性，还显著降低了功耗。与主流方法相比，所提出的方法在响应延迟方面至少实现了88%的优化。在两个多模态机器状态监测数据集上的实验结果证明了该方法的有效性，为实际工业故障诊断应用提供了有前景的解决方案。

引言

机器故障诊断是维护现代工业设备安全稳定运行的重要手段[1]。有效的诊断能够及早发现潜在故障，从而延长机器寿命、优化生产流程，并最终提高整体效率和安全性[2]。随着工业系统复杂性的增加，对智能和自动化故障诊断方法的需求迅速增长，使这一领域成为现代工程研究的关键焦点[3,4]。

传统的故障诊断方法往往依赖于单一模式的数据，如振动信号或电流测量[5]。虽然这些方法可以提供有用的信息，但它们在捕捉机器健康状态的全面复杂性方面存在固有的局限性。实际上，机器通过多个传感通道产生多种信号，仅依赖一种类型的数据往往会导致诊断不完整或不准确。这一局限性促使人们探索多模态融合技术，通过整合不同模式的互补信息来实现更鲁棒和全面的故障检测。

尽管多模态融合具有优势，但也引入了新的挑战。直接组合异构数据源会增加计算复杂性，需要仔细的特征对齐，并且通常会导致资源消耗增加。这些问题限制了多模态方法在实时工业环境中的应用，而在这些环境中效率和可扩展性至关重要。因此，迫切需要能够平衡诊断准确性和计算可行性的框架，以确保多模态融合能够在实际场景中有效应用。同时，工业数据规模的不断扩大要求轻量级架构，能够在不牺牲诊断可靠性的情况下高效处理信息。

神经形态计算为解决这些挑战提供了有希望的方案。受生物神经系统的启发，脉冲神经网络以事件驱动的方式处理信息，实现了低功耗、高响应速度和大规模数据的高效处理。这些特性使得神经形态模型特别适合用于机器故障诊断中的多模态融合。然而，尽管脉冲神经网络在故障检测任务中显示出潜力，但其在多模态数据集成方面的应用仍不充分。填补这一空白对于推进智能故障诊断向实用、轻量化和可扩展的解决方案发展至关重要。

本文提出了一种基于神经形态计算的多模态数据融合方法，用于智能机器故障诊断，如图1所示。该方法旨在全面提取包括振动、电流等在内的多种模式的特征。首先将多模态数据转换为统一的脉冲表示空间。随后，为每种模式开发了专门的神经形态特征提取模块以提高特征提取效率。最后，引入了一种通用多模态对比学习框架来量化来自不同模式的故障特征之间的差异。模型架构采用神经形态计算框架构建，以确保准确性和效率。与主流方法相比，所提出的方法在响应延迟方面至少实现了88%的优化。本文的主要贡献和创新如下：

提出了一种用于多模态数据的新型神经形态模型，不仅确保了高诊断可靠性，还显著降低了功耗和响应延迟。

引入了一种神经形态多模态特征提取头，以提高数据提取效率。该架构可以自动为不同模式选择合适的特征提取头。

提出了一种通用多模态对比学习框架，用于机器故障诊断中的深度特征对齐。该框架可以方便地扩展到其他多模态机器故障诊断任务。

本文的其余部分组织如下：第2节提供了文献综述和总结表。第3节介绍了所提出的方法，并在第4节通过实验进行了验证。第5节总结了本文的研究成果和未来发展方向。

章节片段

文献综述

数据驱动的深度学习方法显著推进了机器故障诊断的研究[6]。这些方法能够从原始传感器数据中自动提取复杂特征，从而大幅提高了工程系统的诊断准确性[7,8]。卷积神经网络（CNN）因其捕捉空间相关性的能力和在故障诊断任务中的有效性而特别有影响力[9,10]。杜等人[11]

基于多模态融合的故障诊断方法

本节介绍了基于神经形态计算的多模态融合故障诊断方法。目标是通过利用脉冲神经网络和对比学习机制实现高效的特征对齐和准确的健康状态评估。为了清晰起见，本节分为四个小节。第3.1节提供了总体实现方案，概述了整个工作流程和关键步骤。第3.2节描述了多模态数据预处理，为后续工作奠定了基础

基于多模态融合的故障诊断方法

本节介绍了所提出方法的实验验证。目标是全面评估其在多种多模态监测场景下的有效性、效率和鲁棒性。为此，本节分为四个小节，每个小节针对实验设计的特定方面进行讨论。第4.1节介绍了多模态数据集，为后续分析提供了基础。第4.2节描述了

结论

在这项研究中，我们提出了一种基于神经形态计算的多模态数据融合方法，用于智能机器故障诊断。通过将神经形态计算与深度多模态对比学习相结合，该方法实现了低功耗、具有竞争力的诊断可靠性和改进的特征提取效率。针对不同模式的专用特征提取头确保了定制化的表示学习，而通用多模态对比框架使得

CRediT作者贡献声明

陈新瑞：撰写 – 审稿与编辑，撰写 – 原始草稿，验证，软件，方法论，形式分析。李翔：撰写 – 审稿与编辑，监督，方法论。雷亚国：撰写 – 审稿与编辑，资金获取。杨斌：撰写 – 审稿与编辑，可视化，验证。李乃鹏：方法论，形式分析。冯凯：撰写 – 审稿与编辑，方法论。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。