一种结合了交叉注意力机制的CNN-Transformer模型，用于滚动轴承故障的智能诊断

针对传统Transformer在处理滚动轴承振动信号时难以有效捕捉跨域时频特征的问题，提出一种基于CNN-Transformer和交叉注意力机制（CTCA）的诊断模型。通过并行处理CNN提取局部时空特征和Transformer建模长序列依赖，结合动态交叉注意力融合多模态特征，显著提升诊断准确率至96.25%，并在6dB噪声下仍保持93.74%的鲁棒性。

　　

王明凌|王志阳

河南理工大学，焦作，河南，454003，中国

摘要

利用Transformer神经网络的深度学习方法已广泛应用于滚动轴承故障诊断。然而，传统的基于自注意力的Transformer受到其单序列处理范式的限制，这通常限制了它们从原始振动信号中有效捕获双域时频故障特征的能力。为了解决这个问题，本文提出了一种集成交叉注意力机制（CTCA）的并行CNN-Transformer诊断模型。该模型首先采用了一种结合快速傅里叶变换（FFT）和变分模态分解（VMD）的混合预处理策略来构建输入信号的多维时频表示。在架构上，它将自定义的VGG风格卷积神经网络（CNN）与移位窗口Transformer并行化，从而实现振动响应的同时独立处理。具体来说，CNN分支捕获局部空间特征以弥补Transformer的有限归纳偏差，而Transformer分支通过自注意力建模长距离序列依赖性。一个关键贡献是新颖的交叉注意力融合模块，该模块动态建立了两个分支提取的多维特征之间的交互相关性。这有助于整合局部和全局表示，减少了潜在的特征信息损失，并增强了轴承退化特征的全面性。在五个基准轴承故障数据集上的实验结果表明，所提出的CTCA模型平均诊断准确率为96.25%，比标准Transformer基线高出8.6个百分点。值得注意的是，在6 dB噪声条件下，其准确率仍保持在93.74%以上，显示出对信号污染的强鲁棒性。

引言

滚动轴承在大型设备中至关重要，包括飞机发动机、高速列车和采矿机械[1]。滚动轴承的故障或失灵会扰乱设备的正常运行，导致重大经济损失和人员伤亡[2]。因此，对滚动轴承实施及时有效的状态监测和故障诊断至关重要[3]。传统的故障诊断技术依赖于信号处理方法从振动信号中提取特征。然而，这些方法通常需要专家知识和技术处理。这种依赖性在掌握技术和处理非线性信号方面存在显著限制，从而限制了它们在现代工程应用中有效处理复杂和多样化工业大数据的能力。计算机技术的最新进展促进了机器学习和深度学习技术的发展，这些技术在模拟非线性信号模式方面表现出显著的能力[4,5]。由于这些技术比传统方法具有更好的表示能力，它们越来越多地被应用于故障诊断[6,7]。

卷积神经网络（CNN）在从机械振动信号中自动提取特征方面表现出色，特别是在传统频谱分析方法在捕获瞬态故障特征方面存在局限性的工业状态监测场景中。Wang等人[8]提出了一种增强自编码器的卷积神经网络，以提取详细的振动信号特征，实现精确的故障识别和分类。Qin等人[9]提出了一种双通道CNN模型，该模型在融合层连接来自两个CNN模型的特征向量，并使用SVM进行故障分类，解决了由于数据分布不均导致的故障诊断能力差的问题。Yang等人[10]提出了一种使用贝叶斯优化方法自动调整模型结构和超参数的CNN模型，并采用SSWT来提高时频分辨率。类似地，Wang等人[11]开发了一种JL-CNN模型，将故障诊断任务与信号去噪任务相结合，显著提高了CNN模型在噪声环境中的诊断能力。Hu等人[12]提出了一种多尺度卷积神经网络模型，该模型集成了多种注意力机制，显著增强了CNN模型的特征提取能力。

尽管卷积神经网络在轴承故障诊断中显示出潜力，但其局部感受野本质上限制了捕获长距离依赖性和全局上下文信息的能力。这一限制阻止了CNN完全表征振动信号中的完整振荡模式演变和退化趋势，从而限制了诊断结果的全面性和准确性。最近的研究发现，将Transformer和CNN模型结合用于全局特征提取可能是解决这一问题的一个潜在方案。Li等人[13]提出了一种新颖的CNN-Transformer网络（Dconformer），同时提高了时序信号去噪和故障诊断的性能。Chen等人[14]提出了一种平衡条件CNN-Transformer GAN（BCTGAN）架构，为小样本混合不平衡故障诊断领域提供了理论和实践见解。Liu等人[15]提出了一种结合红外成像、信息器和Swin Transformer的CNN方法。这种方法实现了轴承故障的实时监测、精确的故障定位和故障严重程度的分类。尽管最近在CNN-Transformer混合模型用于全局特征提取方面取得了进展，但基本限制仍然存在：（1）仅靠时空特征提取不足以全面表征轴承故障信号的物理复杂性；（2）基于自注意力的Transformer模型无法有效捕获时域波形和频域频谱特征之间的跨域相关性。

为了解决这个问题，本文提出了一种具有时频特征融合的CNN-Transformer-交叉注意力（CTCA）模型。CTCA模型通过集成Transformer编码器克服了CNN在捕获全局特征方面的限制，后者能有效建模时间序列中的长距离依赖性。同时，一种新颖的交叉注意力机制促进了时间和频率域之间的协同学习。所提出的框架通过同步整合时间波形和频谱特征，构建了振动信号特征的统一表示。这使得能够对振荡模式演变进行双路径分析，并系统地表征滚动轴承中的多维故障表现。本研究的主要贡献总结如下：

1.

CTCA通过交叉注意力开创了同步时频特征提取的方法，动态量化了异构特征相关性，克服了现有模型中特征利用率低的问题。

2.

CNN-Transformer框架结合了CNN的频域微变分检测和Transformer的长期退化追踪，通过优化的交互作用增强了诊断能力。

3.

通过深度时频融合和自适应优化，即使在-6 dB的噪声条件下也能保证85.5%的准确率，比基线模型提高了29.31个百分点。

后续部分组织如下：第二节概述了基本模型概念；第三节详细介绍了所提出的方法；第四节提供了实验验证；第五节进行了讨论；第六节提出了结论。

部分摘录

卷积神经网络

卷积神经网络（CNN）[16]是一种受大脑学习机制启发的前馈神经网络，其特征是局部连接性、权重共享和多尺度表示。CNN的核心思想是通过卷积层和池化层提取特征，然后将它们输入全连接层进行分类或回归任务。典型的CNN通常包括输入层、卷积层、池化层和全连接层

概述

为了克服传统Transformer在处理单序列方面的限制，本文提出了一种CNN-Transformer交叉注意力（CTCA）网络架构。首先，原始数据经过预处理以提取其时域和频域特征。随后，这些提取的特征分别并行输入CNN和Transformer模块，以捕获局部详细特征和全局上下文特征。然后通过

实验验证

为了全面评估CTCA模型在旋转轴承故障诊断领域的性能，我们在七个不同的数据集上进行了实验，并与四个广泛使用的基准模型进行了验证。实验过程包括参数比较、模型性能比较和噪声影响测试。此外，我们还对注意力映射矩阵进行了视觉分析，以提高模型的可解释性。

讨论

所提出的CTCA模型在多个轴承故障诊断数据集上展示出的卓越诊断准确性和鲁棒性验证了其架构的有效性。然而，对其贡献的全面评估需要将实验结果置于更广泛的研究背景中进行深入讨论。与现有的主流方法相比，CTCA的性能优势主要源于其在协同作用方面的根本改进

结论

本研究提出了一种新颖的双通道故障诊断框架，该框架结合了交叉注意力时频特征融合机制（CTCA）。与传统方法不同，该框架不仅将多个信号输入整合为统一表示，还通过交叉注意力机制实现了故障特征的全面提取和协同分析。为了验证所提出的CTCA算法的有效性，进行了全面的实验

作者致谢

王明凌：概念化、方法论、软件、验证、形式分析、调查、数据管理、撰写 - 原始草稿、可视化。

王志阳：概念化、资源、撰写 - 审稿与编辑、监督、项目管理、资金获取。