利用声纹特征和深度学习技术实现桥梁伸缩缝缺陷的自动化诊断

《AUTOMATION IN CONSTRUCTION》：Automated diagnosis of bridge expansion joint defects using voiceprint features and deep learning

桥梁伸缩缝（BEJ）声学信号受交通噪声干扰，传统识别精度受限。本文提出基于声纹特征与深度学习的智能监控系统，创新点包括：（1）云-边-端协同声纹采集设备，支持噪声环境下的长期数据采集与远程诊断；（2）一阶/二阶差分MFCC特征提取，增强信号可区分性；（3）Hybrid Attention Fusion Network（HAFNet），融合预训练卷积主干与多尺度注意力机制，实现典型BEJ故障97.99%-99%识别精度。实地验证系统稳定可靠，适用于实时监测。

　　

陈一轩|赵洪哲|徐一超|张玉峰|张健

东南大学土木工程学院，中国南京210096

摘要

桥梁伸缩缝（BEJs）对桥梁安全至关重要，但其声学信号复杂，容易受到交通噪声的干扰，这限制了传统识别方法的准确性。为了解决这个问题，开发了一种基于声纹特征和深度学习的智能监测系统。该系统的关键贡献包括：（1）一种云边协同声纹监测设备，集成了音频采样、嵌入式处理、云服务器和无线传输功能，能够在嘈杂环境中实现长期数据收集和远程诊断；（2）使用一阶和二阶差分梅尔频率倒谱系数（MFCC）进行特征提取，提高了区分度；（3）混合注意力融合网络（HAFNet），基于预训练的卷积骨干网络并加入了多尺度注意力机制，实现了对典型BEJ故障的高精度识别，两种车辆的测试准确率分别为97.99%和99.00%。现场实验证明了该系统的稳定性、可靠性和实时监测BEJ的可行性。

引言

桥梁结构在其漫长的使用寿命中会受到各种外部干扰和内部应力变化的影响，包括温度波动、交通荷载、风力和地震活动等，这些因素都会导致桥梁产生热膨胀、收缩和各种振动响应。为了减轻这些变形，通常会设置桥梁伸缩缝（BEJs）来吸收位移、缓解结构应力并保持桥梁的整体连续性。然而，BEJ结构的复杂性以及长期暴露在恶劣环境条件中，使其容易受到疲劳载荷、腐蚀、冲击和污染物侵蚀的影响，从而导致性能下降甚至失效[1]，[2]。一旦BEJs发生损坏，可能会危及桥梁的结构安全，在车辆通过时产生显著的噪声和振动，对车辆乘员和行人构成风险[3]，[4]。因此，及时有效地检测和评估BEJ的运行状态对于确保桥梁的安全运行和延长其使用寿命至关重要，同时也能大幅降低未来的维护成本和因维修造成的交通中断。

当前的桥梁伸缩缝（BEJ）检测方法大致可以分为依赖人工经验的视觉检查和无损检测（NDT）技术[5]，[6]。传统的人工检查通常是通过敲击并使用放大镜或显微镜观察表面损伤来评估BEJs的运行状况[7]。尽管这种方法简单且成本效益高，但它高度依赖于技术人员的经验和注意力。为了克服这些限制，引入了多种NDT技术以实现更客观的结构评估[8]。结合物联网（IoT）技术的无线传感器系统被开发出来，以提高检测的灵活性和可扩展性[9]，[10]。超声波检测被广泛用于检测BEJ钢构件内部的缺陷[11]，[12]，[13]，而X射线计算机断层扫描则可以通过多角度图像重建来显示腐蚀情况[14]。电磁检测也被用于识别支撑杆的损伤[15]。尽管这些方法在实验室和现场实验中显示出有效性，但它们面临实际挑战，包括设备成本高、操作复杂、依赖专业人员，以及在某些情况下需要封闭桥面，这会增加检测时间和交通中断。

声纹监测是一种非侵入性方法，对早期缺陷非常敏感，能够捕捉到视觉或振动检测难以发现的细微结构变化，从而实现桥梁损伤的检测。近年来，越来越多地研究桥梁伸缩缝（BEJs）在车辆通过时产生的声学信号，并尝试利用这些信号作为评估结构健康状况的替代手段[16]。已经研究了BEJ发声的机制，并提出了多种降噪方法来提高信号质量[17]，[18]。在实际的工程检查中，BEJ的损伤通常由经验丰富的检查员根据异常声学模式进行判断。研究表明，声学信号包含了丰富的结构状态信息[[19]，[20]，[21]，[22]]，这表明提取声纹特征是推进基于声纹的监测应用的关键步骤。已经开发了多种特征提取方法，包括滤波器组能量（Fbank）和Gamma-tone滤波器特征，以增强模型识别声学模式的能力[23]，[24]。然而，声学信号在BEJ故障检测中的系统应用仍处于早期阶段，集成声纹监测系统和高效的自动化分析方法尚未完全建立。相比之下，基于声纹的检测方法被认为是更实用和可扩展的桥梁健康监测方法。利用桥梁正常运行期间产生的环境声学信号，如摩擦声、撞击声和振动声，来识别与损伤相关的异常模式。信号处理和机器学习算法被应用于区分不同类型的BEJ损伤，而这些损伤往往难以通过传统的应变或位移基的SHM方法检测到。这种技术允许非接触式、低成本和连续的监测，不会中断交通，为集成到大规模桥梁管理系统中提供了巨大潜力。

机器学习技术推动了音频故障检测方法的进步。在早期研究中，隐马尔可夫模型（HMMs）被用于各种声学信号的分类[25]，[26]。支持向量机（SVMs）进一步扩展了基于音频的故障检测范围，能够识别螺栓松动和轴承缺陷等结构损伤[27]，[28]，[29]，[30]，[31]。此外，决策树模型和人工神经网络（ANNs）也被应用于结构异常检测[32]，[33]，[34]。随着深度学习的发展，一维卷积神经网络越来越多地被用于音频识别任务[35]，[36]，并且通过结合GRU或LSTM模块增强了其处理声学特征的能力[37]，[38]，[39]。为了应对故障数据的稀缺问题，也引入了无监督学习方法来处理声学信号，尽管它们的实际适应性仍然有限[40]，[41]，[42]，[43]，[44]。潘等人[45]将声纹识别技术应用于桥梁伸缩缝的监测，引入了基于Fbank特征图和ConFormer网络的级联识别框架。然而，现有的声纹研究仍存在一些局限性。首先，它们主要关注正常状态和异常状态之间的二分类，对多种缺陷类型（如钢材断裂、局部堵塞和部分接头分离）的关注不足。其次，系统依赖于传统的麦克风式音频采集，缺乏专为桥梁场景设计的轻量级云边协同监测解决方案[46]。第三，现有的声纹深度学习模型在识别准确性方面仍有很大的改进空间，特别是对于细微或重叠的缺陷信号。

为了解决传统桥梁伸缩缝监测方法的局限性，包括有限的识别准确性和低硬件集成度，本文提出了一种自动化诊断框架及其相应的监测设备，该框架将声纹特征与深度学习相结合。本文提出了一个实用的桥梁伸缩缝声纹监测框架，为评估运行状态和支持关键桥梁组件的智能操作和维护提供了技术途径。主要贡献总结如下：（1）为了解决现有桥梁伸缩缝缺乏轻量级声纹采集设备的问题，开发了一种集成了高灵敏度声音捕获、基于边缘的特征提取和无线远程通信的集成声纹采集设备，从而实现了高保真度的采集和稳定的远距离声纹数据传输。（2）为了准确识别桥梁伸缩缝中的多种典型缺陷，提出了一种结合声纹特征提取和深度学习算法的综合性方法。该特征系统结合了MFCC及其一阶和二阶差分，增强了声纹特征和抗噪能力，而深度神经网络采用了预训练的骨干网络和多尺度注意力机制，包括ECASimAM、全局通道空间注意力（GCSA）和多尺度扩张融合注意力（MDFA），显著提高了区分能力和识别性能。

本文的结构如下：第2节介绍了所提出的方法框架；第3节详细描述了云边协同声纹监测设备；第4节介绍了声纹特征提取方法；第5节描述了所提出的深度学习模型；第6节详细介绍了实验程序和结果，使用了实际存在的裕龙桥来验证所提出的理论方法；第7节总结了研究。

方法框架片段

所提出方法的框架

如图1所示，提出了一种智能诊断方法和系统，用于桥梁伸缩缝（BEJ）的缺陷检测，利用声纹特征和深度学习在复杂的交通环境中实现实时识别和远程诊断，为长期状态监测和结构安全评估提供了技术途径。该系统采用了云-边-终端协同架构。在终端层面，安装了高灵敏度的声学传感器

云边协同声纹监测设备

所提出的端到端桥梁伸缩缝声纹监测系统的操作工作流程如图2所示。该系统设计为一个基于云-边-终端协同架构的轻量级和模块化平台，实现了全面和自动化的声学监测。在终端层面，直接在桥梁伸缩缝下方安装了高灵敏度的声学传感器，以捕获高保真的声纹信号

通过二阶差分融合实现自动声纹提取

桥梁伸缩缝（BEJ）的声学信号受到重复车辆荷载、风力和环境噪声的显著影响，包含多种频率成分，这阻碍了直接故障的识别。因此，需要通过去除无关干扰来分离、分类和隔离与BEJ相关的声学特征。标准化的梅尔频率倒谱系数（MFCC）[47]提取过程如图4所示。为了确保高质量

使用HAFNet自动识别桥梁伸缩缝的多重缺陷

为了解决视觉特征的多尺度变异性、复杂纹理干扰和BEJ声纹图像中的局部结构不一致性问题，本文提出了一种深度神经网络架构，该架构结合了预训练的骨干网络和多尺度注意力机制，命名为HAFNet（混合注意力融合网络）。总体而言，HAFNet保持了紧凑的模型结构和训练效率，同时实现了从浅层到深层的逐步增强

现场验证实验

为了验证所提出的基于声纹的损伤诊断框架的实际适用性和鲁棒性，在一个在役的桥梁伸缩缝上进行了全面的现场实验。本节旨在验证所提出的DAMFCC特征构建和基于HAFNet的识别模型在真实交通和环境条件下的有效性。现场实验涵盖了从现场数据采集和系统部署到特征提取的完整工作流程

结论

为了解决声学信号的复杂性以及桥梁伸缩缝损伤监测中实时识别的需求，本文提出并实现了一种基于声纹特征融合深度学习的智能监测系统，并通过现场声纹采集和识别实验验证了该方法。该系统集成了麦克风传感器、音频采样、电源管理、数据存储、嵌入式处理和无线传输模块，实现了

CRediT作者贡献声明

陈一轩：撰写——原始草稿、方法论、调查、正式分析、数据管理、概念化。赵洪哲：可视化、调查、正式分析、数据管理。徐一超：验证、资源管理、调查。张玉峰：验证、监督、项目管理。张健：撰写——审稿与编辑、监督、项目管理。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本研究得到了苏州市科技计划-关键核心技术项目（编号SYG2025117）、东南大学先进海洋研究所研究基金（编号KP202407）和中国国家自然科学基金（编号52378289）的财政支持。第一作者还感谢中国 Scholarship Council（CSC，编号202506090018）的财政支持