《Machine Learning with Applications》：Lab-to-Field Integration in Bridge Monitoring: A Hybrid Structural Health Monitoring Framework Employing Deep Learning and Unmanned Aerial Vehicle Imagery
编辑推荐：
本研究旨在解决桥梁结构健康监测中现有视觉方法泛化能力不足、无法捕捉损伤时间演化的问题。研究人员提出了一种结合无人机视觉检测与计算机视觉的混合SHM框架，集成CNN和LSTM模型，利用实验室序列图像和现场桥梁图像进行训练。结果表明，所提出的CNN-LSTM框架在准确性和鲁棒性上均优于基准模型，实现了高达99.6%的准确率，为在实际环境中部署可扩展、稳健的无人机SHM系统提供了一条新路径。
混凝土是现代关键基础设施中使用最广泛的建筑材料，尤其是以钢筋混凝土建造的桥梁。然而，混凝土结构会因老化、退化和疲劳荷载而受损，其中裂缝是结构完整性的关键指标。传统的裂缝检测依赖于人工目视检查，受限于检查者的经验、时间、可达性和安全性，亟需自动化、非接触的先进技术。尽管无人机和计算机视觉技术为自动化结构健康监测开辟了新前沿，但现有方法大多仅依赖静态现场图像或合成数据集，难以捕捉损伤的演化进程，也限制了模型在真实复杂环境下的泛化能力。为了克服这一局限，由Hadi Salehi等人组成的研究团队开展了一项研究，提出了一种混合结构健康监测框架，该框架将基于无人机的视觉检测与一种同时在实验室和现场图像数据上训练的计算机视觉方法相结合，旨在实现从实验室到现场的集成监测。这项研究发表在《Machine Learning with Applications》期刊上。
为了开展研究，研究人员采用了几个关键技术方法：首先，通过无人机采集了两类图像数据，一是实验室环境下两根钢筋混凝土梁在渐进剪切荷载下的序列裂缝图像，用于捕捉损伤演化；二是美国路易斯安那州两座在役桥梁的现场无人机图像，用于捕获真实环境中的视觉复杂性。其次，研究构建了一个卷积神经网络与长短期记忆网络集成的计算机视觉模型，即CNN-LSTM模型，用于空间特征提取和时间序列建模。模型训练涉及数据集预处理（裁剪、调整大小、归一化）、超参数优化（测试了Adam、SGD、RMSprop等优化器及不同学习率）和性能评估（使用准确率、损失、ROC曲线、F1分数等指标）。此外，为了进行目标检测和裂缝定位，研究还采用了YOLOv8对象检测器并在自有数据集上进行了微调。
研究结果
1. 模型性能评估
CNN-LSTM模型在包含3000张图像（开裂与未开裂各半）的数据集上进行了训练和测试。模型在七种不同的训练集-测试集划分比例下均表现优异。在最佳情况（90%训练，10%测试）下，模型实现了99.66%的分类准确率，损失值为0.0195，AUC（曲线下面积）为1.00，F1分数为0.99。即使测试集比例增大至40%，模型准确率仍保持在97%以上，显示了其良好的泛化能力和稳定性。混淆矩阵和ROC曲线分析进一步证实了模型在区分开裂与完整表面方面的高效性和鲁棒性。
2. 与基准模型的比较
为了量化时间学习的影响，研究将CNN-LSTM模型与两个纯空间基线模型进行了比较：一个是仅包含卷积层的CNN模型，另一个是CNN与MobileNet集成的模型。在相同的数据划分和训练条件下，CNN-only模型达到了93.33%的准确率，CNN+MobileNet模型达到了96.00%的准确率，而提出的CNN-LSTM模型以99.66%的准确率显著优于两者。这证明了集成LSTM以捕捉时间依赖性和时空特征融合的优势，尤其在应用于具有环境变化的现场无人机图像时，CNN-LSTM模型保持了更高的准确性和可靠的定位能力。
3. 分类与目标检测可视化
模型不仅能够对图像进行“开裂”或“完整”的二分类，还能通过集成的YOLOv8检测器对裂缝进行定位。可视化结果显示，无论是对于实验室梁试件还是现场桥梁图像，模型都能成功识别并定位表面裂缝，并用矩形边界框标出。
现场图像是在不同光照甚至降雨后等挑战性条件下采集的，模型仍能有效工作，突显了其对环境噪声的鲁棒性。
4. 精确率-召回率与校准指标
研究还计算了精确率-召回率曲线和模型校准指标。在所有七种数据划分情况下，模型的平均精度（Average Precision, AP）介于0.9915到0.9998之间，精确率和召回率均超过0.93。预期校准误差（Expected Calibration Error, ECE）不超过0.04，Brier分数不超过0.05，这表明模型预测的概率是可靠且校准良好的。
研究结论与讨论
本研究提出并验证了一种用于混凝土梁和桥梁结构状况评估的数据驱动混合SHM框架。该框架的核心创新在于通过CNN-LSTM模型，将实验室中获取的裂缝时间序列演化知识，与无人机捕捉的现场单帧图像相结合，实现了“实验室到现场”的集成。研究结论表明，利用实验室序列图像进行LSTM建模，能够显著增强深度学习模型学习损伤演化模式的能力。这种时间感知的表示学习，即使在没有现场序列数据的情况下，也能提升模型对静态现场图像中裂缝检测和定位的泛化性能和鲁棒性。
该研究具有重要意义。首先，它为解决当前SHM方法在泛化性和范围上的局限提供了新思路，通过融合实验室的受控演化数据和真实世界的复杂场景数据，缩小了二者之间的鸿沟。其次，所提出的CNN-LSTM框架展示了卓越的性能，其高准确率和鲁棒性为在实际桥梁监测中部署可扩展、自动化的无人机SHM系统奠定了技术基础。最后，研究凸显了无人机在恶劣或难以接近的环境下进行数据采集的实用价值，例如在暴雨后对桥梁进行检测，为基础设施的持续健康监测提供了一种安全、高效的解决方案。
当然，研究也存在一些局限性，例如缺乏来自桥梁构件本身的序列图像以建模其在运营环境中的真实演化，以及现场数据集的规模和多样性仍有扩展空间。未来的研究可以致力于收集更多样化的现场序列数据，整合热成像等多模态传感信息，并扩展模型以量化裂缝宽度和严重程度，从而进一步提升框架的实用性和普适性。总体而言，这项研究为迈向更一致、更数据驱动的土木基础设施自动化健康监测奠定了基础。
