基于卷积变分自编码器的超灵敏度全场位移测量方法

《Mechanical Systems and Signal Processing》：Super-sensitivity full-field displacement measurement method based on convolutional variational autoencoder

基于CVAE的超敏感全场位移测量方法提出通过引入标准差矩阵作为先验信息重构连续像素强度值，结合光流法有效克服传统图像量化误差限制，实验验证其在高精度复杂场景下的可靠性和鲁棒性。

　　

肖顺新|鲍月泉|龙飞远

工业和信息化部智能预防与减轻土木工程灾害重点实验室，哈尔滨工业大学，哈尔滨150090，中国

摘要

计算机视觉技术是一种重要的非接触式位移测量手段，但其位移测量灵敏度往往受到图像采集过程中相机舍入误差的限制。这种误差导致图像仅保留整数位的像素强度值，使得难以表征低于理论灵敏度极限的微小位移。为了解决这个问题，我们提出了一种基于卷积变分自编码器（CVAE）的超灵敏全场位移测量方法。该方法构建了一个CVAE网络模型，引入标准差矩阵作为先验信息，并设计了一个加权重建损失函数，以实现原始图像数据中小数位像素强度的准确重建。重建后的图像与光流方法结合使用，从而实现超灵敏全场位移测量。通过数值模拟和实验室实验验证了该方法在超灵敏位移测量中的有效性，且在部分遮挡和光照变化条件下表现出良好的鲁棒性。这种方法为复杂场景中的高精度全场位移测量提供了一个可行的解决方案。

引言

位移测量是结构健康监测（SHM）中的重要任务，其准确性和可靠性直接影响结构安全评估和寿命预测的准确性[1]，[2]。根据测量原理，位移测量方法可以分为接触式和非接触式两类。常见的接触式传感器包括应变计、线传感器和光纤传感器。这些接触式传感器在静态实验室环境中可以达到微米级的精度[3]，但在实际工程应用中其局限性难以忽视。接触式传感器可能会对轻质结构引入额外的质量效应[4]，这可能产生不利影响；单点测量模式难以满足结构全场变形分析的需求[5]，[6]。对于非接触式测量，常见的非接触式传感器包括相机、激光多普勒振动仪（LDV）等。其中，激光振动仪基于干涉或三角测量原理，可以实现亚微米级的位移分辨率[7]，[8]，但其单点测量特性[9]、高成本和严格的校准要求限制了其大规模应用。GPS的精度有限，主要用于柔性大型结构的位移测量[10]，[11]，[12]。

相比之下，相机可以同步捕捉结构的全局变形信息，并结合数字图像相关（DIC）[13]，[14]，[15]，模板匹配算法[16]，[17]，[18]，[19]，光流[20]，[21]，[22]，[23]，[24]等方法分析运动前后图像灰度强度的变化，可用于电缆、桥梁和桁架等结构的动态监测。近年来，机器学习技术的快速发展为视觉位移测量提供了新的技术范式，推动了该领域从传统算法驱动向数据-模型双驱动范式的演变[25]。卷积神经网络（CNN）[26]，[27]，[28]，[29]，生成对抗网络（GAN）[30]，[31]，[32]等深度学习架构[33]，[34]，[35]，[36]与数字图像相关（DIC）和光流等传统视觉方法的深度整合，有效提高了复杂工作条件下的位移场重建的准确性和鲁棒性。肖等人[37]提出了一种基于单目视觉的深度估计神经网络，通过在定制的三维数据集上进行训练，该方法能够从背景中分割目标结构，实现准确的平面外位移估计。秦等人[38]首次提出了一种无监督的散景跟踪方法，利用相机的散景成像效果跟踪形成的散景圆圈。结合LSTM网络[39]，该方法能够在远距离和夜间条件下实现对长跨度桥梁的可靠动态监测。李等人[40]使用双目相机捕捉轮轨接触视频，并集成神经网络进行感兴趣区域（ROI）和关键点检测，从而实现对高速列车轮轨相互作用动态位移的准确测量。

在使用相机进行位移测量时，灵敏度成为一个值得关注的问题[41]。灵敏度关注的是最小可测量位移，理论灵敏度极限为$\delta p=1/(2^B-1)$像素，其中$B$表示相机的位深度。目前，亚像素灵敏度试图通过算法优化接近理论灵敏度极限，研究人员提出了一系列亚像素位移测量方法来实现亚像素灵敏度，包括基于插值或拟合的方法[42]，[43]，[44]，基于相位相关的方法[45]，[46]，[47]，以及基于深度学习的方法[49]，[50]，[51]，[52]，[53]。钟等人[54]使用交叉正弦复合条纹图案（CSCFP）作为目标标记来测量结构位移。通过对嵌入位移信息的皮尔逊相关系数（PCC）曲线进行相关分析，他们的方法实现了微米级精度的远距离位移测量。孔等人[55]提出了一个虚拟传感器网格框架，利用振动引导的超像素分割构建空间分布的虚拟感测点，实现了与LDV相当的位移测量精度。当然，使用具有更高位深度的相机（如14位模数转换器（ADC）[56]可以捕获更高质量的图像，并理论上实现亚纳米级的位移监测，但亚像素算法仍然无法突破灵敏度极限。同时，高精度ADC和低噪声传感器导致硬件成本呈指数级增长。此外，对高位深度图像存储和计算的需求急剧增加，使得难以满足实时测量的需求。因此，李和杨首次提出了一种基于噪声抖动的超灵敏全场位移测量方法，利用像素平均来突破量化误差的限制，获得更准确的像素强度值，然后结合光流方法实现超灵敏位移测量[57]。在此基础上，胡等人[58]通过使用时间延迟嵌入定理优化了时空采样矩阵，开发了一种增强型的超灵敏位移测量方法。崔等人[59]进一步将这种方法与局部估计的散点图平滑（LOESS）算法结合，实现了高精度的全场应变估计。

在这项工作中，我们提出使用基于CVAE的深度学习框架来替代传统的噪声抖动平均方法。该方法将原始图像数据输入CVAE网络，利用卷积层高效提取图像中的非线性特征，并通过多层卷积结构构建编码器压缩图像特征，从而将离散的整数像素强度值映射到连续的潜在分布。随后，解码器将潜在变量重构为包含分数像素强度的图像，有效突破了传统图像中由舍入误差引起的精度限制。最后，重建后的图像与光流方法结合使用，实现超灵敏全场位移测量。此外，在训练神经网络时，我们引入先验信息作为权重矩阵，并将其与损失函数融合，以加速神经网络的收敛速度和位移变化的识别精度。面对部分遮挡等问题时，所提出的方法无需额外重新训练或手动处理即可重建准确的图像，显示出更好的鲁棒性。

本文的其余部分组织如下：第2节主要介绍理论灵敏度极限和传统的超灵敏位移计算方法。第3节解释了基于CVAE的超灵敏位移测量方法。第4节通过数值模拟验证所提方法的可行性，并评估其在模拟的现实世界条件（如部分遮挡和光照变化）下的鲁棒性。第5节通过使用简化的框架结构振动测试验证了方法的通用性。最后，第6节对本文进行了总结和展望。

节选内容

背景信息

本节主要介绍理论灵敏度极限的原因和当前传统的超灵敏位移计算方法。

方法论

本文的主要思想是通过深度学习方法对图像进行预处理，以提高后续位移计算的基本精度。这里的图像预处理主要体现在恢复和增强图像信息上。具体来说，它是通过CVAE网络重建由于量化误差而丢失的连续灰度信息，从而消除原始图像中的“阶梯状”灰度过渡。

数值模拟

为了进一步验证基于CVAE的超灵敏全场位移测量方法的可行性，本章使用黑白条纹图案来验证该方法的位移测量精度。其次，使用桁架数据集进一步验证该方法在遮挡条件和光照变化下的有效性。

框架结构的简化实验布局

所提出的方法通过实验室实验得到了验证。实验数据由杨的研究团队[58]提供。构建了一个简化的框架结构模型，并施加水平激励以模拟结构在实际运行环境中可能遇到的微小扰动。在框架结构的选定监测区域，附着了高对比度的黑白条纹目标，以便于后续的图像处理和准确

结论

在这项工作中，我们解决了在非理想成像条件下实现高精度光学测量的挑战，并开发了一种基于CVAE的超灵敏全场位移测量方法。关键创新在于利用生成模型的条件推理能力，从离散和量化的观测中恢复连续和完整的图像。具体来说，我们引入了像素标准差矩阵作为空间先验来指导训练

CRediT作者贡献声明

肖顺新：撰写 – 原始草稿，可视化，验证，软件，项目管理，方法论，调查，数据管理，概念化。鲍月泉：撰写 – 审稿与编辑，监督，资源管理，项目管理，资金获取，概念化。龙飞远：可视化，验证，监督，软件，形式分析。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

本研究得到了国家自然科学基金（U23A20660）和中国杰出青年科学基金（52425804）的支持。