具有去中心化预测功能的在线更新神经网络，用于动态多目标优化

《Expert Systems with Applications》：Online-updating neural network with decentralized prediction for dynamic multi-objective optimization

Fringe Projection Profilometry (FPP)面临测量环境、投影非线性、物体反射率和纹理等多误差源挑战，本文提出单物体多误差源校正物理模型（SEC）和基于ResNet34-UNet的深度学习同步校正模型（MEC），通过建立包含570组数据（含多目标测试集）的首次相位误差校正数据集，实现金属标准块测量误差降低64%（22μm→8μm）、纹理过渡点相位误差降低90%（0.4rad→0.04rad），首次在复杂数据场景超越传统物理模型。

　　

黄浩珍|李一鸣|张宗阳|梁晓军|李星辉|宋丽梅

中国天津300387，天宫大学电气设备智能控制重点实验室

摘要

在条纹投影轮廓测量（FPP）中，多种误差源——如测量环境、投影非线性、物体反射率变化以及物体纹理——显著影响相位精度，并且难以同时校正。为了解决这一挑战，我们提出了一种单物体多误差源相位校正物理模型（SEC），采用顺序行和列曲线拟合方法。此外，受到卷积神经网络在多物体场景中无差别提取特征能力的启发，我们引入了一种基于深度学习的多误差源同步相位校正模型（MEC），适用于复杂多物体场景。我们创建了一个包含约600组数据的小型数据集，使用ResNet34-UNet对MEC进行训练和验证。实验结果表明，经过相位补偿后，过度曝光和周期性误差（未包含在训练集的多目标测量场景中）的金属标准块的测量误差减少了64%（从22微米降至8微米），纹理过渡点的相位误差减少了90%（从0.4弧度降至0.04弧度）。在FPP中，MEC首次实现了在复杂场景中对多误差的同时校正，达到了前所未有的高测量精度和抗干扰能力，超越了现有的物理模型。该模型在复杂的工业场景中具有广泛的应用前景。数据集和代码即将发布。

引言

条纹投影轮廓测量技术由于其非接触性、高分辨率和高精度而在工业测量中得到广泛应用（Zuo等人，2018年；Liu等人，2021年）。在FPP系统中，相位展开的准确性对于确定系统的测量精度至关重要。然而，使用商用数字设备会导致显著的相位展开误差，这些误差源于硬件因素（如非线性设备响应和量化误差）以及外部因素（如环境光、被测物体的反射率和纹理）（Song和Kong，2023年；Xing和Guo，2018年；Zhang，2015年；Zheng等人，2024年7月；Forbes等人，2021年）。多种因素的综合影响导致了复杂的误差源，这使得获得准确的相位测量成为提高FPP测量精度的主要挑战之一。

在硬件引起的误差中，投影仪和数码相机的伽马效应导致的非线性响应通常被认为是主要的误差来源。目前，学者们提出了各种解决方案来应对伽马效应误差（Chen等人，2018年；Zhu和Guo，2022年；Zhu和Guo，2023年；Wang等人，2022年），例如通过建立物理模型和迭代求解来进行补偿（Zheng等人，2024年）。此外，还有利用深度学习来补偿非线性相位误差的方法（Feng等人，2019年10月；Lv等人，2020年；Yang等人，2021年8月）；例如，Yang等人提出了一种基于三到三深度学习框架（Tree-Net）的通用相位误差补偿方法，取得了较好的效果（Yang等人，2021年）。

由于过度曝光（如环境光过强或物体调制过高导致的灰度饱和）引起的误差在工业中也难以避免。Tan等人分析了过饱和失真的原理，并通过联合傅里叶分析和希尔伯特变换专门设计了一种饱和引起的相位误差校正方法（Tan等人，2022年）来解决这个问题；对于由于非硬件原因导致的被测物体纹理跳变（在测量过程中反射率和灰度变化区域产生的相位误差），Li等人提出了一种通过循环相位移动来解决效果的方法，但这种去除方法只是简单地删除了这部分相位，并没有真正解决问题（Li等人，2024年）。由于物理模型在准确表示复杂场景方面的固有限制，纹理误差的补偿仍然是一个未解决且具有挑战性的问题。

虽然针对特定误差通常有定制的解决方案，但工业测量经常涉及多个误差源和复杂物体，因此进行准确的绝对相位校正是一个重大挑战。目前，基于深度学习的光学计量学提供了一种“数据驱动”的方法，为许多难题提供了改进的解决方案，例如单帧高精度3D重建（Feng等人，2019年）、高反射率（Liu等人，2021年）、遮挡（Li等人，2024年）、噪声抑制（Lin等人，2020年3月；Spoorthi等人，2020年；Yan等人，2020年）、相位恢复（Zuo等人，2018年）、相位校正（Zuo等人，2022年）、误差补偿（Feng等人，2019年10月；Lv等人，2020年；Yang等人，2021年8月）等。然而，大多数基于深度学习的光学计量学研究集中在使用数据驱动和网络模型来减少投影帧数上。要实现超越传统物理模型的精度是具有挑战性的，因为这些模型提供了真实的参考值。为了同时解决复杂工业场景中的多种相位误差问题（纹理、过度曝光、非线性、多物体场景），本文利用了光滑表面和平面表面相位分布连续性的原理（Zhang，2021年），并设计了一个适用于单物体场景的SEC模型，但该模型只能校正单个连续表面或平面。在相位展开任务中，深度学习可以利用特征提取和多尺度信息融合来进行相位展开，确保网络的性能不受多个物体或单物体场景的影响。受此启发，本文进一步利用深度学习策略将模型的能力推广到多物体场景的相位校正过程中，这些场景用传统物理模型难以定义（Li等人，2024年）。

本文的主要贡献和创新如下：

1.

单物体多误差源校正的物理模型：该模型为单个物体上的多源相位误差提供了一个物理框架。它计算具有纹理信息和光滑连续表面的标准平面的绝对相位，并通过纵向和横向曲线拟合绝对相位以获得真实相位和相位误差，从而检测误差的影响。然而，该模型的局限性在于仅适用于单个光滑平面或表面。

2.

真实的多误差校正数据集：基于SEC，我们建立了第一个受硬件非线性、饱和度、欠曝光和纹理波动影响的光相位误差校正数据集（MED-SL3D）。该数据集以背景光强度、调制系数和测量场景的条纹信息作为输入，相位误差作为真实值。数据集共包含570组数据，其中训练集包含400组单物体场景，验证集包含50组单物体场景。测试集分为两部分：一部分包含50组单物体测试数据，另一部分是包含70多组双物体和复杂物体的通用测试数据。

3.

超越物理模型的深度学习多误差源校正策略：基于MED-SL3D的训练，网络学习了来自多个误差源的相位误差，并利用其对多个孤立物体场景的不可区分识别能力来预测SEC无法实现的多物体场景中的相位误差。此外，通过端到端回归预测网络，它可以同时校正各种误差。MEC是首个在精度上超越现有物理模型的深度学习策略。在网络之前未遇到的真实工件上的实验结果表明了该方法的高精度和广泛的泛化能力。

4.

为了推进这一领域的发展，我们选择了成熟的ResNet-34-UNet回归网络进行相位误差预测，因为它既可复制，又有潜力被其他研究人员进一步改进。数据集和代码将很快发布。

章节摘录

系统和方法

系统设置

图1显示了系统硬件和算法流程，系统包括一个分辨率为1280×720像素的白光LED投影仪和一个分辨率为1280×1024像素的相机，相机的焦距为16毫米，扫描仪的工作距离为500毫米，投影仪的帧率为60 fps，相机的帧率最高可达170 fps。投影仪将三频率、六步、18帧的正弦编码图像投射到

MEC策略的实验结果

本节通过实验对网络误差校正和网络泛化能力进行了性能分析，使用了校准板平面、纹理陶瓷平面、标准金属量规块和金属工件。为了确保结果的可靠性和可重复性，本节中的所有实验都在与训练阶段相同的硬件、软件和网络超参数配置下进行。这些实验旨在评估

结论

在本文中，我们分析了相位误差的原因，并设计了一个适用于单物体场景的多误差校正物理模型。为了解决物理模型的局限性（只能校正单个连续光滑表面或平面），我们利用深度学习技术进行相位求解。这种方法利用了深度学习在特征提取和多尺度信息融合方面的能力，确保了网络在多物体和

CRediT作者贡献声明

黄浩珍：概念化、方法论、数据整理、软件开发、验证、撰写——原始草案。李一鸣：概念化、软件开发、撰写——原始草案、调查、可视化。张宗阳：调查、撰写——原始草案、撰写——审阅与编辑。梁晓军：撰写——审阅与编辑、概念化、监督。李星辉：撰写——审阅与编辑。宋丽梅：撰写——审阅与编辑、验证、资金获取。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本工作得到了国家自然科学基金 [编号：62573317]、天津市科技计划项目 [编号：24JCYBJC00450]、河北省创新能力提升计划 [编号：244A7629D]、广东省科技计划 [编号：2024B0101010003]的支持。