DFPPNet：利用FPP方法实现动态物体的3D形状重建，且不会出现运动引起的误差

《Optics & Laser Technology》：DFPPNet: 3D shape reconstruction of dynamic object via FPP method without motion-induced error

动态投影相位测量（DFPPNet）提出了一种端到端网络，集成多阶段渐进图像重建架构、特征对齐模块（FAM）和频域多尺度卷积模块（MWCNN），有效校正平移运动误差，并构建首个公开的动态FPP数据集。实验表明，在31毫米深度涡轮叶片上，MAE从0.606毫米降至0.078毫米，显著提升复杂表面的重建精度。

　　

张青斌|王连波

中国西安西北工业大学软件学院，710072

摘要

条纹投影轮廓测量（FPP）因其非接触式和高精度优势而在工业检测中得到广泛应用。然而，传统的FPP假设场景是静态的，在动态环境中会受到运动引起的误差影响。现有的解决方案要么依赖于强烈的运动假设，要么仅关注中间阶段（如相位校正），缺乏端到端的建模，在复杂表面上表现不佳。为了解决这些限制，我们提出了DFPPNet，这是一个专为工业生产线场景中的动态FPP设计的端到端网络。DFPPNet以4步相位移动的多帧变形条纹图像为输入，直接输出精确的深度图，同时有效校正运动误差。它基于多阶段MPRNet框架构建，并结合了特征对齐模块，在特征层面提取和对齐运动特征，从而增强了对帧间运动的鲁棒性。进一步引入了MWCNN模块，在频域进行多尺度特征提取，提高了全局几何形状和边缘细节的重建质量。此外，我们构建了首个公开的动态FPP数据集，并在模拟和真实世界场景中验证了DFPPNet的性能。实验结果表明，与传统4步相位移动方法相比，DFPPNet将31毫米深涡轮机的平均绝对误差从0.606毫米降低到了0.078毫米，显著提高了动态条件下的重建精度。

引言

条纹投影轮廓测量（FPP）是一种常用的3D重建方法，具有非接触操作、高分辨率和精确测量的优势，在工业测量[1]、缺陷检测[2]、逆向工程[3]等领域有广泛的应用。FPP系统包括一个将条纹图案投影到物体表面的投影仪，以及一个从不同角度记录变形条纹图案的相机。然后通过相位恢复[4]和相位展开[5]获得每个像素的相位值。随后，可以使用相位高度方法[6]或光学三角测量方法[7]重建物体的3D形状。通常，相位恢复和相位展开需要捕获多帧条纹图像，这要求被测物体保持静止，否则可能会出现运动误差。在实际的工业生产线检测场景中，很难满足静态测量的条件，从而导致运动引起的相位误差，降低测量精度。尽管已经开发了一些基于变换的相位恢复方法（例如傅里叶变换轮廓测量（FTP）[8]）和空间展开技术[9]，能够仅使用单帧条纹图像进行3D物体重建，但这些方法在处理不连续物体或复杂几何形状时表现不佳，限制了其在工业检测中的应用。因此，在FPP领域，迫切需要一种能够在动态条件下准确高效地重建3D物体形状的高精度方法，特别是在工业生产线上的平面内运动情况下，以提高检测效率和精度。

传统的动态物体FPP运动误差消除方法主要分为三类：基于物体跟踪的方法[10]、[11]、[12]、[13]、[14]，结合FTP的方法[15]、[16]、[17]，以及基于运动预测的方法[18]、[19]、[20]、[21]、[22]。经典的基于物体跟踪的方法包括手动放置的标记[10]、特征点跟踪[11]、彩色条纹标记[12]、光流[13]和复合光栅图像跟踪[14]。然而，这些方法大多依赖于物体在平面内均匀或线性的运动假设，在非均匀运动下的性能会下降。结合FTP的方法包括使用FTP计算点云并对齐它们[15]，以及通过FTP校正错误的相位估计[16]、[17]。大多数结合FTP的方法可以处理3D运动，但由于FTP算法对噪声和表面变化的敏感性，在复杂场景中的精度有限。基于运动预测的方法包括使用速度[18]或坐标变化[19]预测物体运动，计算单应性矩阵[20]、二值散焦机制[21]和多相位图估计来校正运动误差[22]。这些方法能够处理3D运动，但在非均匀运动或无法提前获得精确运动信息的情况下性能会下降。此外，一些方法使用希尔伯特变换[23]和平均相位[24]等技术来抑制运动误差，尽管这些方法在物体边缘重建方面的表现不佳。

随着深度学习技术的进步，其在FPP不同方面的应用变得广泛，包括相位恢复[25]、相位展开[26]、单次拍摄FPP[27]等。其中，基于深度学习的单次拍摄FPP方法仅需要单帧条纹图像即可重建3D物体，从而自然避免了运动误差[27]。然而，单次拍摄FPP是一个病态问题，在处理复杂物体时仍存在精度不足的问题[28]。

在过去几年中，利用深度学习的运动误差消除技术已经进行了初步研究。苏等人[29]通过随机插值模拟了带有运动误差的绝对相位，并使用U-Net网络来建模错误相位和正确相位之间的非线性关系。谭等人[30]提出了类似的方法，但引入了条纹补偿模块来减少相位不连续性。然而，这两种方法都需要额外的计算来利用参考条纹图像生成深度图。李等人[31]提出了一个以3步相位移动条纹图像为输入、以相位展开为输出的三流网络。然而，它仅在相位恢复阶段消除运动误差，在相位展开阶段仍然会引入误差。这些方法通常使用带有误差的绝对相位或变形条纹图像作为输入，输出绝对相位或展开相位，没有实现从条纹图案到深度图的端到端输出。

为了解决上述问题，我们提出了动态FPP网络（DFPPNet），这是一个为工业生产线检测场景设计的基于深度学习的框架。通过利用多帧变形条纹图像，DFPPNet实现了物体的端到端3D重建，并有效消除了由平面内运动引起的相位误差。本工作重点关注工业环境中最常见的运动类型，即均匀和非均匀的平面内运动，提供了一个实用、结构简单且高度可靠的解决方案。DFPPNet的框架是多阶段渐进式图像恢复架构（MPRNet）[32]，其多阶段迭代结构和出色的特征融合机制有助于充分利用多帧图像的信息并逐步消除运动误差。考虑到运动误差来源于物体在不同帧间的运动，我们引入了特征对齐模块（FAM）[33]在特征层面对齐物体并精确提取运动信息。此外，受FTP方法的启发，我们采用了基于多级小波变换的多级小波CNN（MWCNN）[34]从条纹图像中提取频域信息，可以有效保留物体的全局形状和边缘细节。为了提供足够的数据集，我们使用3ds Max软件生成了一个虚拟数据集。据我们所知，这是第一个公开可用的动态物体FPP重建数据集。总之，本文做出了以下贡献：

本文提出了DFPPNet，这是一个专为动态物体设计的端到端3D重建框架，特别适用于工业生产线检测。我们使用FAM在特征层面提取运动信息，有效消除了运动误差。此外，我们引入了MWCNN在频域提取多尺度特征，确保了物体全局形状的重建，同时保留了边缘细节。

构建了一个适合4步PSP动态物体重建的数据集，包含840个数据集。每个数据集由4张变形条纹图像和1张对应的相位差图组成，每张图像的大小为960×960像素。

进行了仿真和物理实验，结果表明DFPPNet的性能优于传统的4步PSP [9]、基于HTC变换补偿的方法[23]、MEC-4PS [24]以及当前最先进的单次拍摄FPP方法DCAHINet [27]。

章节片段

FPP原理和运动误差分析

经典的FPP系统包括一个投影仪和一个相机，投影仪将具有不同频率和相位移动的多个条纹图案投影到物体上，然后相机捕获由深度信息调制的变形条纹图像，如图1(a)所示。以最常用的4步PSP为例，变形条纹图像可以表示为：${\Phi }_{\mathrm{GT}}x,y+{\delta }_n$

在(7)中，f_i（i = 1,2,3,4）表示4步PSP中的第i帧条纹图像，p表示输出相位差。获得相位差后，可以通过

实验

在本节中，我们首先通过消融实验评估了所提出的FAM和MWCNN的性能。然后，为了突出所提出方法相对于现有方法的优势，我们将其与经典的4步PSP [9]、HTC方法[23]、MEC-4PS [24]以及基于深度学习的最新单次拍摄方法DCAHINet [27]进行了比较。最后，我们进行了物理实验以验证其实用性和泛化能力

结论

在这项工作中，我们提出了DFPPNet，这是一个旨在解决FPP中运动引起的误差的端到端网络，特别是用于工业生产线检测。通过采用多分支架构和迭代细化，DFPPNet逐步抑制了各阶段的运动误差。FAM在特征层面有效提取和对齐运动特征，而MWCNN执行多尺度频域特征提取，提高了全局形状的重建质量

资助

本工作得到了国家自然科学基金（12302245）、广东省基础与应用基础研究基金（2022A1515110036）和西安市科学技术协会青年人才基金（0959202513091）的支持。

CRediT作者贡献声明

张青斌：撰写——原始草稿、可视化、验证、软件、资源、方法论、调查、形式分析、数据整理。王连波：撰写——审稿与编辑、监督、项目管理、资金获取、概念构思。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。