基于物理知识的混合U-Net架构，用于双发散结构光系统中的相位到高度重建

《Optics and Lasers in Engineering》：Physics-informed hybrid U-Net architecture for phase-to-height reconstruction in dual divergent structured-light systems

针对双投影发散光系统中非线性相位-高度映射的挑战，提出PIHUNN v4.2架构，结合多尺度特征提取、残差前激活块和SE注意力机制，设计混合损失函数（MSE+SSIM+梯度保真度+多尺度梯度+TV正则化+高度L2惩罚），有效约束物理限制，实验表明其RMSE=0.0565±0.0243、SSIM=0.996±0.004、PSNR=25.6±3.1 dB优于传统方法和深度学习基线。

　　

Jorge R. Parra-Michel | Emmanuel Ovalle-Magallanes | Enrique Aguilar-Vargas

墨西哥莱昂市La Salle Bajío大学工程与技术学院

摘要

在双投影发散系统中，基于结构光相位测量的三维表面重建面临诸多挑战，这些挑战源于非线性的相位-高度关系、空间变化的灵敏度以及深度依赖的几何失真。本文介绍了PIHUNN v4.2，这是一种基于物理知识的混合U-Net架构，旨在学习从包裹相位?_w到表面高度h的逆映射过程，同时遵循发散照明几何条件所施加的物理约束。该方法通过具有不同尺度的特征描述器（FDDS）模块实现多尺度特征提取，采用残差预激活块来稳定梯度传播，并利用挤压-激励（SE）注意力机制进行通道重新校准。混合损失函数结合了均方误差、结构相似性、梯度保真度、多尺度梯度一致性、总变分正则化和高度幅度惩罚，以确保光度和几何的一致性。梯度项通过从最小有效波长导出的物理界限2π/λ_min进行归一化，从而确保预测的表面不会违反光学约束。在包含4000对合成相位-高度数据集上的实验验证表明，PIHUNN v4.2的均方根误差（RMSE）为0.0565 ± 0.0243，结构相似性指数（SSIM）为0.996 ± 0.004，峰值信噪比（PSNR）为25.6 ± 3.1 dB，其性能优于多项式校准、立体三角测量以及包括U-Net和U-Net++在内的先进深度学习基线方法。在真实立体莫尔纹测量上的定性验证也证实了该网络对实际条件的泛化能力。

引言

基于结构光相位测量的三维（3D）表面重建是光学计量学中的基本任务，特别是在干涉测量、轮廓测量和立体莫尔纹系统中[1]、[2]、[3]。传统的相位-高度校准依赖于假设远心投影、线性相位-高度响应和对称极坐标几何的几何模型[4]。然而，在采用发散照明或双投影配置的实际系统中，这些假设不再成立，这会导致包裹相位?_w出现非线性失真，并降低重建高度图h的几何一致性[5]。 在发散结构光系统中，由于灵敏度不均匀、投影光线不对称以及深度依赖的尺度因子[6]，相位到高度的映射会变得空间变化[5]、[6]。此外，双投影配置加剧了这些非线性现象：每个投影仪都贡献了不同的相位-几何关系，使得分析校准变得不稳定或容易受到噪声影响[7]。因此，传统的多项式回归、立体三角测量公式和最小二乘拟合方法通常无法在狭窄的校准体积之外保持准确性[7]，而这正是本研究所采用的双发散投影配置的实验和几何基础。 深度学习的最新进展显著影响了光学计量学[8]，包括相位解包[9]、[10]和在几何约束下的结构光重建[11]。然而，大多数架构仅依赖于统计特征提取（例如U-Net、ResNet、MA-Net），缺乏明确的物理先验。这些网络倾向于过度平滑高梯度区域，在照明变化或灵敏度变化时失去拓扑一致性，并且在相位-高度关系非单调时泛化能力较差。基于物理知识的神经网络（PINNs）通过将物理约束嵌入损失函数部分解决了这些问题[12]、[13]、[14]，但单独使用PINNs在处理高维图像到图像的回归时仍面临挑战。 为了克服这些限制，我们提出了一种专为双投影发散结构光系统设计的基于物理知识的混合U-Net（PIHUNN v4.2）。与纯粹的数据驱动方法（如PhaseNet[15]、[16]）不同，该方法整合了：（i）通过具有不同尺度的特征描述器（FDDS）模块实现的多尺度特征提取；（ii）用于稳定深度表示的残差预激活块；（iii）用于通道重新校准的挤压-激励（SE）注意力机制；以及（iv）一种结合光度保真度、几何一致性、梯度连贯性和总变分正则化的混合损失函数。第3节中推导出的物理梯度界限确保预测的表面h^遵循由最小有效波长确定的最大允许相位梯度。 本工作的贡献有三个方面：

1. 我们提出了一种针对双投影发散系统的基于物理知识的架构，将几何约束纳入学习过程。
2. 我们开发了一种混合感知-物理损失函数（MSE + SSIM + 梯度保真度 + 多尺度梯度 + TV + L_2高度惩罚），该函数在噪声和配置变化下保持细节的同时确保稳定性。
3. 我们证明了PIHUNN v4.2在所有评估数据集上的性能均优于传统校准模型和深度学习基线方法，提高了RMSE、SSIM和PSNR。这些结果更新并扩展了表2中的比较分析。
4. 我们还进行了鲁棒性研究，证明即使条纹周期变化三倍，物理归一化的梯度项也能稳定重建结果，而无需重新训练网络。

与主要关注相位解包或去噪的先前基于学习的方法不同，所提出的PIHUNN框架针对的是在强发散投影下的逆相位到高度映射问题，其中分析校准变得高度非线性且空间变化显著。通过将物理驱动的梯度约束嵌入学习目标，PIHUNN有效地用一种数据高效、符合物理规律的校准策略替代了传统的相位到高度校准方法。这使得在不同深度和几何条件下实现稳健的表面重建，而无需每次设置时都进行重新校准。 本文的其余部分安排如下：第2节回顾了基于相位的计量学和基于学习的重建的相关工作；第3节阐述了双投影系统中非线性相位-高度关系；第4节描述了所提出的PIHUNN架构和基于物理知识的混合损失函数；第5节详细介绍了数据集和训练协议；第6节展示了定量和定性结果；第7节讨论了应用场景和实际考虑因素；最后第8节总结了本文。

相关工作

基于相位的3D重建研究主要分为两个方向：从光学几何学派生的分析校准方法和旨在近似包裹相位?_w到高度h的非线性映射的学习基线方法[1]、[2]、[3]。早期的结构光和干涉测量模型[5]、[6]假设远心投影、均匀灵敏度和对称的射线几何，这些条件简化了三角测量方程，产生了相位和表面之间的准线性映射

双发散投影的物理模型

基于结构光干涉测量的三维重建依赖于表面高度h(x, y)与观测到的包裹相位?_w(x, y)之间的正向映射。在采用发散照明的双投影系统中，这种映射变得非线性、空间变化且对几何扰动敏感[5]。与远心或准直配置不同，每个投影仪发出的光线具有不同的发散角和基线距离，从而导致深度依赖的条纹

提出的方法

物理知识混合U-Net（PIHUNN v4.2）旨在近似双发散结构光系统中由于深度依赖的灵敏度、非线性射线几何以及第3节中描述的物理约束而产生的相位到高度的非线性映射

实验

本节描述了用于验证PIHUNN v4.2的数据集、训练协议、参考方法和评估指标。所有实验均使用第3节中介绍的几何模型生成的双投影发散结构光模拟数据集进行。 在网络推理之前，包裹相位?_w使用传统的空间相位解包算法转换为绝对相位图?_abs

结果

本节展示了在双投影模型下生成的4000对合成相位-高度数据集上对PIHUNN v4.2的实验验证结果。所有指标均在归一化的高度范围[0,1]内计算，以便在不同深度范围的样本之间进行公平比较。首先，第6.1节报告了与基线方法的定量比较；第6.2节分析了训练动态；第6.3节提供了消融研究

应用场景讨论

所提出的PIHUNN框架的适用性取决于光学配置和测量表面的特性。就表面地形而言，该方法本质上对平滑和中等不连续的几何形状具有鲁棒性，因为基于物理知识的损失函数明确约束了相位梯度并抑制了非物理的高度过渡

结论

本文提出了PIHUNN v4.2，这是一种用于双投影发散结构光系统中相位到高度重建的基于物理知识的混合U-Net架构。该方法通过将物理约束直接集成到网络架构和损失函数中，解决了分析校准方法和纯粹数据驱动的深度学习模型的根本局限性。 从更广泛的角度来看，PIHUNN证明了基于物理知识的正则化方法的有效性

人工智能辅助工具声明

作者声明，在手稿准备过程中仅使用了人工智能工具作为辅助工具。具体来说，基于AI的系统被用于协助LaTeX代码格式化、将手稿翻译成英文、纠正拼写和语法错误，以及在起草和修订阶段组织思路。

作者声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。该研究是独立进行的，没有外部商业机构的参与。本研究未从公共、商业或非营利部门的资助机构获得任何特定资助。所有实验设备、实验室设施和计算资源均由作者所在机构提供

CRediT作者贡献声明

Jorge R. Parra-Michel：撰写——原始草稿、可视化、验证、监督、软件、项目管理、方法论、资金获取、形式分析、数据管理、概念化。 Emmanuel Ovalle-Magallanes：撰写——审阅与编辑、可视化、验证、软件。 Enrique Aguilar-Vargas：撰写——审阅与编辑、可视化、验证、软件、形式分析。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。 本研究未从公共、商业或非营利部门的资助机构获得任何特定资助。所有实验设备和计算资源均由作者所在机构提供。

致谢

作者感谢La Salle Bajío大学在工程与技术学院提供的机构支持和光学计量实验室设施的使用权。大学提供的计算资源和实验设备对于所提出方法的发展和验证至关重要。 本研究得到了Santander-FIMPES研究资助计划的财务支持，该计划由Federación de Instituciones管理