《Optics & Laser Technology》：Point cloud integrity enhancement via polarization-structure perception and trend-guided restoration
编辑推荐：
点云完整性增强方法通过极化引导结合结构感知与趋势约束恢复，有效消除背景噪声、外阴影及自遮挡导致的点云缺失，利用多角度极化成像计算极化度与角度，增强物体区域提取精度，并采用形态学固体性与局部纹理方差区分自影与结构孔，结合全局二次曲面拟合与局部趋势引导拉普拉斯模型修复缺失相位数据，实验验证其相比传统阈值分割与插值方法具有更优的物体背景分离效果与点云重建质量。
Zhenmin Zhu|Shuai Huang|Chaozhi Huang|Junxin Xu|Xianen Zhou
华东交通大学电气与电子工程学院，中国南昌330013
摘要
结构光3D测量经常由于背景干扰、物体外部阴影和自我遮挡导致点云不完整或变形。为了解决这些问题，我们提出了一种基于偏振的算法，该方法结合了结构感知和趋势约束来增强点云的完整性。通过从多个角度捕获的偏振图像计算线偏振的程度和角度，结合梯度和边缘线索，可以有效地提取物体区域并抑制无效的背景点。利用形态学连通性和局部纹理方差进一步识别自阴影区域。然后采用结构-趋势引导的拉普拉斯模型来恢复缺失的相位数据，确保表面重建既平滑又具有结构连贯性。对不同材料的物体进行的实验表明，与传统的阈值处理和插值技术相比，所提出的方法能够实现更准确的物体-背景分离和更好的恢复质量。该方法为无效点的抑制和自阴影的恢复提供了可靠的解决方案，有助于在复杂测量环境中获得高保真的点云重建。
引言
典型的条纹投影轮廓测量（FPP）由一个相机和一个投影仪组成。由于操作简单、测量速度快且精度高，它们被广泛应用于工业检测、逆向工程、面部识别和机器人视觉[1]、[2]、[3]、[4]、[5]。目前，DFP主要包括两种方法：傅里叶变换轮廓测量（FTP）[6]、[7]和相位测量轮廓测量（PMP）[8]、[9]。然而，由于投影仪和相机等光学成像结构的固有限制以及成像噪声的影响，条纹图案在阴影和背景区域不可避免地包含无效点[10]、[11]。此外，由于DFP基于三角测量原理的立体视觉系统[12]，投影仪和相机的观察角度不同。与立体视觉系统一样，由被测物体上的凸起引起的阴影难以消除[13]。因此，当相机捕获带有自阴影的条纹图像时，会引入相位误差。即使经过时间相位解包裹（TPU）[14]处理，这些由自阴影引起的误差仍然存在，导致最终点云中出现空洞或不连续性。因此，为了提高重建点云的数据质量，有必要识别并移除与被测物体外部区域对应的像素。同时，也必须恢复由于物体自阴影而缺失的点云。
Huang等人[15]通过使用调制值来识别背景、阴影和噪声点云，并应用手动选择的阈值来分离背景和阴影区域。Zhang等人[16]用调制直方图替换了传统的灰度直方图，改进了Otsu方法，实现了自适应阈值确定，以去除背景和阴影点云。然而，这种方法偏向于方差较大的类别，并且对测量物体的方差敏感。Wang等人[17]使用K均值聚类进行区域分割；但是，这种方法需要遍历整个图像计算每个像素到多个簇中心的距离，并且需要多次迭代才能收敛。此外，它对簇中心的初始化敏感，通常需要多次执行才能获得稳定的结果。因此，总体计算成本较高，不适合具有严格实时要求的三维测量场景。Zhu等人[18]引入了高斯加权欧几里得距离来量化误差能量，并扩大了有效点和无效点之间的差异。然而，在误差能量分布相似的区域，可能会发生误分类，该方法容易受到复杂照明或噪声的影响。Li等人[19]使用陶瓷白板作为测量背景，并将条纹图案分别投影到背景和物体表面。通过计算两次实验中解包裹的绝对相位图的差异，可以消除背景和阴影区域。然而，这种方法增加了采集时间和成本，其有效性依赖于背景和物体之间的亮度差异最小。对于低反射率的物体，亮度差异可能可以忽略不计，导致方法失效。Luo等人[20]应用卷积神经网络（CNN）对条纹图像进行语义分割以去除阴影点，并结合双边滤波来细化边缘区域。这种方法需要大量的标注训练数据，推理过程计算量大，限制了实时性能。在恢复缺失数据方面，Zhang等人[21]提出了一种使用高斯滤波的孔洞检测和填充方法。然而，平滑效果模糊了重建点云中的物体细节。Chen[22]移除了所有无效的相位点，并应用二维线性插值来获得最终的相位图。这些方法通过均匀平滑自阴影区域引入了额外的相位误差。Servin[23]尝试通过将物体放置在旋转台上并在旋转过程中投影条纹图像来减少阴影，但这种方法需要额外的设备，效率低，且对复杂物体无效。Sun等人[24]提出了一种基于邻域信息融合的相位估计（NIFPE）方法，通过结合卡尔曼滤波和核密度估计来恢复自阴影区域。然而，物体表面的深度结构孔洞经常被错误地分类为自阴影并错误地恢复，导致额外的误差。
为了克服传统方法在去除无效点云和恢复自阴影区域方面的不足，本文提出了一种基于偏振-结构感知和趋势引导的点云完整性增强方法。该方法不需要额外的辅助设备，从而避免了额外设备引入的系统误差。首先，投影纯绿光，并使用偏振相机捕获四个不同偏振角度的图像。从这些图像中计算线偏振程度（DoLP）和线偏振角度（AoLP）图。根据被测物体、背景和阴影之间的偏振差异，应用Otsu方法自适应选择阈值以提取物体。为了防止物体边界的丢失，引入了AoLP梯度和Sobel边缘检测来保持边缘的完整性，并相应地生成被测物体的掩膜。接下来，使用四步相位移动方法和互补格雷码来获取相位图。通过识别被物体包围的相位值极低的区域（0，突变跳变）来检测自阴影区域，并通过应用局部方差和连通性约束进一步区分这些区域与结构孔洞。然后使用全局二次表面拟合和局部趋势引导的拉普拉斯恢复模型来恢复这些自阴影区域。最后，通过应用生成的物体掩膜，移除背景和阴影区域中的无效点，从而实现点云完整性的恢复。
所提出的方法有效地消除了基于FPP的3D重建中背景和物体外部阴影中的冗余点云，确保只有被测物体保留下来。同时，成功恢复了由于复杂遮挡而在自阴影区域中缺失的点云。因此，获得了高质量的图像，提高了重建点云的完整性和准确性，使它们更加连续和结构自然。这为在具有挑战性的场景中对复杂物体进行高质量3D重建提供了新的视角。
本文的其余部分组织如下：第2节介绍理论背景和提出的方法。第3节描述实验验证。第4节总结潜在的应用和未来的改进。
实验片段
原理
为了解决结构光三维重建中物体外部区域出现的大量无效点，以及由于自阴影导致物体表面点云缺失的问题，提出了一种结合偏振特性和结构趋势建模的集成方法，用于去除无效点和恢复点云，如图1所示。整个工作流程包括三个主要阶段：
首先，计算DoLP和AoLP
实验
为了验证所提出方法的有效性，我们构建了一个三维测量系统，如图4所示。该系统由一个偏振相机、一个投影仪和被测物体组成。投影仪是EPSON制造的LCD投影仪（CB-FH52），分辨率为1920 × 1080。偏振相机是FLIR生产的CMOS偏振相机（BFS-U3-51S5P-C），分辨率为2448 × 2048，以及同样来自FLIR的匹配镜头（HC1605）。
结论
本研究提出了一种基于偏振-结构感知和趋势引导的点云完整性增强方法，用于处理背景和物体外部阴影中的无效点，以及结构光3D重建中由于自阴影导致的表面形状损失。与传统的基于阈值处理或插值的方法不同，所提出的方法利用偏振特性和结构趋势约束来实现准确的物体提取
CRediT作者贡献声明
Zhenmin Zhu：撰写——原始草稿。Shuai Huang：撰写——审阅与编辑。Chaozhi Huang：指导。Junxin Xu：软件开发。Xianen Zhou：数据管理。
利益冲突声明
作者声明他们没有已知的可能影响本文工作的财务利益或个人关系。
致谢
本文得到了江西省重点研发计划（编号：20232BBE50012）、赣州市重点研发计划项目（编号：2023PYZ17872）、赣州人才 - 创新高端人才（自然科学 - 青年）（编号：GPYC2024002）、江西省自然科学基金联合重点项目（编号：20244BAB28003）和江西省重点研发计划（编号：20252BCE310007）的支持。
