LPT-Former：用于3D点云补全的局部点变换器

《Journal of Visual Communication and Image Representation》：LPT-Former: Local-Point Transformer for 3D point cloud completion

针对大规模结构缺失导致点云补全精度受限的问题，提出LPT-Former框架。该架构采用局部特征提取器与全局形状解码器双分支设计，结合创新特征交互模块实现动态局部-全局特征融合，有效解决Transformer模型中全局注意力机制导致的细节模糊问题。实验表明，该方法在PCN、Completion3D和KITTI等数据集上达到最优补全性能，并验证了各组件的有效性。

　　

文阳|张忠荣|张云云|郑向翔|冉子轩

兰州交通大学数学与物理学院，中国甘肃省兰州市安宁西路88号，730070

摘要

点云补全是3D视觉中的一个关键任务。然而，由于点云本身的无序性和不规则性，现有的主流方法在缺少大规模结构组件时难以恢复物体的表面细节，从而限制了补全精度的进一步提高。为了解决这个问题，我们提出了LPT-Former——一种基于局部点变换器（Local Point Transformer）的渐进式补全架构。该模型采用双分支解码器进行局部细节恢复和全局形状重建。此外，它还引入了一种新颖的特征交互模块（Feature Interaction Module），该模块能够将局部几何信息自适应地整合到全局形状中，实现动态的局部-全局特征融合，从而实现高保真的补全效果。在PCN、Completion3D和KITTI等多个具有挑战性的基准数据集上的实验结果表明，所提出的网络模型在定量评估中取得了有竞争力的补全性能。进一步的消融研究结果进一步验证了网络架构中每个组件的有效性。

引言

3D数据作为计算机视觉中的一个关键研究领域受到了广泛关注。在各种3D表示方法中，点云因其结构简单、易于处理以及能够准确描述几何形状而被广泛采用[1]、[2]。点云在各个领域的应用日益增多，这得益于3D扫描仪和深度相机等可访问采样技术的普及。它们的应用范围非常广泛，包括自动驾驶[3]、[4]、道路基础设施管理[5]、文化遗产保护[6]、[7]以及精密工业检测[8]、[9]。

然而，现实世界的3D数据，尤其是由激光雷达和类似传感器捕获的点云，往往是不完整的，并且受到噪声的影响。遮挡和有限的视角等问题经常导致大量区域缺失，这严重限制了它们的实际用途。因此，点云补全已成为一个重要的研究问题，旨在从部分输入数据中重建完整且高保真的3D形状。这项任务的核心难点在于点集的非结构化和排列不变性，这对计算模型的表达能力提出了很高的要求[10]。

得益于深度学习的进步，点云补全领域取得了显著进展。PCN[11]首次直接对原始点云进行操作，采用了受FoldingNet[12]启发的折叠式细化策略，将2D网格转换为详细的3D点云。此后，许多方法采用了从粗到细的编码器-解码器框架。这些方法将部分输入编码为全局特征向量，然后解码为表示整体形状的粗略点云，再进一步细化为详细结构。早期的方法通常使用PointNet[13]和PointNet++[14]作为特征提取的骨干网络，采用多层感知器来构建全局特征。然而，这些架构中的池化操作往往会丢失精细的局部几何细节。随着DGCNN[15]的引入，研究人员越来越多地采用边缘卷积来显式建模局部几何关系。这种技术有助于动态适应缺失区域，并改善复杂形状的重建效果。后续的工作NSFA[16]进一步提出了一种分离的特征聚合策略，为已知部分和缺失部分设计了特定的特征表示，从而增强了细节保留能力。CRA-PCN[17]引入了跨分辨率变换器，通过递归设计实现了层间和层内特征融合，为从粗到细的框架提供了更精细的特征聚合方案。

随着研究的深入，为了更好地处理点云补全中的复杂挑战，研究人员开始将变换器架构引入这一领域。为了更有效地捕捉局部区域之间的结构模式和长距离依赖性，PoinTr[18]成为第一个将变换器架构引入点云补全的工作。SeedFormer[19]进一步将种子特征集成到PoinTr的生成流程中，并优化了生成的表示。FBNet[20]提出了一种反馈机制，重新利用高级信息来指导低级特征学习，并使用跨阶段变换器连接不同阶段的特征。SnowflakeNet[21]专注于解码器设计，通过跳跃连接结合了多级空间关系。PointAttN[22]引入了一种完全基于MLP和注意力机制的编码器-解码器架构，能够显式捕获局部几何信息。

基于变换器的补全方法最近取得了进一步的发展，例如TNT-Net++[23]采用了“变换器中的变换器”设计进行分层特征学习，以及CenFormer[24]通过质心生成来指导补全过程。

在这些主流方法中，变换器的注意力机制在模拟点云中的结构模式方面显示出了明显的优势。然而，该领域仍面临一些挑战，包括平衡计算成本和模型容量、有效整合局部和全局特征，以及确保模型在真实世界扫描数据上的泛化能力。尽管零样本补全框架（如GenPC[25]和NSDS[26]为真实世界扫描数据的泛化提供了新的范式，但在细节保真度方面仍有改进空间。

为了解决这些挑战，我们提出了一种名为LPT-Former的新点云补全方法。它采用了一种从粗到细的渐进式编码器-解码器架构。整体结构如图1所示，包括四个关键模块：局部特征提取器、全局形状提取器、用于生成粗略点云的种子生成器以及用于细节增强的点细化器。在捕获全局形状特征方面，我们的解码器借鉴了PointAttN[22]的设计，结合了其几何细节感知模块和自增强注意力模块，并更新了交叉注意力机制的配置。此外，我们还引入了边缘卷积，并设计了一个专门的局部特征提取模块来保留局部几何信息，为3D形状的恢复提供了更精细的支持。在细化阶段，我们提出了一种新颖的特征交互模块，旨在逐步增强粗略点云。该模块使局部细节与全局几何形状对齐，有效防止了不一致性，并生成了高保真的结果。在多个基准数据集上的实验确认了所提出方法的先进性能。

本研究的主要贡献总结如下：

• •
  我们提出了LPT-Former——一种创新的点云补全框架，其核心创新在于其双分支特征提取和融合模块。局部特征提取通过高效的堆叠边缘卷积结构实现，与全局形状特征无缝集成。这种设计增强了结构连续性，并有效缓解了基于变换器的补全模型中由全局注意力机制引起的细节模糊问题。
• •
  我们设计了一个特征交互模块（FIM），以促进局部和全局特征之间的跨域交互和特征增强。FIM通过渐进式残差细化确保特征对齐的精确性，平衡了全局和局部信息的贡献，并动态适应不同的空间尺度。
• •
  在合成数据和真实世界数据集上的评估表明，我们的方法取得了优越的性能。

相关工作

相关研究

点云补全的主要目标是从部分观测数据中重建完整且详细的3D形状。深度神经网络已广泛采用编码器-解码器架构来完成这项任务，但有效捕捉复杂的拓扑结构和精细的几何细节仍然是一个基本挑战。

早期研究通常将无序的点云转换为规则的体素网格，以利用3D卷积进行特征提取。这方面的代表性工作包括

提出的方法

所提出的LPT-Former的总体框架如图1所示。该架构遵循传统的点云补全编码器-解码器结构，包括四个主要模块：用于形状编码的特征提取器、用于局部特征表示的编码器、用于逐步生成完整形状的种子生成器，以及基于变换器的解码器。受PointAttN的启发，我们的模型继承了其特征提取器的优点。然而，由于PointAttN缺乏

数据集和实验设置

为了评估LPT-Former的有效性，我们在多个具有挑战性的基准数据集上进行了全面实验，包括PCN[11]、Completion3D[33]和KITTI[52]。为了公平比较，训练和测试过程遵循了每个数据集的通用协议。该框架使用Python和PyTorch实现，并在NVIDIA 3090 GPU上进行了训练。训练过程中采用了Adam优化器，总共进行了400个训练周期。初始学习率设置为1E-4

结论

针对点云补全任务中的核心挑战——即恢复几何细节的难度限制了补全精度的进一步提高，本文提出了一种名为LPT-Former的新网络架构。该方法的一个关键创新是引入了局部特征提取分支，该分支能够有效捕获点云细粒度区域中的潜在结构特征。为了生成具有更丰富细节的完整点云

CRediT作者贡献声明

文阳：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，方法论。张忠荣：撰写 – 审稿与编辑，资源获取，方法论，资金申请，概念化。张云云：撰写 – 审稿与编辑，验证。郑向翔：撰写 – 审稿与编辑。冉子轩：撰写 – 审稿与编辑。

资助

本研究得到了甘肃省科学技术计划（24YFFA055）和甘肃省中央政府引导的地方科学技术发展基金项目（25ZYJA039）的资助。APC由甘肃省关键人才项目资助：“在‘东数据，西计算’背景下研究后量子数据加密传输机制”。

伦理批准和参与同意

本文不包含任何涉及人类参与者或动物的研究。因此，不需要签署知情同意书。

代码可用性

我们计划发布数据预处理脚本和评估工具以支持可重复性。完整的训练代码将在收到请求后提供。

利益冲突声明

所有作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。

致谢

我们衷心感谢我们的导师在整个研究过程中提供的细致指导和宝贵建议。同时，我们也感谢合作者在模型设计和实验调试方面的支持和帮助。此外，我们还要感谢甘肃省计算中心提供的计算资源和技术支持。本研究的大部分计算工作是在该中心完成的，该中心发挥了重要作用