编辑推荐：
点云上采样技术通过深度学习方法解决稀疏输入到密集均匀分布的转化问题，重点分析监督与无监督框架的算法创新及噪声鲁棒性，提出未来研究方向。
尹一航|李宇|周伟|蒙塞夫·加布乌杰
南京信息科技大学软件学院，中国江苏省南京市宁柳路219号，210044
摘要
点云上采样已成为3D计算机视觉中的关键技术，它解决了从稀疏输入数据重建密集、均匀点分布的基本需求，适用于从自动驾驶系统到数字内容创建等各种应用。本文全面回顾了基于深度学习的点云上采样算法。我们系统地将现有方法分为监督学习和无监督学习框架，讨论了代表性架构并分析了它们的核心设计。一个关键贡献在于我们对最先进方法进行了系统的实验比较，特别强调了它们的抗噪声能力，这是实际应用中至关重要但之前研究较少涉及的方面。通过综合方法创新和实证评估的见解，本综述为在特定应用约束下选择算法提供了指导，并指出了未来需要解决的问题。
引言
三维（3D）点云由表示空间坐标和属性的离散点组成，已成为现代感知系统的基石。它们的应用范围包括自动驾驶（例如基于LiDAR的环境建模）、3D重建（例如城市规划的数字孪生）和机器人技术（例如在非结构化环境中的物体操作）[1]、[2]、[3]、[4]、[5]、[6]，为许多实际应用提供了基础数据来源。然而，由于技术限制和硬件约束，通过3D传感器获取的点云通常具有低分辨率、非均匀分布和噪声污染的特点。尽管传感器技术取得了快速进展，但在可预见的未来，获取高精度点云仍然是一项耗时且成本高昂的任务。这些挑战需要先进的上采样技术来生成保留几何细节的同时抑制噪声的密集、高保真表示，这对于语义分割和实时导航等下游任务至关重要。此外，由于传输带宽的限制，通过互联网传输的点云数据经常受到有损压缩的影响，导致进一步的质量下降。点云应用的高精度要求与实际获取数据的低质量之间的鲜明对比已成为阻碍点云技术发展的关键瓶颈。因此，通过上采样提高点云的精度和细节完整性已成为一个紧迫的研究课题。
点云上采样是指从稀疏、非均匀和噪声输入数据生成密集、完整且均匀分布的点云的过程。虽然上采样技术在2D图像和视频处理中已经取得了显著的成熟度，但点云与2D图像之间的固有差异带来了独特的挑战。点云上采样的研究在21世纪初开始受到关注。传统方法[7]、[8]，如移动最小二乘（MLS）和泊松盘采样，依赖于几何先验或迭代优化来提高点密度。然而，这些方法在处理大规模室外场景或恢复细节（如重建尖锐边缘或细小结构）时存在局限性。深度学习的出现，特别是PointNet[9]在处理无序点集方面的突破，激发了利用神经网络进行点云上采样任务的兴趣。像PU-Net[10]这样的开创性工作建立了第一个端到端的点云上采样框架，利用多尺度特征聚合从稀疏输入推断出密集的点分布。虽然早期的基于深度学习的方法与传统算法相比取得了令人印象深刻的进展，但仍存在一些挑战，包括对噪声的敏感性、无法进行任意倍数的放大上采样，以及如何平衡全局形状一致性和局部细节恢复。后续的研究人员在继承这些概念的同时，不断提出新的解决方案来克服这些困难。
本综述系统地回顾了基于深度学习的点云上采样的发展历程，重点关注架构创新和抗噪声能力。图1显示了点云上采样模型的发展时间线。与之前的点云上采样综述（例如[11]、[12]）不同，我们没有介绍相对过时的基于优化的上采样方法，而只关注基于深度学习的方法，并涵盖了过去两年的最新进展。此外，我们根据模型架构对引入的方法进行了详细的分类，并进行了各种定量和定性比较实验。最后，本文特别分析了抗噪声这一重要主题，并比较了最先进方法在噪声输入下的性能。
本文的结构如下：第2节全面概述了基于监督学习的方法，从开创性的PU-Net架构开始，然后分类讨论了后续的改进和扩展。第3节探讨了基于无监督学习的方法，强调了它们在多种应用场景中的增强泛化能力。第4节涵盖了为特定场景设计的模型，例如由V-PCC编码或通过LiDAR获取的点云。第5节概述了在点云上采样研究中广泛采用的基准数据集，并提供了代表性模型的定量性能比较。第6节进行了专门的抗噪声分析和对噪声数据集的实证评估，为在实际约束下选择方法提供了见解。最后，我们概述了该领域尚未解决的挑战，并提出了推进点云上采样技术进步的潜在研究方向（表1）。
部分摘录
基于监督学习的点云上采样
深度学习框架的出现为点云应用带来了革命性的变化，使得可以直接处理无序的3D坐标。2017年，Qi等人提出的PointNet网络[9]首次实现了对原始无序点云数据的直接处理，无需进行体素化或投影变换，从而保留了三维几何结构的完整性。这一范式的转变
基于无监督学习的点云上采样
通过损失驱动的优化建立从稀疏输入到密集输出的直接映射，监督方法在空间分布规范化和细节恢复方面表现出色。然而，它们依赖于合成的高密度真实标注，这带来了关键的限制：1）对于没有密集对应数据的实际扫描应用适用性有限；2）在处理跨领域数据分布时性能下降。
V-PCC编码的点云
基于视频的点云压缩（V-PCC）已成为一种高效的MPEG标准，用于压缩动态3D点云，这对于自动驾驶和VR/AR等应用至关重要。它通过将原始3D数据投影到多个2D平面上来实现这一点，然后使用HEVC等成熟的视频编解码器进行压缩。虽然压缩效果良好，但V-PCC解压缩后通常会产生稀疏、非均匀的点分布
数据集
点云应用的普及推动了多样化数据集的发展，这些数据集是算法开发和评估的关键基准。现代点云数据集在规模、质量、分辨率和场景复杂性方面存在显著差异，许多数据集可以通过适当的预处理适用于上采样研究。一些研究人员使用现有的3D仓库，如ShapeNet[98]和KITTI[77]，而其他人则构建了专门的数据集
点云采集中的噪声
在实际应用中，输入点云通常包含各种类型的噪声，这可能导致上采样结果失真、局部过度平滑或异常点，最终降低下游任务（如3D重建和物体检测）的性能。为了解决这些挑战，点云上采样模型必须能够在噪声输入中恢复几何细节，同时生成均匀且结构完整的点云。常见的噪声类型包括
结论与未来方向
在本文中，我们主要介绍和比较了基于深度学习的点云上采样方法，这些方法主要通过两种范式发展：监督学习和无监督学习框架。监督学习方法，如PU-Net[10]和PU-Transformer[18]，利用配对训练数据建立从稀疏输入到密集输出的明确映射，在合成数据集上实现了更出色的重建效果。
CRediT作者贡献声明
尹一航：撰写——原始草稿，研究
李宇：撰写——审阅与编辑，方法论，概念化
周伟：撰写——审阅与编辑
蒙塞夫·加布乌杰：撰写——审阅与编辑
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。
尹一航目前正在南京信息科技大学攻读硕士学位，他于2019年至2023年在此完成了软件工程学士学位。他的研究兴趣包括图像压缩、机器学习和3D点云处理。
