综述：跨源点云融合技术综述：配准与修复

本文系统综述跨传感器点云融合中的注册与修复任务，分析异构数据带来的低重叠、密度差异、局部结构冲突等挑战，总结现有方法并探讨统一框架及未来应用方向。

　　

田一飞|尹杰明

中国南京邮电大学

摘要

多种3D点云传感器，如激光雷达（LiDAR）、毫米波雷达、RGB-D相机和基于视觉的系统，在自动驾驶、机器人技术和智慧城市建设等领域得到了越来越多的应用。由于不同传感器具有互补的优势和固有的局限性，跨源点云（CSPC）融合已成为三维计算机视觉中的一个关键研究课题。然而，异构的感知机制引入了诸多挑战，包括重叠区域小、密度差异大、局部结构冲突、尺度不一致以及噪声分布不均等问题。在本文中，我们对CSPC融合技术进行了全面系统的综述，重点讨论了配准和修复方法。首先，我们从传感器物理学的角度明确了CSPC的定义，并分析了典型3D传感器捕获的点云的分布特征和内在差异。接着，我们总结并分类了现有的CSPC配准方法，指出了它们在处理尺度变化和几何异构性方面的能力和局限性。此外，我们还回顾了CSPC修复技术的最新进展，包括表面孔洞填充和缺失部分生成方法，并探讨了为什么修复任务比配准任务更具挑战性且研究较少。我们还强调了新兴的研究趋势，如考虑配准的修复方法、联合配准-修复框架，以及自监督学习和基础模型在CSPC融合中的应用潜力。最后，我们深入讨论了CSPC融合在现实世界中的应用和未来研究方向，旨在弥合传感器级异构性、算法设计与实际部署之间的差距。本综述不仅提供了现有CSPC融合技术的结构化概述，还为构建更加鲁棒、可扩展和统一的跨源点云融合系统提供了前瞻性见解。

引言

随着环境感知设备的价格越来越亲民，各种点云传感器在多个领域得到了广泛应用[1]。由于点云传感器具有感知精确距离等显著优势，它们为许多环境感知任务提供了丰富而高效的空间信息。然而，不同传感器之间存在感知原理上的差异，每种类型的传感器都有其独特的优势和局限性[2]。例如，激光雷达（LiDAR）设备具有较宽的检测范围和较高的分辨率，但在垂直方向的分辨率较低（通常为16、32或64像素）。深度相机能够在水平和垂直方向上同步捕获具有相似分辨率的颜色和深度图像，但其检测范围通常小于10米，因此难以感知距离较远的物体。无线电探测和测距（Radar）的分辨率较低，但其在恶劣天气（如雨雾）条件下仍能保持信号稳定[3]。这些现象推动了集成多种传感器的趋势，以利用它们的互补优势。因此，来自不同传感器的跨源点云（CSPC）融合成为了一个热门的研究课题。

CSPC融合面临的主要挑战是原始数据之间的显著差异。为了提高融合质量，需要在融合过程中有效提取特征点并利用它们来修复缺陷区域。然而，由于不同传感器的数据采集机制不同，CSPC融合过程中存在重叠区域小、密度差异大、旋转和尺度差异显著等问题，这些因素都增加了融合的复杂性。

为了更好地融合CSPC数据，通常采用配准和修复技术来对齐数据并提高其质量。配准任务侧重于对齐CSPC的重叠区域，但由于对应点的稀疏性和特征分布的不同，这一过程存在困难。修复任务则用于解决配准后由于遮挡和其他不一致性导致的局部空间数据质量下降问题。当CSPC的局部分布差异较大时，修复低质量区域可以显著提升整体点云的质量。例如，在遥感中大规模场景的精确三维重建中，不同类型的传感器在处理复杂表面时表现出明显差异。即使经过配准，CSPC中仍可能包含因冲突和缺陷导致的低质量区域。有效完成和修复这些缺陷区域可以实现准确的3D重建结果。

大多数点云融合算法和基准数据集都是针对同一来源的数据设计的，并未考虑CSPC中的配准和修复问题。例如，大多数用于配准的数据集仅包含来自同一来源的点云，如3DMatch[4]收集了大量Kinect设备拍摄的室内场景数据；KITTI数据集[5]包含来自驾驶场景的激光雷达传感器捕获的点云。尽管大多数流行的配准算法在这些数据集上表现良好，但在3DCSR[6]等跨源数据集上往往遇到困难。同样，大多数点云补全模型仅关注同源点云的局部遮挡或缺失部分。针对CSPC修复的研究正在迅速发展，但仍需进一步探索。

本文从流程的角度系统地研究了跨源点云（CSPC）融合，旨在提供几何对齐和结构补全的统一全面视图。在本文中，融合过程被明确分解为两个互补且同等重要的任务：配准和修复，它们共同决定了融合后CSPC的质量和可用性。现有的综述文章主要关注这一流程的某些方面。例如，Ma等人[7]从原始数据融合、语义融合和预测级融合的角度研究了自动驾驶中的多源传感器融合。然而，他们的工作主要集中在图像和点云之间的跨模态融合上，未明确讨论异构点云之间的融合。Huang等人[8]对跨源点云配准方法进行了系统综述，涵盖了基于传统优化和深度学习的技术。尽管他们的研究对配准进行了深入分析，但未考虑配准后不可避免的结构不完整性和质量下降问题。

在实际的CSPC融合流程中，即使配准准确，也无法完全消除由异构感知机制和采样差异引起的几何冲突、结构模糊以及缺失或不完整区域。这些问题使得修复和补全成为不可或缺的组成部分，而不仅仅是可选的后处理步骤。据我们所知，现有的综述尚未系统地研究CSPC修复及其与配准的紧密耦合。因此，本文首次在统一框架下全面探讨了CSPC的配准和修复问题，通过连接传感器特性、融合挑战、配准策略、修复模型和实际应用，提供了对CSPC融合更全面和实用的理解。

1. 介绍CSPC的特点以及配准和修复中的挑战。

2. 提出当前CSPC配准方法的分类和研究趋势。

3. 研究CSPC修复的最新进展。

4. 总结CSPC融合的当前应用和未来研究方向。

章节片段

CSPC数据特点与融合挑战

在本文中，我们认为CSPC仅发生在由具有根本不同成像机制的传感器（如激光雷达、毫米波雷达、RGB-D相机和基于视觉的重建系统）采集点云的情况下。尽管同一传感器在不同条件下采集的点云在密度或覆盖范围上可能存在变化，但其底层感知原理、噪声特性和采样模式保持一致，因此可以视为

CSPC配准方法

当前的主流点云配准方法大致可以分为两类：传统配准方法和基于深度学习的方法。前者利用距离和传统描述符根据特征相似性搜索对应的点对，然后计算并分解刚性变换矩阵以对齐源点和目标点云[38]；后者则采用卷积神经网络提取逐点特征。

修复方法

CSPC融合流程中，配准和修复通常被视为互补的阶段：配准专注于实现异构源之间的几何对齐，而修复则旨在对齐后的不完整结构进行修复。尽管CSPC配准技术的最新进展显著提高了跨源对齐的准确性，但异构感知机制带来的固有挑战（如重叠区域小、密度分布不均等）仍然存在

配准和修复方法的发展不平衡

近年来，跨源点云配准取得了快速进展。越来越多的基于深度学习的模型被提出，问题表述也趋于成熟，现在有若干开源数据集可用于模型训练和评估。相比之下，跨源点云修复（补全）仍处于早期阶段。只有少数研究专门针对这一任务，大多数现有工作仍停留在基础研究阶段

自动驾驶

在自动驾驶中，集成激光雷达、雷达和图像数据的大规模数据集为训练和评估鲁棒的感知模型提供了重要资源[94]。其中，K-Radar数据集是一个典型例子，它结合了在多种恶劣天气条件（包括雨、雾和雪）下采集的激光雷达和毫米波雷达数据[28][95]。这类数据集使研究人员能够探索不同感知方式的互补特性

结论

CSPC配准和修复不仅是构建异构感知环境中可靠3D感知系统的互补组件，也是不可或缺的基础。本综述系统地回顾了CSPC融合的最新进展，涵盖了基于非配对学习、跨模态融合以及预训练生成模型的应用。分析表明，尽管取得了显著进展，但目前仍存在一些问题

CRediT作者贡献声明

田一飞：撰写——初稿。尹杰明：撰写——审阅与编辑，撰写——初稿。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文的研究结果。