用于弱监督点云分割的弱标签选择优化框架

《Displays》：Weak label selection optimization framework for weakly supervised point cloud segmentation

点云分割在自动驾驶等领域至关重要，但标注数据依赖性强。本文提出弱标签优化框架，通过无监督特征提取定位高信息区域，结合空间相似性约束减少冗余标签，并采用跨样本协作采样提升标注互补性。实验表明在ScanNet-v2和S3DIS上MIOU提升达2.01%。

　　

张成红|王伟|魏汉婷|于波

中国科学院沈阳计算技术研究所，中国沈阳，110168

摘要

点云分割在自动驾驶、机器人导航和医学图像分析中发挥着关键作用，具有重要的实际应用价值。然而，对标注数据的严重依赖给大规模部署带来了巨大挑战，这使得弱监督学习成为越来越重要的研究方向。尽管已经提出了许多弱监督点云分割方法，但弱标签初始化这一关键问题却大多被忽视了。现有方法主要依赖于随机选择策略，导致标签冗余和信息利用不足。在本文中，我们提出了一个优化的弱标签选择框架，其主要贡献包括：（1）我们提出了一个基于无监督特征的特征选择框架，该框架利用自监督学习提取判别性特征，然后通过密度估计和聚类来识别特征空间中的信息丰富区域；（2）我们引入了一个空间相似性约束的标签去重模块，通过全局相似性和局部空间约束来提高采样多样性；（3）我们开发了一种跨样本协作采样策略，为语义相似的样本构建了一个统一的特征空间，并利用融合聚类来优化采样权重，从而提高信息覆盖率和互补性。在ScanNet-v2和S3DIS数据集上的综合实验表明，我们的框架在弱监督点云分割任务中的性能始终优于随机选择和类平衡选择基线方法，在S3DIS数据集上仅使用0.1%的标注数据时，MIOU提高了2.01%。

引言

作为3D场景理解的核心任务，点云分割旨在将离散的点云数据映射到语义类别中，为自动驾驶、机器人导航和医学图像分析等应用提供结构化的环境感知。然而，与图像数据相比，点云的稀疏性、不规则性和无序性给处理带来了显著挑战。

基于几何规则的传统分割方法（例如边缘检测和区域生长）对噪声非常敏感，在复杂场景中的准确性有限。近年来，深度学习的快速发展显著提高了点云分割的性能。例如，PointNet [1] 提出了一种简单、高效且强大的点云处理特征提取器，它通过多层感知器（MLPs）直接处理无序点云，并使用全局最大池化来聚合特征；PointCNN [2] 使用可学习的坐标变换矩阵对点云进行空间化，并结合卷积操作进行特征提取，解决了传统CNN处理无序点云时遇到的难题；PointTransformer [3] 引入了自注意力机制来模拟点之间的长距离依赖性，使其适用于处理具有复杂几何结构的点云数据。然而，对标注数据的依赖仍然是大规模点云分割应用的主要瓶颈。以ScanNet数据集为例，标注单个点云大约需要22.3分钟，而对整个数据集进行建模则需要562小时。因此，完全监督的点云分割 [4]、[5]、[6] 显得耗时且成本高昂。

在点云语义分割领域，已经开展了一些研究 [7]、[8]。一个重要发现是，完全标注的数据中包含大量的标注信息冗余。例如，当比较使用10%稀疏分布标签和完整标签获得的分类结果时，仅观察到轻微的准确性下降。这突显了弱监督学习方法的潜力和必要性。因此，关于弱监督点云分割 [9]、[10]、[11]、[12]、[13]、[14] 的研究激增。已经提出了多种方法，利用有限的标签数量来提高模型性能，其结果与完全监督的点云分割相当。一些方法 [15]、[16] 通过自训练框架和未标注数据生成伪标签，通过整合伪标签和真实标签来约束模型训练，并在训练过程中动态预测和更新伪标签；其他方法 [17]、[18] 设计了自生成的网络来更好地融合图像和3D数据，隐式推断截断点云的全局和局部特征，以提高2D监督的有效性。此外，一些方法在不同网络分支或输入数据类型之间强制执行一致性约束。例如，Liu [19] 利用增强数据和隐藏数据之间的一致性约束来学习复杂场景的上下文。

值得注意的是，初始化弱标签的优化常常被忽视。通常，弱标签初始化是通过随机选择或类平衡选择来实现的。这些方法不仅导致模型训练结果不稳定，而且没有考虑标签的信息量。Wang等人 [20] 提出了一个基于特征的约束框架来指导初始弱标签的选择。首先，通过特征提取和嵌入构建点云的特征空间，然后设计一种基于密度偏置的策略来标注密集簇区域的点。然而，这种方法依赖于传统的点云描述符进行特征提取，限制了其在复杂点云场景中提取深度特征的能力。如图1所示，自监督特征提取方法获得了更紧凑的簇内分布和更好的簇间分离。自监督方法选择的点（左）能够更好地覆盖高密度区域，并且分布更具代表性，而随机采样（右）在特征空间中的分布不均匀。此外，它仅使用基于密度偏置的策略进行标注，忽略了点的结构和相关属性，导致标签冗余和高信息价值标签的遗漏。为了解决上述问题，本文提出了一个优化初始弱标签的框架。主要贡献如下：

• (1)
  设计了一个优化弱标签初始化的框架。首先，通过无监督方法训练特征提取器，基于全局特征空间提取点云特征；然后定位特征空间中的高密度区域并选择信息量更多的点。
• (2)
  针对局部相似标签聚合的问题，设计了一个具有空间相似性约束的标签去重模块。使用全局特征相似性约束和局部空间稀疏性约束来使采样覆盖多样化的 semantic 区域。
• (3)
  为了减少标注偏差和重复，我们提出了一种跨样本协作采样策略。通过匹配相似的点云，为点云对构建了一个统一的特征空间。通过融合聚类，重新分配选定点的标签和采样权重，以实现标注信息的互补性和覆盖性。
• (4)
  点云分割模型和弱监督点云分割方法的实验结果表明，与随机选择标签和类平衡选择标签相比，我们的方法在ScanNet-v2和S3DIS数据集上取得了更好的性能。

部分片段

无监督点云学习

通过设计预文本任务，无监督学习利用未标注的点云数据对深度神经网络进行预训练，并提取有效的特征表示。通过无监督学习获得的点云特征可以转移到各种下游任务中，从而便于网络初始化。基于此初始化，只需要少量的特定于任务的标注点云数据就可以高效地微调预训练模型。

方法

本文提出的弱标签选择优化框架如图2所示。它由四个功能模块组成，依次执行特征提取、候选点筛选、多样性增强和跨样本信息融合。模块（a）是一个无监督特征提取器，它使用对比学习对输入点云进行预训练，以构建一个具有判别性的高维特征空间；模块（b）执行点云聚类和密度

数据集

ScanNetv2。ScanNetv2 [51] 是由斯坦福大学、普林斯顿大学和慕尼黑工业大学共同开发的一个大规模数据集，涵盖了办公室、住宅和商业空间等各种场景，旨在支持3D语义分割、对象检测和场景重建等任务。该数据集包含1513个室内场景，其中1201个用于训练，312个用于测试。每个场景包含多个扫描，包括

结论

本研究探讨了一个用于弱监督点云分割的弱标签优化框架。首先，提出了一个基于无监督特征的弱标签选择框架。根据无监督方法提取的特征，对每个簇中密度较高的点进行加权并选择。然后，为了减少样本冗余，引入了一个基于距离-相似性约束的去重模块。最后，为了解决场景重复和信息不足的问题

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。