LRCC：通过低秩细化和曲率补偿实现鲁棒的点云理解

《Pattern Recognition》：LRCC: Robust point cloud understanding via Low-rank Refinement and Curvature Compensation

3D点云鲁棒性理解框架LRCC提出低秩精修与曲率补偿模块，通过分层特征生成和核范数正则化实现跨尺度特征一致性，同时利用可微分曲率估计弥补几何细节丢失，显著提升抗抖动、对抗攻击和传感器失效的鲁棒性。

　　

庄晨|谢一元|叶苏|蒋晓|李莉莉|金楚伟|叶一辰|黄周平|肖志勇

西南大学电子与信息工程学院，中国重庆，400715

摘要

对于对安全性要求较高的视觉系统而言，鲁棒的3D场景理解至关重要。然而，现实世界的复杂性和传感器的退化往往会导致模型在抖动、数据丢失或对抗性攻击下失效。为了解决这个问题，我们提出了一种新颖的低秩细化和曲率补偿（LRCC）框架，该框架旨在从受控的实验室环境扩展到复杂的现实世界场景中实现鲁棒的点云理解。LRCC利用分层特征生成器将特征分解为高阶表示，从而实现对场景的多视图解释。我们通过两个模块充分利用这些高阶组件：低秩细化（LR）模块通过凸秩近似增强结构一致性；曲率补偿（CC）模块则保留细粒度几何细节。实验表明，LRCC在抖动、数据丢失和对抗性条件下显著提高了鲁棒性，性能优于现有方法。结合DGCNN后，LRCC在ScanObjectNN数据集上的准确率达到85.03%，比基线高出2.86%，并且在对抗性攻击下的准确率仅下降了5.08%。我们的代码可在以下链接获取：https://github.com/cxzpromax/LRCC

引言

传感器技术的快速发展显著提高了3D数据的可访问性和经济性。点云提供了一种简单而有效的格式，用于存储空间坐标，捕捉物体的几何属性，并且比传统的基于2D像素的表示方法具有明显优势[1]。由于点云能够捕捉复杂的形状和结构，它们被广泛应用于自动驾驶[2]、异常检测[3]和3D场景理解[4][5]等前沿领域。然而，由于传感器的精度问题和场景的复杂性，点云通常存在不规则性、密度不均匀以及噪声等问题。这些特性给真实世界3D场景的准确感知和识别带来了巨大挑战。因此，迫切需要开发更加鲁棒和可靠的编码技术，尤其是用于安全关键领域。

深度学习的最新进展在2D视觉任务中取得了显著成果（例如[6][7]），这促使人们将这些方法扩展到3D几何处理中。PointNet[8]是一种开创性的方法，它引入了逐点卷积进行空间特征提取，并使用最大池化来确保排列不变性。许多后续工作[9][10]都基于PointNet的思想，并仍然依赖最大池化作为主要的聚合机制，取得了优异的性能。然而，这种机制的一个关键局限性是最大池化会丢弃大量点，导致计算资源的浪费和对底层几何结构的不完整表示。这凸显了探索这些被丢弃点的潜在价值的重要性，因为它们可以为更有效和可靠的几何建模提供有价值的见解。

许多研究人员已经认识到被丢弃点的价值，因此有越来越多的研究致力于探索它们的潜力。Chen等人[11]提出重新利用被丢弃的点，并为特定的下游任务累积相关的损失。类似地，Huang等人[12]利用这些被丢弃但仍然包含信息的点来指导剪枝过程，从而实现了更加紧凑和轻量级的模型。在对比学习领域，Li等人[13]专注于最大化来自关键点和最大池化后被丢弃的点之间的特征一致性。他们引入了特征级一致性的概念，明确规范了表示学习并提高了泛化性能。我们的实证研究表明，高阶关键点与其一阶对应点非常接近。使用Chamfer距离量化观察到的差异相对较小。然而，尽管存在这些微小的几何差异，当使用高阶特征进行下游任务时，模型性能会迅速下降，这表明模型对特征变化非常敏感。

为了进一步研究这一现象，我们进行了广泛的实证分析，如图1所示。(a)展示了良性样本的关键点。具体来说，C₁表示在第一次最大池化操作中至少对一个特征维度有贡献的点集，而其余点被称为被丢弃的点。通过对被丢弃的点递归应用最大池化，我们得到C₂，即在第二轮中至少对一个特征维度有贡献的点集。高阶关键点也是以相同的方式递归提取的。(b)水平轴表示C₁与高阶关键点之间的Chamfer距离，垂直轴表示相应的性能变化。尽管它们之间的几何差异相对较小（大约0.35%，视觉上几乎无法察觉），但使用高阶特征进行下游任务会导致实例和类别准确率大幅下降（分别为48.4%和42.1%）。这些结果表明，模型性能对高阶关键点的微妙变化非常敏感，这表明保持不同特征阶数之间的一致性非常重要。此外，(c)展示了来自几个对抗性样本的关键点可视化结果。随着特征层次的加深，高阶关键点变得越来越平滑，导致某些细粒度几何细节的丢失。同时，这种递归选择机制倾向于过滤掉异常值和伪影（用红色突出显示），表明其具有抑制噪声和提高鲁棒性的潜力。

在本文中，我们介绍了LRCC框架，该框架通过整合一致的特征表示和指定的曲率补偿来充分利用被丢弃的点。具体来说，我们首先设计了一个高阶特征生成器，将特征图分解为分层表示，从而提取高阶特征。随后，我们实施特征一致性学习来规范特征空间，促进紧凑性并确保同一输入的多粒度表示之间的一致性。为此，我们实施了以下两个核心步骤：(i)分解特征矩阵以生成分层特征表示；(ii)使用核范数正则化来最小化潜在特征空间中的距离。然而，仅关注高阶特征之间的不变量可能会导致模型优先考虑粗粒度信息，从而导致细粒度语义细节的丢失[1]。

为了解决这个问题，我们引入了一个曲率补偿器，作为额外的补丁来保留几何细节。众所周知，不同区域对场景理解的贡献不同，边缘或角落的点提供了更具区分性的特征[14]。Sun等人[15]强调了利用“法线”信息表示形状特征的重要性。虽然这种方法取得了满意的结果，但法线信息并不总是可用的，这限制了其在许多领域的应用。为了克服这一限制，我们根据可用数据估计曲率信息，有效地捕捉场景中的复杂边缘和角落细节。估计的曲率特征是不可学习的且是手工制作的，只需要进行一次计算，这突显了其轻量级的特点。最后，我们将低秩特征与估计的曲率特征连接起来，共同执行下游任务。

本文的主要贡献总结如下：

•

我们发现基于点的模型在处理高阶关键点时表现出较低的鲁棒性，即使是微小的、不易察觉的差异也会导致性能显著下降。

•

为了提高多粒度关键点之间的一致表示，我们提出了一种结合高阶特征生成器和核范数正则化器的方案，以强制特征一致性学习。

•

强制高阶特征之间的一致性可能会导致细粒度几何细节的丢失，我们通过引入曲率特征补偿器来解决这个问题。

•

在形状分类、部分分割和大规模语义分割任务上的广泛实验表明，LRCC表现出出色的性能和鲁棒性。

章节片段

用于点云理解的深度学习模型

计算能力的显著提升使得深度学习在3D点云处理中的成功日益显著。PointNet[8]是一项开创性工作，它使用多层感知器（MLP）提取逐点特征，并应用最大池化操作来捕捉排列不变的特征。尽管PointNet表现出有效性，但它被批评在表示局部形状信息方面的能力有限，这限制了其区分样本的能力

方法论

所提出的LRCC的总体框架如图2所示。它包括一个高阶特征生成器、一个低秩学习器和一个跨源特征融合模块。首先，高阶特征生成器用于将特征图分解为多粒度表示。然后，低秩学习器限制学习到的特征，以提供更一致的表现。接着，曲率补偿器作为额外的特征补丁

实验

在本节中，我们进行了一系列实验，以评估所提出的LRCC在各种基准数据集和任务中的有效性。具体来说，我们将LRCC集成到传统的和最先进的3D形状分类、部分分割和语义分割架构中。所有实验都在NVIDIA RTX 3090 GPU上使用PyTorch 2.1框架进行。对于每个架构和任务，我们都保持一致的超参数配置

结论

在本文中，我们介绍了一种新的鲁棒点云理解方法LRCC。LRCC的动机来源于我们的实证发现，即点C₁和高阶关键点之间的微小差异也会显著影响性能。为了解决这个问题，我们提出了增强这些高阶变化之间的一致性。首先，我们将特征图分解为分层表示，然后将其堆叠形成特征矩阵。

数据可用性声明

数据将根据请求提供。

CRediT作者贡献声明

庄晨：撰写——原始草稿、方法论、形式分析。 谢一元：项目管理、方法论、资金获取。 叶苏：概念化。 蒋晓：验证。 李莉莉：可视化、资源。 金楚伟：验证。 叶一辰：监督。 黄周平：软件。 肖志勇：验证。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

本工作部分得到了国家重点研发计划（项目编号2024YFB4710101）、中国自然科学基金（项目编号CSTB2024NSCQ-LZX0086）、西南大学创新研究2035试点计划、中央高校基本科研业务费（项目编号SWU-XDPY22013）、西南大学青年团队专项基金（项目编号SWU-XJPY202301）以及中国国家自然科学基金的支持