GT-MilliNoise：一种用于室内毫米波点云逐点去噪的图变换器

《Signal Processing: Image Communication》：GT-MilliNoise: Graph transformer for point-wise denoising of indoor millimeter-wave point clouds

毫米波雷达生成稀疏噪声点云的去噪方法研究，提出时空联合的图Transformer架构GT-MilliNoise，通过动态特征学习和几何注意力机制实现75%点级去噪精度，较SOTA提升5%，Earth Mover's距离达0.193。

　　

Pedro Gomes|Walter Brescia|Saverio Mascolo|Laura Toni|Luca De Cicco

摘要

毫米波（mmWave）雷达因其低成本和在低能见度条件下的稳健性而越来越受欢迎。然而，它们产生的3D点云比LiDAR和深度相机产生的点云更稀疏、噪声更大。这些差异在将原本为密集点云设计的方法应用于毫米波数据时带来了挑战。特别是在点级精度任务上，例如毫米波数据的全点云去噪方面，部分原因是缺乏完全标注的数据集。在这项工作中，我们使用了MilliNoise数据集（一个完全标注的室内毫米波点云数据集），通过两个主要步骤来推进对毫米波点云去噪的理解：（i）我们对最常见的点云处理方法进行了实验分析，并展示了它们在探索稀疏和噪声点云中的局部到全局结构时的局限性；（ii）鉴于这些局限性，我们提出了一种基于图的变换器架构，称为GT-MilliNoise，该架构由两个主要模块组成，以有效利用数据的时间和几何结构：时间模块利用数据的稀疏性来学习点的动态行为；几何模块使用点级注意力机制来形成用于特征提取的代表性邻域。在MilliNoise数据集上获得的实验结果表明，我们提出的GT-MilliNoise架构在质量和数量上都优于现有技术。具体来说，它的准确率达到75%（比现有技术高出5%），并且地球移动距离值显著降低至0.193。

引言

在快速发展的多媒体系统中，3D数据源的作用显著增加。这类数据需要新的方法来捕获、处理和利用信息。例如，由3D光检测和测距（LiDAR）传感器和立体相机生成的点云（PC）数据可以捕捉三维场景的特征。这些技术推动了包括自主导航和机器人技术[1]、[2]、3D建模[3]、增强现实/虚拟现实[4]、[5]以及6自由度视频流[7]、[8]等应用的重大进步。

尽管LiDAR和立体相机系统具有优势，但它们经常受到环境条件的挑战，如在恶劣天气下的能见度差或难以检测透明或反射表面。这限制了这些媒体内容在可靠机器应用中的使用。此外，这些技术可能成本较高，并且存在功耗问题，从而阻碍了它们在移动应用中的采用。另一方面，毫米波雷达的工作波长在毫米级别。它们配备了发射天线，用于发射信号，以及接收天线，用于捕获反射信号。接收信号的处理可以生成描述环境的3D点云，包括关于反射物体的速度、强度和方向的信息。由于它们的工作频率，这些传感器在雾、灰尘、烟雾和雨水等恶劣环境条件下具有更高的稳健性[1]、[5]、[9]、[10]。尽管有这些优势，毫米波传感器生成的点云数据引入了一些特殊挑战。具体来说，(i)存在大量噪声，(ii)每个获取的帧中的点非常稀疏。较高的噪声水平是由于毫米波信号的波长较宽，容易受到多路径反射的影响。同时，毫米波天线的尺寸较小且信号功率较低，导致信噪比（SNR）较低，进一步增加了噪声并减少了每帧捕获的点数。在室内环境中，典型的毫米波点云仅包含约200个稀疏点，而LiDAR点云则包含数万个点，而且毫米波点云中的大多数点是噪声点。因此，在毫米波点云中，形状和物体很难用肉眼识别。

鉴于这些独特的挑战，目前现有的点云处理方法是否可以扩展到毫米波点云尚不明确。大多数现有的点云学习架构是为LiDAR传感器或RGB-D相机生成的密集且噪声较少的点云开发的。这些架构已经开始适应毫米波点云，但主要集中在点云级别的任务上，如动作识别[6]、[11]、[12]或广义物体检测[13]、[14]。相反，关于现有架构在处理毫米波数据时的点级任务（例如点级去噪）的表现如何，目前在文献中很少有研究。

本研究解决了这一空白，并推进了点级毫米波点云去噪的研究。为此，我们使用了MilliNoise数据集[15]，该数据集具有亚毫米级的点级标签。数据集使用的是带有集成天线的频率调制连续波（FMCW）毫米波传感器，称为封装上的天线（AoP）。MilliNoise收集了室内场景，如宽敞和狭窄的走廊、急转弯以及通过适当排列障碍物构建的货架。最重要的是，MilliNoise数据集中的每个点都通过运动捕捉系统进行了精确标注，从而能够区分场景中实际物体和代表噪声的点。

基于MilliNoise数据集，本研究旨在开发用于毫米波点云点级去噪的学习模型。据我们所知，这是首次针对室内毫米波点云的独特挑战进行点级去噪的尝试。为此，我们首先研究了几种通常用于传统点云处理的先进方法的性能，但这些方法从未被用于去噪高度稀疏和噪声较大的毫米波点云。具体来说，我们实现了基于点的[16]、[17]、基于图的[18]和基于变换器的[19]架构。结果表明，先进方法在探索稀疏点云中的局部到全局结构以及建模点之间的关系方面存在局限性。为了解决这些局限性，我们进一步提出了GT-MilliNoise，这是一种用于毫米波点云去噪的架构，由两个主要级联模块组成：

• 1.
  时间模块，旨在通过学习如何区分偶尔出现的点（很可能是噪声）和随时间保持一致的点来探索输入点云的动态特性。
• 2.
  几何模块，它利用这些时间信息进行自注意力操作，以形成能够探索3D空间的代表性邻域。从这些邻域中，消息传递图卷积捕获点之间的关系，以学习用于去噪任务的空间-时间特征。

所提出的GT-MilliNoise在去噪毫米波场景时，平均F1分数为0.68，准确率为75%，比现有技术高出5%。除了在准确性方面的定量提升（即正确点的百分比）外，我们在几何指标上也观察到了显著提升，这些指标衡量去噪场景与目标真实场景的相似程度。仿真结果表明，GT-MilliNoise模型更好地理解了3D场景。作为最后的贡献，我们进行了消融研究，以调查输入大小和添加额外特征（例如速度、强度）以及GT-MilliNoise架构的各个组件如何影响模型性能。我们在本文的最后指出了改进研究的潜在方向。

总结来说，本研究做出了以下贡献：

• •
  一种新的GT-MilliNoise方法，能够处理毫米波点云的点级去噪。它通过学习反映点随时间一致性的时间特征，并使用第二个几何模块提取时空特征来补偿噪声和稀疏数据（第4节）。这种两阶段方法使GT-MilliNoise能够有效利用时间和几何线索进行准确的去噪。
• •
  据我们所知，这是首次针对室内毫米波点云的点级去噪进行深度学习方法的基准测试（在MilliNoise数据集上），并对不同架构处理毫米波数据的方式进行了深入分析（第6节）。
• •
  对输入模式和网络架构的消融研究，阐明了它们如何影响模型性能（第6.5节）。

部分片段

背景

本节描述了频率调制连续波（FMCW）雷达点云的采集过程（第2.1节），并简要概述了不关注毫米波数据的主要经典点云处理方法（第2.2节），从而避免了其特殊问题。最后，它描述了这些方法如何适应毫米波点云数据，特别是去噪任务（第2.3节）。

MilliNoise数据集

本节简要描述了MilliNoise数据集[3]，该数据集最初在[15]中引入，将用于对比提出的架构和文献中的架构（见图1）。

数据集的详细信息总结在附录A中。

MilliNoise数据集收集了在6种不同真实世界场景中捕获的49次独立运行，总共约58k帧，数据收集持续时间为8小时。这允许进行深入探索

毫米波点云去噪

本节提出了GT-MilliNoise方法用于毫米波点云去噪。我们首先定义了去噪问题，然后介绍了GT-MilliNoise方法，首先讨论了其从毫米波点云中学习特征的策略，然后介绍了其架构细节。

实现

本节描述了模型的实现方式和实验条件。

结果

本节展示了从各种架构中获得的去噪MilliNoise数据集的结果。在进行深入分析之前，我们在第6.1节首先强调了经典分类指标和几何指标可能导致矛盾的结果。接下来，在第6.2节总体结果和第6.3节泛化到未见场景 - K折结果中，我们提供了全面分析，以更深入地了解所考虑方法的优点和缺点

结论

本文专注于毫米波点云的点级去噪，目标是将每个点分类为真实或虚假。为此，我们引入了MilliNoise[15]，一个带有完全标注的室内毫米波点云数据集。然后，我们对比了最常用的点云处理方法在该数据集上的性能，并展示了它们在探索稀疏和噪声点云中的局部到全局结构时的局限性。为了解决这些局限性，我们提出了一种基于图的

CRediT作者贡献声明

Pedro Gomes：撰写 - 审稿与编辑，撰写 - 原始草稿，可视化，验证，软件，方法论，调查，形式分析，概念化。Walter Brescia：撰写 - 审稿与编辑，撰写 - 原始草稿，可视化，验证，软件，方法论，调查，数据管理，概念化。Saverio Mascolo：撰写 - 审稿与编辑，撰写 - 原始草稿，监督，项目管理，方法论，资金获取，概念化。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Luca De Cicco报告称获得了欧盟的财务支持。Luca De Cicco报告与欧盟的关系包括：资金资助。如果有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本项工作得到了欧盟在意大利国家复苏和韧性计划（NRRP）下的NextGenerationEU的资助，该计划涉及“未来电信”（PE00000001 - 项目“RESTART”，CUP: D93C22000910001）的合作。