《Neurocomputing》：HgCA: Hypergraph neural network with cross-attention for point cloud analysis
编辑推荐：
点云分类与分割中，提出基于超图的HgCA网络，通过几何边缘聚合模块增强局部几何建模，结合跨注意力机制融合高阶语义依赖，在ShapeNet-Part、S3DIS和ModelNet40上取得87.5%、72.8%和94.5%的mIoU及OA，优于现有GCN方法。
Xinxin Hou|Hui Feng|Zhengpin Li|Shubo Zhou|Jian Wang|Zhijun Fang|Xue-Qin Jiang
东华大学信息与智能科学学院，上海，201620，中国
摘要
点云分类和分割是3D点云分析中的两个基本任务，旨在识别对象类别并将形状或场景划分为具有语义意义的组成部分，在智能系统中具有广泛的应用。图卷积网络（GCNs）常用于处理点云，因为它们在提取拓扑信息方面表现出色。然而，GCNs主要关注低阶的成对关系，这限制了它们对点云中固有的复杂高阶依赖关系的建模能力。为了克服这一限制，我们提出了一种基于跨注意力机制的超图神经网络（HgCA）用于点云分析，该网络结合了增强的低阶几何建模和自适应的高阶语义学习。首先，为了增强低阶邻域几何信息的提取，我们设计了一个几何边缘条件聚合（GECA）模块，该模块利用局部几何线索来调节特征聚合。其次，采用分层聚类策略进行自适应的超图结构学习，从而捕捉超出成对关系的高阶语义依赖关系。最后，我们引入了一个具有跨注意力机制的二分超图，以将低阶几何特征与超图结构中编码的高阶语义依赖关系联系起来。大量实验表明，HgCA在分割和分类任务上表现出色，在ShapeNet-Part数据集上实现了87.5%的mIoU，在S3DIS数据集上实现了72.8%的mIoU，在ModelNet40数据集上实现了94.5%的OA。
引言
3D传感器技术的快速发展使得能够获取具有足够空间和几何信息的点云数据，从而为3D场景理解奠定了坚实的基础，并使其成为了一个关键的研究领域[1]。在该领域的各种任务中，点云分类和分割已成为一个基本组成部分，在机器人技术、自动驾驶以及增强现实/虚拟现实等领域有广泛应用[2]、[3]、[4]。点云分类旨在识别3D对象的语义类别，而点云部分分割则为单个点分配语义标签，从而实现对复杂3D数据的详细结构和语义解析。然而，由于点云数据固有的不规则性、无序性和稀疏性，高效准确的点云分类和分割受到了阻碍。
深度学习的最新进展显著推进了点云分析，使网络能够有效地从大规模点云数据中总结和提取模式。基于这些进展，研究人员从基于投影的方法[5]、[6]发展到基于点的MLP架构[7]、[8]、[9]、[10]，再到图卷积网络（GCN）方法[11]、[12]、[13]、[14]、[15]、[16]。其中，图卷积网络（GCNs）通过消息传递从局部邻域中学习点云，有效捕捉了不规则3D数据中的几何模式。然而，大多数基于GCN的方法仅限于编码相邻顶点之间的低阶成对交互，从而限制了它们在建模对语义理解至关重要的全局上下文依赖关系方面的表现能力。Transformer在自然语言处理（NLP）中建模长距离依赖关系的成功，激发了将其应用于3D点云处理的想法[18]、[19]、[20]、[21]、[22]、[23]、[24]，表明点云表示学习有了显著改进。受此趋势的启发，一些研究将基于Transformer的模块集成到GCN框架中[25]、[26]、[27]、[28]、[29]、[30]，利用自注意力机制来扩展感受野并增强上下文建模。例如，提出了特征增强残差注意力网络（FERAN）[31]，该网络结合了邻域增强聚合和空间注意力模块来构建动态图并加强语义特征学习。在[32]中，引入了PointRWKV作为一种深度序列模型，它利用固定半径的基于图的编码进行局部几何提取，并采用修改后的多头矩阵值状态和动态循环注意力来捕捉全局上下文。尽管如此，这些混合模型仍然本质上局限于成对关系建模，从而限制了它们捕捉空间或语义相关点簇所展示的复杂高阶交互的能力。
为了克服上述限制，我们提出了一种基于跨注意力机制的超图神经网络（HgCA）用于点云分析，该网络结合了增强的低阶几何建模和自适应的高阶语义学习。首先，使用几何边缘条件聚合（GECA）模块提取低阶几何特征，该模块通过边缘条件化的邻域聚合来捕捉细粒度的几何关系。随后，通过可学习的分层二分聚类过程构建任务自适应的超图，其中每个语义连贯的簇被实例化为一个超边，用于编码高阶语义依赖关系。利用建立的超图结构，引入了二分表示来增强超图的表达能力，其中超边特征和点顶点持续交互以支持长距离语义传播。与使用图卷积的传统模型不同，所提出的HgCA模块利用多头跨注意力机制在这个二分表示上进行高效且受语义引导的消息传递。在这种机制中，点特征关注相关的超边以整合全局语义，而来自超边的语义反馈则被传播回来以细化点表示。最终，这种双向交互使HgCA能够学习统一的逐点表示，将局部几何细节与全局语义上下文自适应地融合在一起，从而增强点云分析的鲁棒性和区分性特征学习。在基准数据集上的广泛实验表明，所提出的HgCA网络在分割和分类任务上表现出色，在ShapeNet-Part数据集上实现了87.5%的mIoU，在S3DIS数据集上实现了72.8%的mIoU，在ModelNet40数据集上实现了94.5%的OA。
主要贡献总结如下：
•提出了一种基于超图的网络（HgCA），用于联合建模点云分析的局部和全局依赖关系。结合了几何边缘条件聚合模块来增强低阶表示，同时通过分层二分聚类构建任务自适应的超图来编码高阶语义依赖关系。
•为了桥接几何表示和语义表示，引入了一种二分超图融合机制，其中使用跨注意力来自适应地整合多级特征，从而实现更全面和部分感知的表示学习。
本文的其余部分组织如下。首先在第2节介绍相关工作。然后，在第3节介绍我们提出的HgCA网络。第4节报告并分析实验结果。最后，在第5节总结本文。
相关研究
相关研究
在本节中，我们首先回顾了现有的点云分析深度学习方法，特别关注基于投影、基于点和基于图的方法。然后，我们介绍了用于捕捉3D数据中高阶依赖关系的基于超图的建模的最新进展。我们还总结了它们各自的优点和局限性，以激发我们提出网络的设计灵感。
概述
如图1所示，所提出的网络采用了分层编码器-解码器架构，将局部几何建模与全局语义推理无缝集成，用于点云分割。对于点云分类，仅使用编码器，随后进行全局最大池化和分类器进行类别预测。输入点云，其中表示3D坐标，首先通过多层感知器（MLP）层进行提取
实验
在本节中，我们首先描述了我们提出的HgCA网络的实现细节，包括硬件配置和参数设置。然后，在基准数据集上评估了HgCA在点云分类和分割方面的性能，并将其准确性和效率与几种最先进的方法进行了比较。最后，进行了大量消融实验来验证所提出网络中每个关键组件的贡献和有效性
结论
本文解决了现有点云分类和分割方法的局限性，特别是在建模低阶局部几何关系和捕捉高阶语义依赖关系方面。为此，提出了两个关键组件：（1）几何边缘条件聚合（GECA）模块，通过基于空间几何动态调节邻居特征来增强局部特征表示；（2）基于超图的神经网络
CRediT作者贡献声明
Xinxin Hou：撰写 – 审稿与编辑、可视化、验证、软件、方法论、资金获取、形式分析、概念化。Hui Feng：撰写 – 审稿与编辑、验证、方法论、调查。Zhengpin Li：撰写 – 审稿与编辑、验证、数据管理。Shubo Zhou：监督、调查、概念化。Jian Wang：验证、监督、资金获取。Zhijun Fang：软件、调查。Xue-Qin Jiang：撰写 – 审稿与编辑，
利益冲突声明
作者声明他们没有已知的可能影响本文工作的竞争性财务利益或个人关系。
致谢
本工作部分得到了中央高校基本研究基金（Grant CUSF-DH-T-2024076）和中国国家自然科学基金（Grant 62471147）的支持。
Xinxin Hou毕业于中国安徽新华大学电子与通信工程学院，目前在中国上海东华大学信息与智能科学学院攻读博士学位。她的当前研究重点是图信号处理、图神经网络和点云处理。
