《Expert Systems with Applications》：MRHead: Online Reconstruct Vectorized HD Map via Manifold Structure Feature
编辑推荐：
自主驾驶依赖的高精度地图（HD）构建中，顶点序列的流形结构特征常被忽视，导致几何不连续和语义错误。本文提出流形重建头（MRHead），通过流形距离构建邻接矩阵提取线性流形特征，结合块流形特征提取器与图神经网络，从顶点序列中挖掘几何连续性和拓扑关系，并设计流形误差量化与回映射机制进行坐标修正。实验表明，在nuScenes数据集上，MRHead模块可提升MapTR等基线方法4.4%-3.1%的mAP，且保持19.6 FPS的推理速度。
Taohong Zhu|Chunchit Siu|Yunhe Wu|Ke Song|Huiyuan Xiong
中山大学智能工程系统学院，中国广东省深圳市528406
摘要
高清晰度（HD）地图对自动驾驶至关重要。交通标志具有独特的流形结构，但通过顶点序列表达的元素往往失去了流形特征——特别是嵌入在道路元素中的固有几何连续性和平滑的拓扑关系。现有的地图构建方法也忽略了隐式流形结构对顶点序列的影响。我们提出了流形重建头（MRHead），旨在提取顶点序列中固有的流形特征并重建HD地图元素。我们的方法建议使用流形距离而不是欧几里得距离来构建线性流形的邻接矩阵，同时基于对象接近度和方向提取流形特征。此外，我们使用图网络来提取补丁流形特征。最终，重建模型基于提取的特征来纠正HD地图的几何和语义元素中的错误。在广泛使用的nuScenes数据集上进行的实验表明，与MapTR、MapTRv2和StreamMapNet相比，我们的方法分别提高了4.4%、0.9%和3.1%的mAP值。在计算成本方面，虽然完整模型的运行速率为17.0 FPS，但我们提出的模块化设计允许采用“仅训练”策略，在不增加额外推理延迟的情况下实现这些改进（运行速率为19.6 FPS）。结果表明，我们的方法可以无缝集成到现有的基于点的回归框架（例如MapTR）中，作为即插即用的辅助监督模块，提高性能而不改变核心架构。
引言
高清晰度（HD）地图在自动驾驶系统中起着关键作用。这些地图包含关于各种交通元素的精确实例信息，如车道分隔线、人行横道和道路边界，这些信息以向量数据结构的形式表示，为规划决策提供了基础（Jian, Zhang, Chen, Lv, & Zheng (2019)）。此外，HD地图提供的丰富语义信息有助于定位、导航（Ma et al. (2019)）和对象识别（Ravi Kiran et al. (2018)）。传统的HD地图通常是通过将向量信息手动注释到SLAM生成的点云地图上创建的（Shan & Englot (2018); Shan et al. (2020); Zhang & Singh (2014)）。
为了解决手动构建HD地图耗时且劳动密集的问题，研究人员开始讨论使用智能算法来辅助这一过程。研究主要集中在从全景相机获取鸟瞰图（BEV）图像（Li et al. (2022b)）以及基于这些图像构建语义地图（Roddick & Cipolla (2020)）。然而，基本的语义地图（Philion & Fidler (2020); Roddick & Cipolla (2020); Zhou & Kr?henbühl (2022)）缺乏详细的向量实例信息，导致地图存储需求增加，并阻碍了下游的规划和决策任务。虽然手动注释可以确保高精度，但其劳动密集性显著增加了成本并阻碍了大规模部署。参考文献Xiong et al. (2022)开发了一种准确的道路模型，用于在HD地图构建中提取道路边界线。Tencent Tang et al. (2023)提出了一个利用人工智能技术的框架来提取道路元素，然后进行手动HD地图构建和新的标签注释，从而建立了迭代的HD地图构建过程。
为了解决手动注释中的效率瓶颈，人工智能技术的进步导致了最近出现许多自动生成HD地图的方法。这些方法通常涉及使用车载全景相机收集交通信息，然后通过神经网络提取BEV特征，最后通过检测头检测交通元素。HDMapNet（Li, Wang, Wang, & Zhao (2022a)利用语义分割提取道路标志，然后通过元素聚类和方向预测将道路标志向量化。VectorMapNet（Liu, Yuan, Wang, Wang, & Zhao (2023)将道路标志的向量化分为两部分：关键点检测和线生成，并建立了端到端的局部向量地图构建网络。MapTR（Liao et al. (2022)将向量化简化为顶点集预测和方向预测问题，类似于DETR（Zhu et al. (2020)），通过连接顶点并确定其方向来完成向量化。交通标志本质上具有独特的几何形状信息。然而，当前的HD地图构建方法通常将交通元素表示为多条线，忽略了交通标志的几何形状信息。因此，预测的元素经常出现物理上不合理的伪影，如之字形边缘和拓扑不连续性，导致检测性能不佳。
尽管交通标志在现实中是连续的，但降采样后的顶点序列的表示在直观表达几何特征方面存在挑战。顶点序列代表了交通标志的隐式流形结构。流形特征可以更有效地捕捉交通标志的几何和语义方面。然而，从顶点序列中提取流形特征仍然是一个挑战。通常，流形学习模型将点云视为噪声流形数据并从中学习。然而，这种方法没有考虑点云之间的顺序，因此在应用于有序顶点序列时效果较差。此外，这些方法通常只关注一种类型的流形，这在复杂场景中应用和扩展性方面存在挑战。
为了解决上述问题，我们的提案在现有的地图构建器之上增加了MRHead。我们旨在从顶点序列中提取各种类型的流形特征，然后将数据映射到流形空间。随后，在流形空间内量化顶点的误差。最后，将误差映射回原始空间并相应地校正顶点。具体来说，我们的方法包括重塑输出，并同时通过线性流形特征提取器和块流形特征提取器提取流形特征。我们将基于流形特征构建一个受噪声影响的概率真实模型，并使用它来输出重建的地图元素。我们提出方法的创新之处在于以下方面：
•我们提出了一种基于流形距离的流形特征提取器，以消除欧几里得空间中的错误，从而有效地从顶点序列中提取多样化的流形特征。
•我们提出了一种流形语义和结构重建器，通过结合顶点序列的固有流形特征来校正顶点序列的标签和坐标，以提高地图元素的准确性和平滑度。
•广泛的实验结果表明，所提出的方法可以无缝集成到各种现有的基线方法中，并显著提高最先进网络的性能。
部分摘录
局部HD地图构建
局部HD矢量地图构建通常使用全景相机和LiDAR等传感器来捕捉车辆周围环境信息，并将提取的标志向量化。最近的研究集中在局部HD地图向量化上（Wang, Li, Liu, Liu, & Zhu (2023); Xie, Pang, & Wang (2023); Xu, Wong, & Zhao (2023); Zhang et al. (2023a)）。HDMapNet（Li et al. (2022a）结合了全景图像和LiDAR数据，执行语义分割以识别
方法
所提出方法的架构在图1中示意性地展示，它由三个核心组件组成：线性流形特征提取器、补丁流形特征提取器和流形重建模块。具体来说，首先使用2D卷积编码器对全景图像进行编码，然后使用BEVFormer将提取的图像特征投影到BEV特征空间。得到的BEV特征随后被输入到专门的地图元素
实验设置
数据集。 为了验证我们的方法，我们在NuScenes（Caesar et al. (2020)上进行了广泛的实验。NuScenes包含由六个RGB相机捕获的360度全景视野图像和来自LiDAR点云的场景信息。此外，还有精确的HD地图注释。为了确保公平比较和可重复性，我们严格遵循官方的NuScenes数据划分，使用标准训练集（28,130个样本）进行模型优化
结论
为了解决HD地图构建过程中交通标志的流形结构特征被忽略的问题，我们使用Order-EdgeConv和图卷积网络来提取对象的几何流形特征。此外，通过整合语义和流形特征来重建对象的流形结构和语义标签。Order-EdgeConv和图卷积网络都基于流形邻域的概念进行了改进
CRediT作者贡献声明
Taohong Zhu：概念化、方法论、软件、调查、数据管理、撰写——原始草稿、项目管理。Chunchit Siu：方法论、调查、软件、验证、撰写——审阅与编辑、可视化。Yunhe Wu：调查、软件、验证、撰写——审阅与编辑。Ke Song：调查、验证、可视化、撰写——审阅与编辑。Huiyuan Xiong：概念化、资源管理、撰写——审阅与编辑、监督、资金提供
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
