编辑推荐：
自动驾驶系统中的车道检测技术综述，系统梳理了从传统2D图像处理到深度学习驱动的3D几何重建技术演进，提出基于输出表示和几何先验的二维车道检测分类体系，分析多传感器融合、BEV转换等三维检测方法，揭示复杂度与性能的权衡关系，并识别了面向自动驾驶部署的七项关键技术方向。
作者：洪瑞坤、王子瑜、吕周航、王成、郭子轩、张旭鑫
吉林大学汽车底盘集成与仿生学国家重点实验室，长春 130022，中国
摘要
车道检测在自动驾驶系统中扮演着基础且关键的角色，它能够为车辆提供准确的道路结构信息，并为后续的轨迹预测和规划控制奠定视觉基础。尽管其重要性不言而喻，但现有文献中对车道检测算法的综述却很少，这导致了研究空白和技术挑战的不明确。为此，本文全面回顾了车道检测技术，涵盖了数据集、损失函数和评估指标，以及2D和更先进的3D车道检测方法，旨在呈现一个清晰完整的技术体系以用于开发车道检测算法。具体而言，本文提出了一个车道检测的分类框架，并分析了各类方法的技术原理、优势与局限性。通过基准实验揭示了复杂性与性能之间的权衡关系。最后，我们指出了七个有前景的研究方向，以解决当前领域中的问题，为开发更安全、更高效、更可靠的自动驾驶系统铺平道路。
引言
人工智能的迅速发展，尤其是在云计算领域的深度学习，极大地提升了自动驾驶技术的潜力[1]、[2]、[3]。车道检测作为自动驾驶的核心技术，将场景分析和3D几何重建的理论研究与高级驾驶辅助系统（ADAS）[4]及自动驾驶的实际应用联系起来[5]，对车辆与一切（V2X）技术的发展做出了重要贡献[5]。研究高精度、实时且鲁棒的车道检测算法对于推动自动驾驶技术进步至关重要[6]。图1展示了车道检测在自动驾驶场景中的作用，直观地展示了车道检测技术如何融入实际驾驶环境。
最初，车道检测技术主要依赖于传统的几何图像处理方法，主要用于识别图像坐标中的车道标记以辅助驾驶员。随着2012年AlexNet[7]引发的深度学习浪潮，车道检测方法逐渐从传统的几何特征检测转向基于深度学习的检测[8]。虽然2D车道检测能够为车道偏离预警等应用提供足够的信息，但它缺乏自动驾驶路径规划和控制所需的空间度量信息。三个根本性的限制促使了3D车道检测的必要性：首先，2D方法仅处理像素坐标，无法提供运动规划系统所需的实际物理距离、车道宽度及几何关系[9]；其次，透视投影会导致几何上的歧义，尤其是在多级道路场景（如立交桥和互通式立交）中，平行车道会向消失点汇聚，空间尺度分布不均匀，从而影响距离估计的准确性[10]；最后，2D表示方法假设道路表面是平面的，无法捕捉到包括丘陵、山谷和倾斜曲线在内的高度变化，而这些对于车辆动力学和轨迹规划至关重要[11]。这些限制促使学术界和工业界转向3D车道检测，后者能够在真实世界坐标中重建车道几何结构，提供包括车道曲率、高度变化和相对位置在内的准确空间信息[12]。向3D车道检测的演变带来了多种技术途径：基于摄像机的方法通过鸟瞰图（BEV）变换（使用逆透视映射IPM）[13]、MLP[14]或Transformer[15]架构实现3D重建；或者采用非BEV方法[16]，通过深度估计、基于查询的学习或几何约束直接提取3D信息；基于LiDAR的方法[17]利用精确的3D点云进行直接空间测量；多传感器融合方法[18]结合摄像机的丰富纹理信息和LiDAR的精确深度数据实现鲁棒的车道检测。这一转变带来了挑战，如如何在将2D平面数据融合到3D空间时提高预测准确性、构建精确的3D车道线模型，以及优化多传感器融合的传感器校准[19]、[20]、[21]。
近年来，许多研究人员对车道检测方法进行了综述。Sibel等人[22]概述了基于传统计算机视觉方法的车道检测技术，但忽略了基于深度学习的车道检测方法的全面分析。相反，[23]、[24]虽然考虑了基于深度学习的2D车道检测方法，但缺乏对整个技术演变过程的系统梳理。此外，这些综述未能总结3D车道检测方法。Ma等人[25]仅关注基于单目相机的3D车道检测方案，未能全面涵盖其他类型传感器的相关方法。Sheng等人[26]专注于2D车道标记检测并进行了实证评估，但未涵盖对自动驾驶至关重要的3D方法。Bi等人[27]试图同时覆盖2D和3D检测，但忽略了损失函数的关键分析，也没有提供不同方法之间设计权衡的深入见解。与现有综述不同，我们的分析从2D到3D的角度总结了车道检测的发展历程，同时指出了该领域的局限性和未来发展方向，特别是在深度学习方法进步的背景下。本研究的主要贡献如下：
(1)我们提供了一个全面的综述，涵盖了2D和3D车道检测领域，分析了它们的技术演变、表示方案和局限性，并为每种方法类别概述了通用流程。
(2)我们根据输出表示和几何先验提出了2D车道检测方法的分类框架，而非仅仅基于网络架构，从而更深入地探讨了基于分割、基于特征和基于参数拟合的方法之间的设计权衡；
(3)我们系统地分析了2008年至2023年间公开的28个车道检测数据集，并全面回顾了车道检测研究中使用的损失函数和评估指标；
(4)我们在多个基准数据集上进行了广泛的性能评估，分析了技术分类、上下文增强机制、视角校正策略和车道表示方案对检测准确性和计算效率的影响；
(5)我们通过调查分析确定了有前景的研究方向，为推动车道检测技术向实际自动驾驶应用迈进提供了 actionable 的见解。
我们的调查结构如图2所示。图2顶部的四个分析维度为整个调查提供了评估车道检测方法的全面框架。技术分类框架是我们的主要分类依据。上下文增强机制包括提升空间理解能力的架构创新。视角校正策略通过各种视图变换方法解决了3D检测中的挑战。车道表示涵盖了从密集的像素级掩码到稀疏表示的各种输出格式。第2节介绍了构成车道检测研究基础的数据集、损失函数和评估指标。第3节和第4节分别回顾了2D和3D车道检测方法。第5节分析了不同数据集上的基准测试结果，并讨论了不同设计因素对检测性能的影响。第6节指出了塑造车道检测技术未来的七个有前景的研究方向。最后，第7节提出了结论。
部分摘录
数据集与指标
本节首先全面介绍了深度学习基础车道检测领域中常用的开源数据集，强调了它们的关键特征并进行了比较。接着，我们详细回顾了损失函数和评估指标在车道检测中的应用，这些因素对学习任务至关重要。
2D车道检测的进展
本节回顾了2D车道检测的深度学习方法。首先，我们将现有方法分为明确的类别，并分析了每种方法的优点和缺点。最后，我们探讨了使用逆透视映射（IPM）将2D车道转换为3D表示的方法及其固有的局限性。
3D车道检测的进展
在了解第3节中2D车道检测方法的局限性后，本节回顾了基于深度学习的3D车道检测方法。首先，我们对当前的3D车道检测方法进行了分类，并介绍了每种方法的一般流程。接着，我们详细分析了三种类型的代表性方法：基于摄像机的方法、基于LiDAR的方法和多传感器方法。基准评估
本节总结了基于深度学习的2D和3D车道检测方法在公共数据集上的性能，并从深度学习车道检测网络设计的四个核心角度讨论和分析了这些方法。未来趋势
本节探讨了车道检测技术的未来发展趋势，重点关注七个有望推动自动驾驶技术进步的创新方向。结论
本调查全面回顾了基于深度学习的自动驾驶系统车道检测方法。通过分析从2D到3D车道检测方法的演变过程，我们建立了一个新的分类框架，深入探讨了不同方法之间的技术权衡。研究发现，基于分割的方法在保持详细车道几何信息方面表现优异，但计算成本较高；而基于特征的方法CRediT作者贡献声明
张旭鑫：监督、资源管理、项目统筹、资金获取、数据整理。洪瑞坤：撰写 – 审稿与编辑、初稿撰写、可视化、验证、方法论设计、调查分析、数据整理、概念构建。王成：验证、监督、方法论设计。郭子轩：验证、资源管理、方法论设计。王子瑜：验证、调查分析、数据整理。吕周航：调查分析、形式化分析、数据整理。
利益冲突声明
作者声明没有已知的财务利益冲突或个人关系可能影响本文的研究结果。致谢
我们衷心感谢所有为这项研究做出贡献的人。特别感谢我们的同行和同事，他们的宝贵见解和深思熟虑的反馈对本文的撰写至关重要。同时，我们也向引用研究的作者们表示深切的敬意和感谢，他们的开创性工作极大地推动了车道检测技术的发展。我们特别感谢那位匿名洪瑞坤于2023年在中国哈尔滨科技大学获得车辆工程学士学位。目前，他正在吉林大学汽车底盘集成与仿生学国家重点实验室攻读学术硕士学位。他的研究兴趣包括计算机视觉和端到端自动驾驶安全。
