一种结合知识引导的锚点特征增强机制的车道检测模型

车道检测锚特征增强机制研究。本文提出基于实例级车道先验位置概率的锚特征增强方法，解决弱证据场景下辅助特征失效和锚点-GT位置偏差问题。通过IKGE模块学习全局上下文与局部细节的融合引导，AFED模块实现锚特征优化，显著提升检测鲁棒性和精度。在CULane和TuSimple数据集上优于CLRNet、GSENet等SOTA模型。

　　

南志雄|徐婉颖|杨哲|罗富林|向涛

重庆大学计算机科学学院，中国重庆，400044

摘要

车道检测是自动驾驶和辅助驾驶领域的一项基本任务。自2019年以来，基于锚点的车道检测方法表现出明显的优势，但在锚点特征增强机制方面也存在一些关键问题。具体来说，当前的锚点特征增强机制在车道视觉线索较弱或完全缺失的挑战性场景中效果不佳。此外，锚点与车道真实标记（Ground Truths, GTs）之间的固有位置偏差问题尚未得到有效解决，导致锚点特征优化不准确或出现误判。本文提出了一种基于锚点的车道检测模型，该模型结合了先验知识来指导锚点特征增强机制，通过统一的架构同时解决了上述所有问题。核心创新在于提出了一个实例级车道知识引导编码器（Instance-Level Lane Knowledge Guided Encoder），该编码器可以方便地集成到基于锚点的车道检测框架的标准流程中，有助于减少对车道真实标记的粗略近似导致的误判，并降低在车道视觉证据极弱或完全缺失的挑战性场景中漏检的风险。我们在两个数据集（TuSimple和CULane）上进行了系列的对比实验、消融实验和可视化实验。实验结果表明，我们提出的模型达到了最先进的性能水平，优于最具代表性的模型CLRNet和SOTA模型GSENet。我们的代码将发布在https://github.com/CQU-ADHRI-Lab/IKGNet

引言

车道检测[1]、[2]对自动驾驶[3]、[4]、[5]、[6]、[7]至关重要，并在高级驾驶辅助系统（ADAS）[8]、[9]、[10]、[11]、[12]中发挥着关键作用。现有的车道检测方法通常分为四种类型：基于分割的[13]、[14]、[15]、[16]、基于关键点的[17]、[18]、[19]、基于曲线的[20]、[21]、[22]、[23]以及基于锚点的[8]、[9]、[24]、[25]、[26]、[27]、[28]、[29]、[30]、[31]。其中，基于锚点的方法逐渐成为主流。对于基于锚点的车道检测方法，锚点特征增强是加强锚点特征表示的核心步骤。例如，LaneATT[27]引入了一种基于锚点的注意力机制，利用其他锚点特征来增强目标锚点的特征表示；CLRNet[8]采用了跨层细化策略，通过不同网络层的特征图逐步增强锚点特征；GSENet[29]提出了一个全局特征提取模块，通过将全局特征与锚点特征连接起来来增强锚点特征表示。

总之，这些机制利用辅助特征（如其他锚点特征、不同网络层的特征和全局特征）来增强目标锚点的特征，从而显著提高了锚点特征优化的效果。然而，仍存在两个关键挑战需要解决。1) 视觉证据较弱或缺失。在某些具有严重遮挡（图1-a）和模糊（图1-b）[32]、[33]的挑战性场景中，车道线呈现出较弱或完全缺失的视觉证据。因此，辅助特征本身不包含足够的有用信息。在这种情况下，使用辅助特征来优化目标锚点特征是无效的。2) 锚点与车道真实标记的偏差。车道锚点在图像中的位置是预先定义的。由于交通场景的多样性和复杂性，存在一些锚点位置与车道真实标记显著偏离的情况（图1-c和图1-d）。因此，辅助特征（如其他锚点的特征）可能会提供不准确（甚至误导性的）信息，因为这些特征是从偏离车道真实标记的位置提取的，或者辅助特征（如不同网络层的特征和全局特征）只能提供泛化信息，无法提供与目标锚点位置相关的优先信息。

在上述内容中，我们解释了现有方法难以应对这些挑战的原因。接下来，我们将介绍我们解决这两个挑战的动机。对于第一个挑战，当图像中的车道视觉证据较弱或缺失时，任何辅助特征本身都难以捕获有用信息。因此，利用辅助特征来增强锚点特征是不合理的。为了解决这个问题，应该从整个数据集中学习辅助信息，而不是依赖于特定图像。一种直观的方法是从整个数据集中学习可能的车道位置先验知识，以辅助锚点特征增强。为了解决第二个挑战，重要的是定位与实际车道位置相邻的区域，从而可以从这些区域提取准确的特征来辅助锚点特征增强。

本文的核心研究目标是设计一种新的锚点特征增强机制，以共同应对上述挑战。基于这一动机，我们发现车道先验位置知识是同时解决这两个挑战的关键。因此，我们方法的核心思想是设计一种了解车道先验位置知识的锚点特征增强机制。我们提出了“实例级车道先验位置知识”（Instance-Level Lane Prior Position Knowledge）的概念，定义为车道实例可能位置的先验概率，反映了车道实例的全局空间分布和结构特征。

为了实现这一核心研究目标，本文提出了一种基于锚点的车道检测模型，该模型包含两个组成部分，即实例级车道知识引导编码器（Instance-Level Lane Knowledge Guided Encoder, IKGE）和锚点特征增强与解码器（Anchor Feature Enhancement and Decoder, AFED）。IKGE首先在车道真实标记的监督下学习先验位置概率图，然后利用这一知识融合全局上下文和局部细节来构建指导信息。AFED负责通过将锚点特征与IKGE编码的指导信息结合起来来增强锚点特征表示。利用增强的锚点特征，通过标准流程进行车道检测。车道先验位置知识被集成到IKGE和AFED中。因此，我们的方法旨在同时应对视觉证据较弱/缺失和锚点与车道真实标记偏差的挑战。

与现有方法相比，我们的方法具有以下优势。1) 良好的可解释性：现有方法使用辅助特征来增强锚点特征，但这些辅助特征并不提供明确可解释的信息。相比之下，我们的方法学习了实例级先验位置概率图，该图明确反映了车道实例的空间分布和结构特征。2) 强大的鲁棒性：在现有方法中，辅助特征与特定图像紧密相关。因此，当图像中没有明显的车道线视觉线索时，很难提取有效的辅助特征，甚至辅助特征中可能包含干扰信息，从而导致锚点特征增强机制的效果不佳。相比之下，我们的方法利用车道先验位置知识来增强锚点特征。先验知识是从整个数据集中学习的，因此具有更强的鲁棒性。当车道真实标记周围存在极弱或完全缺失的视觉线索时，我们的方法仍能推断出靠近车道真实标记的高概率位置，从而减少在严重遮挡等挑战性场景中的漏检。同时，车道先验位置知识有助于锚点特征增强，使其专注于靠近车道真实标记的区域，从而减少在意外图像区域中的误判。

为了评估我们的模型，我们在两个广泛使用的公共数据集TuSimple[34]和CULane[13]上进行了大量实验。实验结果表明，我们的模型在所有数据集上都达到了最先进的性能水平。同时，一系列消融和可视化实验分析了我们模型中关键模块的有效性。

本文的主要贡献如下。1)我们提出了一种知识引导的锚点特征增强机制，该机制通过车道真实标记的监督学习可能车道位置的实例级先验概率图。2)我们的方法在广泛使用的基准数据集上取得了最先进的性能，并具有良好的可解释性和强大的鲁棒性。

本文的结构如下：第1节介绍研究背景、关键挑战、动机、研究目标和贡献；第2节总结现有方法；第3节详细阐述所提出的模型；第4节测试模型的性能；第5节讨论所提出方法的局限性及未来研究的潜在方向；第6节总结本文。

车道检测方法

根据不同的车道线表示方法，基于深度学习的车道检测方法可以分为四种类型：基于分割的、基于关键点的、基于曲线的和基于锚点的方法。

初步介绍

基于锚点的方法预先定义车道锚点，并通过为锚点添加预测的偏移量来实现车道检测。车道通常是长而直的形状。因此，线性形状的锚点由一组点表示

$y_i=i*\frac{H_I}{n?1}$ 其中H_I表示图像高度，n表示每个锚点中的点数。

锚点通常是通过均匀采样锚点位置来预先定义的

数据集

我们的实验在两个广泛使用的数据集CULane[13]和TuSimple[34]上进行。

CULane。CULane是一个大规模的车道检测数据集，收集了多种具有挑战性的场景，包含88,880张训练图像、9,675张验证图像和34,680张测试图像。每张图像的分辨率为1640 × 590像素，最多包含4条车道。现有方法[8]、[14]、[19]、[24]、[29]、[30]通常采用mF1、F1@50和F1@75作为综合评估指标。

结论

本文提出了一种基于锚点的车道检测模型，并在两个常用的公共数据集上与现有方法进行了广泛比较。比较结果证明了我们模型的优势。我们模型的核心贡献是提出了实例级车道先验位置学习机制，这对于提高车道锚点特征的鲁棒性具有重要意义。消融实验和可视化实验验证了我们提出的先验知识的有效性。

CRediT作者贡献声明

南志雄：写作——审稿与编辑、撰写原始草稿、可视化、软件开发、资源管理、方法论。徐婉颖：写作——审稿与编辑、撰写原始草稿、可视化、验证、形式分析、数据管理、概念化。杨哲：软件开发、项目管理、形式分析、数据管理、概念化。罗富林：写作——审稿与编辑、方法论、形式分析、数据管理、概念化。向涛：

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

作者声明以下财务利益/个人关系可能被视为潜在的利益冲突：

有待申请的专利。如果有其他作者，他们也声明没有已知的财务利益或个人关系可能影响本文所述的工作