基于边界不确定性损失的多粒度增强方法在道路和车道分割中的应用

《Displays》：Multi-grained enhancement with boundary uncertainty loss for road and lane segmentation

道路与车道协同分割的粗到细感知框架提出多粒度特征增强和边界不确定性损失优化，有效解决复杂场景下分割边界模糊问题。

　　

Xin Gao|Wenhui Zhao|Ying Liu|Yijin Xiong|Jianwang Gan|Qingwen Meng|Guoying Zhang|Jianqiang Wang

清华大学车辆与移动学院，北京，100084，中国

摘要

道路和车道分割的目标是为自动驾驶车辆提供基本的道路感知结果。然而，现有的方法通常是独立处理这两个任务的，即使是少数多任务网络也忽略了它们之间的共现关系和预测方差，从而在道路感知中产生了差距。在本文中，我们提出了一种从粗到细的道路感知范式，该范式从特征显著性角度依次增强车道和道路特征，使得从难处理样本中提取特征变得更加容易。首先，我们提出了一种基于轻量级注意力的粗粒度掩码生成方法来增强潜在的对象特征。此外，我们整合了全局和局部信息以提高边界特征的区分度，这对于优化共现车道和道路的分割至关重要。除了多粒度增强之外，我们还引入了边界不确定性损失来惩罚辅助分类器和主分类器之间的不一致预测，从而减轻了道路感知中的边界预测方差问题。我们的方法避免了耦合数据的联合建模，并在最新的道路感知数据集OpenMPD和流行的自动驾驶数据集BDD100K上一致地提高了性能。

引言

道路和车道分割是自动驾驶的基本任务[1]、[2]、[3]。它们对于机器人技术和自动化仪器中的环境理解也至关重要[4]。在过去的几年中，研究人员在探索高效的道路分割和车道检测方法方面做出了巨大努力[5]、[6]、[7]。值得注意的是，在大多数感知竞赛中，车道检测和道路分割是两个独立的任务，但在自动驾驶的实际应用中，必须考虑算法的冗余性和计算负担。道路和车道大多数情况下是成对出现的，可以认为车道包含在道路中[8]。语义分割方法可以同时实现车道分割和道路分割。然而，语义分割通常根据感受野考虑像素相邻的语义区域，选择适当的粒度来识别车道是一项具有挑战性的任务。当前的语义分割算法很少考虑数据之间的密切相关性，这导致了道路感知任务之间的差距。在本文中，我们专注于从粗到细的道路感知，并利用道路和车道数据的耦合来促进分割。

传统的道路感知主要包括基于纹理、边界和阈值的分割方法。随着深度学习的发展，道路检测主要使用语义分割方法将每个像素分类为可驾驶或不可驾驶[9]、[10]、[11]。然而，对于车道检测，除了语义分割之外，另一种主流趋势是将实例分割与锚点、聚类等结合起来，以便以实例的形式检测每个车道[12]、[13]。尽管这种类型的车道检测方法在应用于流行的公开数据集时显示出高准确性，但它们在遇到不规则车道时容易失败，并且在遮挡环境中存在较高的误检测率。近年来，一些多任务学习网络尝试使用多任务分割网络进行道路分割和车道检测，并取得了优异的道路感知结果[14]、[15]、[16]、[17]。然而，一些多任务网络仍然使用聚类或实例化车道的形式来获得高准确性，这在复杂的交通场景或不规则道路上并不稳健。此外，道路和车道可以被视为具有紧密相邻边界的整体结构的两部分，这是道路感知的重要先验信息，但尚未被考虑，而使用高效网络来完成这两个任务是一般趋势。然而，为了在所有场景中实现稳健的道路感知，基于聚类的车道检测可能并不适合。理想情况下，应该由轻量级的语义分割模型来完成适当的道路分割和车道分割，并通过道路和车道的耦合来优化感知结果。

为了利用道路和车道耦合的先验信息，Zhang等人建立了一个具有相互关联子结构的多任务学习框架，以同时分割车道和道路[18]，这为耦合任务的学习提供了新的见解。在本文中，我们基于道路和车道的数据特性探索了一种从粗到细的道路感知模型，并提出了一种基于不确定性的分割细化方法来优化边界。所提出的方法包括两个关键组成部分：粗到细的多粒度增强模块（MGE）和边界不确定性损失（BU）。具体来说，MGE在特征提取过程中起作用。首先，通过边界信息和注意力引导的优化，将潜在的分割对象与背景分离出来，从而获得具有相对突出道路特征和车道特征的粗粒度掩码。然后，设计了一种基于条带池化的有效特征细化方法，该方法可以在增强道路和车道边界特征的同时有效捕捉长距离依赖性。此外，由于道路和车道的耦合，在对象边界处存在数据不确定性，这容易导致预测方差[19]。在感知任务中经常使用困难样本挖掘和边界特征学习策略，而针对不确定感知的损失函数应根据其应用场景设计成不同类型[20]。我们在相对熵的基础上引入了边界不确定性损失，以减轻由模糊边界引起的误预测。如图1所示，广泛的实验表明，MGE-BU的性能优于现有的最先进方法。

本文的主要贡献总结如下：

• •
  构建了一个仅引入少量参数的从粗到细的特征提取器优化框架。
• •
  从特征显著性的角度出发，所提出的多粒度增强模块减轻了难以提取样本的特征提取挑战，并有效缓解了预测道路和车道之间相似边界的难题，从而提高了这些边界的区分度。
• •
  通过量化预测方差，所提出的边界不确定性损失专门解决了由边界模糊引起的预测误差问题，进一步优化了道路和车道的预测准确性。
• •
  广泛的实验证明了我们方法的有效性，它可以轻松地插入到现有的分割方法中，并在性能上持续超越最先进的方法。

本文的组织结构如下。我们在第2节简要概述了相关工作。第3节提出了方法，第4节和第5节分别展示了实验结果和实验比较。最后，第5节对本文进行了总结。

相关工作

相关工作

道路和车道分割：道路分割的目的是为自动驾驶提供可驾驶区域的感知[21]。近年来，通过语义分割进行道路分割已被证明是有效的。通过充分利用语义分割基线网络和膨胀卷积操作，一些研究在道路分割任务中取得了令人印象深刻的性能[22]、[23]。此外，一些基于RGB的方法还探索了边界等线索

概述

为了验证所提出方法的有效性，我们基于UNet架构设计了一个简单的分割基线，并将我们的方法集成到网络中[34]。如图2所示，我们的方法由两个主要部分组成，即粗到细的多粒度增强模块（MGE）和边界不确定性损失（BU）。所使用的基线包括编码器和解码器，并利用层跳过连接来增强原始特征的映射。

实验和结果

在本节中，我们首先介绍使用的数据集、实验设置和评估指标。然后，我们通过广泛的比较实验和带有结果可视化的迁移实验来展示所提出方法的优越性和可迁移性。最后，我们提供了广泛的消融研究，并进行实验分析，以揭示我们方法中每个组件的贡献。

结论

在本文中，我们提出了一种从粗到细的道路感知范式，通过增强特征显著性来进行监督，利用粗粒度特征增强车道和道路，然后进行细粒度特征细化以提高边界特征的区分度，从而降低网络对难处理样本的特征提取难度。我们的方法可以自然地嵌入到现有的语义分割方法中，并提供持续的

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本研究得到了国家自然科学基金（项目编号：52502508、52402502、52204180）的支持，同时也得到了中国博士后科学基金会博士后奖学金计划（C级）（项目编号：GZC20250905）的支持。作者感谢教育部-中国移动通信集团公司联合实验室的支持。本研究还得到了清华-丰田联合研究院的赞助