针对自动驾驶车辆的带宽自适应、云辅助的360度3D感知技术

《Computer Communications》：Bandwidth-adaptive cloud-assisted 360-degree 3D perception for autonomous vehicles

自动驾驶实时环境感知中，为解决车载计算资源受限导致的延迟问题，提出基于V2X通信的混合计算框架，将BEVFormer模型分层处理，结合量化压缩、特征剪枝和动态参数优化算法，实现端到端延迟降低72%，在动态网络条件下提升检测精度20%。

　　

Faisal Hawlader | Rui Meireles | Gamal Elghazaly | Ana Aguiar | Raphael Frank

卢森堡大学安全、可靠性和信任跨学科中心（SnT），L-1855，卢森堡

摘要

自动驾驶面临的一个关键挑战是在严格的延迟限制下保持对周围障碍物的实时感知。高处理需求加上有限的车载计算资源可能导致延迟问题，尤其是在复杂的城市环境中。为了解决这个问题，我们提出利用车对一切（V2X）通信将部分处理任务卸载到计算资源丰富的云端，从而降低整体延迟。我们的方法利用基于Transformer的模型将多摄像头传感器数据融合成全面的鸟瞰图（BEV）表示，实现精确的360度3D物体检测。计算任务根据在本地处理的层数和特征的量化级别在车辆和云端之间动态分配。为了进一步减少网络负载，我们在传输前应用特征向量裁剪和压缩技术。在实际实验评估中，与传统的车载解决方案相比，我们的混合策略实现了72%的端到端延迟降低。为了适应网络条件的变化，我们引入了一种动态优化算法，该算法选择分割点和量化级别，以在满足实时延迟限制的同时最大化检测精度。在现实带宽变化条件下的跟踪评估表明，这种自适应方法将精度提高了多达20%。

引言

全自动驾驶车辆的发展推动了汽车行业的重大进步[1]，[2]，有可能通过提高运营效率和安全性[3]来改变驾驶体验。自动驾驶的核心是感知系统，它能够实时检测周围物体[4]，[5]。这种感知能力对于在复杂环境中导航和支持运动规划中的决策至关重要[6]。像特斯拉[7]、宝马和梅赛德斯-奔驰这样的行业领导者，在处理进行3D物体检测所需的大量传感器数据（例如摄像头、雷达和LiDAR）方面面临着相当大的挑战[8]，[9]。最近的研究集中在解决与自动驾驶感知任务相关的严格延迟和精度要求[10]上。诸如BEVFormer[11]这样的感知模型已经展示了高检测精度[12]。然而，它们的计算需求往往超过了车辆硬件的能力[10]，导致延迟和功耗增加[13]。例如，福特汽车公司发布的一份行业报告指出，未来的车辆可能需要将其能量的高达47%用于车载计算[2]。这些观察结果突显了在受限的车载计算资源下，感知精度与实时延迟要求之间的根本矛盾。

为了解决车载计算挑战，研究人员提出了分割感知模型[14]，[15]并将计算密集型层卸载到云端[16]，[17]。虽然这种策略减轻了车载计算负担，但也引入了中间特征向量传输延迟[18]，这对于具有严格延迟要求的实时检测来说是一个问题[14]。为了高效传输大型特征向量以进行云端处理，可以采用训练后的量化[19]、裁剪（即异常值去除）[20]和压缩[10]技术。这些技术共同显著减少了传输的数据量。通过降低带宽要求和传输延迟[21]，这些技术使得在混合计算环境中实现实时处理成为可能[20]。然而，量化、裁剪和压缩可能会由于数据丢失而影响检测质量[20]。此外，在实际车辆部署中，延迟不仅由计算决定，还受到无线带宽波动和移动性引起的变化的影响。因此，在变化的网络条件下，找到端到端延迟和检测质量之间的最佳平衡仍然是一个关键的研究领域。

为了探索这些平衡，我们提出了一种基于BEVFormer的动态混合计算策略，该策略结合了360度3D检测的合作感知，并根据实时约束动态调整分割层和量化级别。合作感知使车辆和基础设施能够通过车对一切（V2X）共享传感器数据，克服了遮挡和传感器范围限制等限制[22]。通过交换包含检测对象信息的合作感知消息（CPMs），这种方法扩展了感知范围，超出了车载传感器的能力[23]。在我们的方法中，车辆在本地执行轻量级特征提取，同时将密集计算任务卸载到云端，结合本地和云端处理来提高实时性能。

实验结果显示，与仅使用车载计算相比，端到端延迟平均降低了72%。不同的分割深度和量化级别会导致不同的延迟和精度权衡。考虑到这一点，我们提出了一种动态参数选择方案，该方案在给定可用网络带宽的情况下，能够在满足目标延迟限制的同时最大化检测精度。我们的评估表明，与具有相同端到端延迟的静态参数化相比，动态策略可以在广泛的网络带宽和延迟限制组合下将精度提高10%到20%。我们的贡献可以总结为：

• 混合计算感知方案：
  我们提出了一种基于BEVFormer的混合计算感知方案，能够在车辆和云端之间分配计算任务，并通过V2X传输数据。它应用数据量化、裁剪和压缩技术，以减少卸载延迟，同时保持检测质量。

实际测试：

我们在具有车辆移动性和V2X集成的实际场景中进行了测试。我们对比了完全车载计算方案和我们的混合方案，并分析了不同混合计算参数化对检测精度和整体延迟的影响。

动态参数选择：

我们扩展了基础混合计算方案，加入了一个受限优化的动态参数选择算法。它在不稳定的网络条件下最大化检测精度，同时遵守严格的延迟限制。

本文的其余部分组织如下：第2节回顾相关文献。第3节详细介绍了我们提出的方法，包括车载和云端组件以及使用的测试路线和通信技术。第4节展示了实验结果，重点关注延迟与精度之间的权衡。第5节介绍了混合计算参数优化方案。最后，第6节总结了我们的发现并概述了潜在的未来研究方向。

相关工作

相关研究

合作感知[22]作为一种提高自动驾驶车辆情境感知的方法，受到了广泛关注[1]，[24]，[25]。通过使车辆能够共享传感器数据和计算资源[26]，[27]，这些系统可以显著改善复杂环境中的物体检测[9]，[28]和预测[29]。最近的一些研究探索了车对云（V2C）通信，将感知任务卸载到远程服务器[8]，[10]，[30]。

通过利用

方法论

在本节中，我们描述了所提出的360度3D感知框架的系统架构和混合计算方法。多视图（6x）摄像头图像使用BEVFormer[11]进行处理，这是一种用于自动驾驶的3D物体检测框架。感知流程在车辆和远程云服务器之间进行分割，其中早期网络层在车载执行，而更深层次的层根据选定的分割配置卸载到云端。

实验和结果

在本节中，我们使用第3节描述的设置评估了我们提出的3D感知系统的性能。每个实验重复了五次，以确保统计结果的稳健性。

动态混合计算参数选择

我们已经证明，改变分割点和量化级别会导致带宽使用、端到端检测延迟和感知精度之间的不同权衡。在本节中，我们提出了一种动态选择算法，该算法联合优化这两个参数，以在遵守带宽和延迟限制的同时最大化检测性能。

结论和未来工作

我们提出了一种混合计算360度3D物体检测系统，该系统采用了基于BEVFormer的模型，并结合了V2X通信。该方法将密集计算任务卸载到云端，同时在车载保持轻量级特征提取，实现实时感知。实验结果表明，动态裁剪、压缩和5G支持的C-V2X通信显著优化了延迟和带宽利用率。例如，在10Hz的频率下卸载FP32特征向量

CRediT作者贡献声明

Faisal Hawlader：撰写 – 审稿与编辑，撰写 – 原稿，可视化，验证，软件，方法论，研究资金获取，正式分析，数据管理，概念化。

Rui Meireles：撰写 – 审稿与编辑，撰写 – 原稿。

Gamal Elghazaly：撰写 – 审稿与编辑。 Ana Aguiar：撰写 – 审稿与编辑。 Rapha?l Frank：撰写 – 审稿与编辑，监督，概念化。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Faisal HAWLADER报告称获得了卢森堡国家研究基金（FNR）的财务支持。如果还有其他作者，他们声明没有已知的可能会影响本文所报告工作的财务利益或个人关系。

致谢

本工作得到了卢森堡国家研究基金（FNR）的支持，依据AFR授权协议编号17020780，项目代号ACDC。作者还要感谢电信研究所的Raquel Lopes在收集车辆蜂窝带宽数据集方面提供的帮助。