基于交通密度驱动的任务生成的车辆边缘计算中的任务卸载

《Ad Hoc Networks》：Task offloading in vehicular edge computing based on traffic density-driven task generation

交通密度驱动的车载边缘计算任务卸载优化方法，提出拥堵系数评估节点负载，结合高斯分布动态生成任务并设计DDPG强化学习算法优化卸载策略，显著降低QoE能耗比。

　　

Jinlong Fan|Yaling Xun|Xing Wang|Haifeng Yang

太原科技大学，中国山西省太原市，030024

摘要

现有的车载边缘计算任务卸载方法虽然考虑了服务器和无线设备（WDs）的移动性，但往往采用过于简化的任务生成模式（例如，静态场景和固定设备数量），这与复杂的真实世界交通环境不符。此外，这些方法对动态网络环境的适应能力有限。为了解决这些问题，我们提出了一种基于交通密度生成任务的车载边缘计算任务卸载方案，其中定义了一个拥堵系数作为节点负载评估的综合指标，该指标基于两个关键指标：道路占用时间和平均车辆速度。首先，设计了一种任务生成机制，利用高斯分布对车辆流量数据进行细化处理，以实现更精细的任务生成粒度。为了进一步提高环境逼真度，通过对拥堵系数较高的节点增加任务量来进行二次调整。接下来，构建了一个车载边缘计算系统模型，包括任务生成、传输、计算和能耗模块。然后将任务卸载问题建模为马尔可夫决策过程（MDP），并开发了一种基于深度确定性策略梯度（DDPG）的优化策略。在该策略中，定义的拥堵系数被整合为关键的状态空间特征之一，并构建了一个旨在实现延迟和能耗协同优化的奖励函数。最后，仿真结果表明，我们的卸载方案在降低平均体验质量（QoE）方面优于现有的先进方法，同时实现了接近最优的解决方案。

引言

在5G通信技术和新能源汽车产业深度融合的时代，车载边缘计算（VEC）作为智能交通系统的核心支持技术应运而生，这得益于其低延迟和高可靠性[1]、[2]、[3]。随着车辆终端产生的计算任务（如智能导航、辅助驾驶、面部识别、图像/视频处理等关键任务）的爆发性增长[4]、[5]、[6]，这些资源密集型工作负载需要巨大的数据吞吐量和严格的实时性要求。传统的车载处理范式面临计算瓶颈，而集中式云处理难以满足毫秒级的延迟要求。移动边缘计算（MEC）的引入通过将计算节点推向网络边缘（特别是通过构建路边单元RSUs作为边缘服务器集群）提供了一个创新解决方案，形成了分布式计算网络架构[7]、[8]、[9]、[10]。在这种架构下，车辆作为移动终端可以根据实时道路条件动态选择最佳RSU进行任务卸载。

随着车辆在道路网络中的不断移动，它们持续生成各种计算任务。这些任务的频率和分布不仅受车辆移动性的影响，还受到交通拥堵、车辆密度和应用场景等因素的影响。因此，准确建模任务生成过程对于优化车载边缘计算系统的性能至关重要。

然而，Yu和Jeremiahet等人将仿真环境部署在道路边缘，利用路边服务器为经过的车辆卸载计算和数字孪生任务[11]、[12]。这些研究通常将车辆位置固定在特定区域内进行重复循环，忽略了交通流量随时间的变化以及不同交叉口节点之间的相关性。Cheng等人关注交通交叉口，但将其范围限制在具有固定数量移动设备的单个十字路口，未能捕捉到真实世界交通环境的复杂性[13]。在[14]中，重新定义了MEC系统中的感知信息（AoI），结合强化学习来最小化AoI。然而，实验设置假设设备位置和数量是固定的，忽略了移动设备的动态特性。在图1所示的拓扑结构中，节点代表车载边缘计算环境中的交叉口，节点上的数字表示当前时刻每个交叉口的总交通流量比例。边表示交叉口之间的成本（例如距离）。交叉口的交通流量随时间波动，导致计算任务相应变化。这一动态特性不仅反映了任务生成的时空分布，还增强了移动设备动态的仿真，使任务调度策略更符合实际应用场景。随着智能交通系统复杂性的增加以及车载终端产生的计算任务激增，传统的任务卸载策略难以应对资源分配不平衡、服务质量波动和动态网络环境中对延迟敏感的应用程序激增等挑战。特别是在交通流量频繁变化和网络条件波动的情况下，如何灵活高效地将计算任务卸载到适当的边缘服务器成为车载边缘计算中的关键问题。Liu等人利用历史出租车轨迹通过车辆移动模式模拟移动边缘服务器[15]。然而，真实世界车辆轨迹的复杂性在建模中引入了大量的计算开销，并限制了实验的可扩展性。Zhang等人仅关注涉及单个用户和单个边缘服务器（ES）的场景，将任务卸载简化为二元决策，忽略了实际部署中普遍存在的异构多服务器计算资源[16]。在[13]中，重点关注无人机（UAV）辅助的移动边缘计算，旨在通过联合优化UAV轨迹、用户传输功率和计算资源分配来最小化能耗。然而，这些工作主要依赖于手工制定的启发式算法，缺乏通用性。此外，J. Meng等人提出了一种使用贪婪策略的在线调度算法[17]。尽管其计算模型更接近实际应用，但它假设所有边缘服务器的计算能力相同。显然，这些方法对车载边缘计算的适用性施加了某些限制。

为了解决上述问题，我们首先对移动边缘计算环境中的任务生成过程进行建模，旨在更准确地反映交通流量的动态特性和任务负载的空间分布。在此基础上，我们进一步设计了一种动态任务卸载策略，将任务卸载问题建模为马尔可夫决策过程（MDP）。系统状态受到多种动态因素的影响，如车辆分布密度、新上传的任务数据以及服务器资源的动态变化。这些因素通常难以使用静态规则或先验知识准确预测。因此，我们采用了基于深度强化学习（DRL）的优化算法[18]，即深度确定性策略梯度（DDPG）[19]、[20]，该算法旨在通过持续在线学习和自适应调整来识别符合系统长期性能目标的最优卸载策略。主要贡献如下。

• •
  我们提出了一种基于交通密度驱动的任务生成的车载边缘卸载框架。具体而言，定义了一个新的拥堵系数作为评估节点负载条件的综合指标，这将成为后续任务生成和卸载决策的关键基础。
• •
  设计了一种任务生成机制，利用高斯分布对初始任务生成中的交通流量数据进行细化处理。随后，根据拥堵系数动态调整任务生成的频率和数量，确保任务生成能够准确反映任务负载的时空动态特性，从而为优化任务调度策略提供可靠的数据支持。
• •
  我们开发了一种基于DDPG的深度强化学习任务卸载算法，该算法针对车载网络中节点负载不平衡和资源动态的特点进行了定制。节点拥堵系数被纳入系统状态空间作为关键特征，精确捕捉实时负载状态。此外，构建了一个用于延迟和能耗协同优化的奖励函数，显著提高了卸载策略的性能。
• •
  广泛的实验表明，我们的卸载策略在关键性能指标（包括系统延迟、任务完成率、服务器资源利用率和能源效率）方面取得了显著改进。特别是在高交通密度和异构条件下，我们的算法表现出强大的鲁棒性和适应性。

相关工作

相关工作

在本节中，我们回顾了移动边缘计算中的服务器选择和深度强化学习（DRL）优化的相关工作。

基于交通密度驱动的任务生成的车载边缘计算系统模型

系统环境如图2所示。考虑一组时间槽$T=\{1,2,3\dots T\}$, 一组路边单元（RSUs）$N=\{1,2,3\dots N\}$作为边缘服务器，以及一组移动设备$M=\{1,2,3\dots M\}$共同构成了车载边缘计算系统。RSUs具有特定的覆盖范围，并通过有线传输相互连接。当移动设备生成任务时，这些任务通过无线网络上传到服务器。

基于深度强化学习的任务卸载策略

任务卸载策略不仅需要适应移动设备的动态变化，还需要平衡多维性能指标，如系统负载平衡、任务完成延迟和能源效率。因此，智能和自适应的任务卸载机制可以根据环境变化实时调整决策策略，从而提高整体系统计算效率和服务质量，并为高效运行提供强大支持

实验

在本节中，为了评估我们算法在各种场景下的性能，我们进行了广泛的仿真实验。我们将提出的算法与启发式算法和其他强化学习算法进行了比较。

结论与未来工作

本研究提出了一种基于深度强化学习的车载边缘计算任务卸载方案，解决了现有方法未能充分考虑车辆流量密度与任务生成模式之间的关系以及交通流量的时间变化的不足。首先，设计了一种任务生成机制，利用高斯分布对车辆流量数据进行细化处理，以实现更精细的任务生成粒度，从而动态地

CRediT作者贡献声明

Jinlong Fan：撰写——原始草案。Yaling Xun：撰写——原始草案。Xing Wang：可视化。Haifeng Yang：监督。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。

致谢

本工作得到了国家自然科学基金（编号：62272336、12473105）和山西省重点实验室项目（编号：202204010931026）的支持。