编辑推荐:
提出基于Q学习的动态调度算法,优化多层级(车载边缘计算、移动边缘计算、云计算)任务卸载,考虑车辆移动性、信号强度和服务器负载,通过DriveNetSim仿真验证,通信延迟降低43%,处理成本减少38%。
Afzal Badshah|Abdulrahman Ahmed Gharawi|Mona Eisa|Nada Alzaben|Saud Yonbawi|Ali Daud
巴基斯坦萨尔戈达大学软件工程系
摘要
智能交通系统(ITS)不断生成数据,这些数据需要在异构计算架构(例如,车辆边缘计算(VEC)、移动边缘计算(MEC)和云计算(CC))下,在严格的延迟和连接性约束下进行处理。在这种情况下,高效的任务卸载需要具备移动性和服务器感知能力,以优化通信延迟、成本和资源利用。在本文中,我们提出了一种基于移动性的Q学习卸载调度器,该调度器可以根据实时指标(例如资源可用性、信号强度和基站(BS)切换动态)学习最优的层级选择。与以往的研究不同,这种方法明确地将车辆移动模式纳入Q学习中的卸载决策。当VEC未得到充分利用时,调度器优先选择VEC;当VEC过度使用时,会切换到MEC;只有在VEC和MEC都不可行时,才会回退到云端。一个结构化的奖励模型强化了那些能够提高资源效率的决策,并对过度切换或忽略未充分利用的资源进行惩罚。所提出的框架使用DriveNetSim进行评估,这是一个定制开发的车辆模拟器,可以模拟真实的移动性、信号退化和基站切换。仿真结果显示,系统强烈偏好VEC,仅在VEC过度使用时才会切换到MEC,并且对云的依赖最小。因此,该系统实现了高达43%的传输延迟减少和38%的处理成本降低,验证了其在动态车辆环境中的有效性。
引言
智能交通系统(ITS)的出现以及联网车辆(AV)的广泛采用,对通信和计算基础设施提出了前所未有的要求[1]、[2]。随着车辆应用的日益集成(例如车道辅助、协作感知、交通优化和实时危险响应),当前的车辆能够以低延迟和高可靠性生成、处理和处理大量数据[3]、[4]。行业预测显示,到2030年底,自主车辆的数量将超过5800万辆[5],每辆自主车辆都配备了各种传感器(例如摄像头、激光雷达、雷达、GPS和车载诊断系统),每天生成TB级的数据。这些数据带来了前所未有的计算需求,超出了车载基础设施的处理能力[6]、[7]。
为了满足这些需求,使用了包括VEC、MEC和CC层在内的多层架构。特别是随着5G和6G的出现,MEC在扩展车辆快速移动能力方面发挥了重要作用[8]、[9]。这些节点充当路边数据中心,使车辆能够实时卸载任务[10]。然而,性能严重依赖于信号强度、带宽可用性和车辆移动性。当车辆在不同基站覆盖范围内移动时,频繁的切换会增加通信延迟,使得实时卸载变得更加复杂[11]、[12]、[13]。
尽管云计算更具可扩展性,但由于距离原因,其通信延迟使其不太适合车辆操作[14]、[15]。另一方面,由于车载处理能力,VEC的延迟非常低,但它们不具备可扩展性[16]。这三层根据车辆运动、信号衰减和服务利用情况动态交互[17]。实时数据卸载是车辆网络中的关键挑战之一,这归因于车辆速度、动态连接性和基于层级的计算系统[2]、[18]、[19]。今天的车辆将数据卸载到VEC、MEC或CC,但由于动态延迟、处理能力和成本问题,实时数据卸载变得困难[8]、[20]。
尽管最近的研究探讨了人工智能(AI)在任务卸载方面的解决方案,但许多研究仍然集中在仅依赖于单层架构的简化框架上[9]、[21]。这些框架假设通信链接可靠,没有考虑实际因素,如接收信号退化、动态基站变化或服务器拥塞。此外,大多数强化学习(RL)算法依赖于静态输入[22]、[23]。它们没有讨论实时变量,如服务器利用率、信号强度或到邻近服务器的距离。
这些问题引发了几项挑战。首先,它们必须在高移动性场景下工作,其中基站不断切换,导致信号质量和带宽波动[24]、[25]。然而,大多数方法是静态的,无法支持动态拓扑。其次,尽管信号强度对于防止连接性下降和支持移动场景中的可靠资源卸载至关重要,但几乎未被考虑。第三,它们几乎不支持边缘服务器的实际时间资源条件,导致基站和MEC层之间的不平衡拥塞[26]。特别是,缺乏分层和协作决策方法会导致对云的过度依赖,并增加通信和处理成本[27]、[28]。这些问题突显了实时和移动性感知卸载技术的重要性。这也进一步证明了开发能够根据移动性动态、信号变化和跨层资源动态进行调整的智能系统的必要性,以确保下一代车辆通信中的成本和延迟意识。
为了解决现有卸载方法的这些局限性,本文提出了一个用于车辆网络中实时、移动性感知决策的全面RL框架。所提出的系统利用Q学习动态适应多层车辆环境中的高度变化条件。与经常忽略跨层资源动态和连接性波动的现有框架不同,我们的方法结合了实时服务器指标和信号质量来进行卸载决策。在三层计算架构(VEC、MEC和CC)中,该框架的目标是在动态移动性和服务器负载下优化任务卸载。调度器根据链路质量(例如接收信号强度)、车辆移动性和基站关联以及服务器利用率的实时观察结果,选择执行层级
主要目标是最小化端到端延迟和处理成本,同时避免服务器过载和不必要的层级切换。
为了确保实际验证,我们开发了DriveNetSim,这是一个定制的车辆模拟环境,可以模拟移动性、信号波动、多层资源约束和动态基站切换。DriveNetSim提供了一个真实且可扩展的测试平台,用于评估卸载效果。这使得我们的学习代理能够动态平衡低延迟处理和高效资源利用,在可行的情况下优先选择VEC服务器,在拥塞时升级到MEC,只有在必要时才使用CC作为备用。
本文的主要贡献如下:
- (1)
我们提出了一种移动性感知的Q学习调度器,能够智能适应车辆移动、信号强度和资源利用,实现VEC、MEC和CC层之间的实时任务卸载。
- (2)
我们设计了一种结构化的、层级优先的奖励机制,对低效决策(例如过早使用MEC或CC、不必要的基站切换)进行惩罚,并在动态车辆场景中促进成本效益高、延迟敏感的卸载。
- (3)
我们开发了DriveNetSim,这是一个真实且可扩展的模拟环境,可以模拟车辆移动性、无线信号退化、服务器拥塞、基站切换、延迟、能源和成本,从而准确评估AV网络中的智能卸载。
文章的其余部分组织如下;第2节回顾了AV中常用的各种卸载技术的详细文献。第3节解释了所提出的AV数据卸载的Q学习方法。第4节展示了评估设置,包括我们定制的模拟器和关键性能指标的详细分析。最后,第5节总结了研究并提出了未来的研究方向。
相关工作
随着AV数量的激增,产生了大量的车辆大数据(VBD)。为了高效地通信和处理这些数据,需要智能卸载框架。传统的云计算由于长距离回程通信延迟,无法满足低延迟和可靠性的要求[29]、[30]。因此,研究人员探索了各种计算和卸载范式,将计算能力带到更接近车辆的地方[31]、[32]。
方法论
现代车辆在快速变化的环境中运行,任务截止日期、信号强度和资源可用性不断波动。为了应对这种复杂性,我们的系统在三层架构(VEC、MEC和CC)中集成了一个Q学习调度器,如图1所示。调度器模拟移动性动态、服务器利用率和连接模式,为每个任务选择适当的计算层级。
评估
为了评估移动性感知Q学习卸载设计的效率,我们使用DriveNetSim模拟器进行了实验,如图2所示。我们研究了VEC、MEC和CC的延迟、成本、层级选择和资源利用情况。
结论和未来工作
本文提出了一种基于移动性感知的Q学习卸载框架,用于三层架构(VEC、MEC和CC)的车辆网络。与传统的调度器不同,本文提出的方法能够动态适应与车辆移动性、基站切换、服务器利用率和无线信号质量相关的各种实时网络条件,从而做出智能卸载决策。奖励函数旨在通过执行来惩罚低效行为
CRediT作者贡献声明
Afzal Badshah:写作 – 审稿与编辑,撰写原始草稿,概念化。
Abdulrahman Ahmed Gharawi:写作 – 审稿与编辑,方法论。
Mona Eisa:写作 – 审稿与编辑,数据整理。
Nada Alzaben:写作 – 审稿与编辑,可视化,形式分析。
Saud Yonbawi:写作 – 审稿与编辑,软件,形式分析。
Ali Daud:写作 – 审稿与编辑,监督。
伦理批准
本研究未涉及人类或动物实验,因此不需要伦理批准。
资助
本项工作得到了沙特阿拉伯Princess Nourah Bint Abdulrahman大学的研究支持项目编号PNURSP2026R733的支持。
利益冲突声明
作者声明与本文的发表没有利益冲突。
致谢
作者感谢沙特阿拉伯Princess Nourah Bint Abdulrahman大学的研究支持项目编号PNURSP2026R733的支持。