在网络条件较差的情况下,利用多智能体深度强化学习为移动边缘计算实现健壮的、具有依赖性感知的任务卸载机制

《Ad Hoc Networks》:Robust dependency-aware task offloading for mobile edge computing in low network scenarios using multi-agent deep reinforcement learning

【字体: 时间:2026年02月21日 来源:Ad Hoc Networks 4.8

编辑推荐:

  针对低网络场景下车载边缘计算中动态任务卸载的挑战,本文提出基于多智能体近端策略优化(MAPPO)的主动卸载与动态优先级分配框架,确保任务连续执行并降低能耗,仿真验证能耗降低超70%且任务成功率保持高位。

  
史彦军|王奇瑞|李家健|王晓聪|魏超
大连理工大学机械工程学院与高性能精密制造国家重点实验室,中国辽宁省大连市116024

摘要

车辆边缘计算(VEC)通过将任务卸载到边缘服务器上来提升车载服务。然而,在网络条件较差的情况下,对于计算密集型任务的动态且高效的任务卸载仍然具有挑战性。这些情况的特点是由于基站不规律、动态环境或地理因素导致的通信不稳定(例如信号衰减、回程链路中断),从而引发车辆通信故障、任务中断和资源竞争。这会导致实时决策失败,并可能带来交通安全隐患,而车辆的移动性会加剧这一问题。为了解决这一挑战,本文研究了低网络条件下的多车辆任务卸载问题,将其建模为一个分散的、部分可观测的马尔可夫决策过程(Dec-POMDP)问题。然后,提出了一种结合主动卸载方案和动态优先级分配策略的任务卸载框架。通过引入多智能体近端策略优化(MAPPO)算法,该框架使每辆车能够学习全局最优策略并独立做出决策。该方法创新性地使得车辆即使在网络条件较差的情况下也能保持任务计算的连续性,同时共同优化车辆的能耗。广泛的仿真结果表明,与基线方案相比,所提出的框架将能耗降低了70%以上,同时保持了较高的任务成功率。

引言

智能交通系统(ITS)一直是工业和社会不可或缺的一部分[1]。通过连接车辆、道路基础设施和云平台,车辆网络实现了实时数据交换,为ITS提供了必要的数据支持,如车辆位置、速度、状态等信息,从而支持车道管理、信号优化和事故预警等功能[2]。这些关键的实时车辆数据和决策通常需要大量的计算资源并且对时间延迟有严格要求。然而,众所周知,由于车辆资源有限,满足这些应用的高服务质量(QoS)计算需求仍然具有挑战性[3]。因此,提出了VEC作为一种有效的解决方案。通过将计算任务从本地车辆转移到附近的边缘计算节点,VEC有效地缓解了车载计算单元资源有限的问题[4]。
值得注意的是,在VEC架构的实际部署中,通信链路的稳定性和网络覆盖范围直接影响边缘计算节点的任务卸载效率[5]。当车辆与路边基础设施通信时,任务卸载必须适应由于车辆高移动性而导致的网络拓扑变化[6]。随着技术进步的加速,ITS最初在一些偏远地区得到了部署。然而,由于基础设施不足和地理限制,仍然存在一系列网络条件较差的情况,例如没有网络覆盖、缺乏回程链路和信号屏蔽。
大多数现有研究集中在理想网络条件下的车辆计算卸载优化上,例如基站全覆盖和稳定的回程链路[7]、[8]、[9],而对低网络条件对通信和任务卸载过程的潜在影响考虑较少[5]。如图1所示,展示了三种主要的低网络场景。图1(a)展示了一个常见的回程链路中断场景,这种情况在偏远山区较为普遍,地理限制和高基础设施成本阻碍了光纤的部署或导致传输链路断开[10]。图1(b)和1(c)分别描绘了无信号覆盖和信号屏蔽的场景,这是由于基站密度低或盲点以及动态传播问题(例如建筑物、隧道)导致的多径衰减或路径损耗[11]。当车辆从信号良好的区域进入网络盲区(例如隧道)时,间歇性的连接可能会导致卸载失败或传输中断[12]。根据Liu等人的研究[13],在低网络场景中,由于链路中断,任务被迫回退到本地处理,平均响应延迟可能会下降34%,这直接缩短了系统的决策窗口,事故率也随之显著上升。多个案例证实,在特定场景下,突然的信号链路中断或信号阻塞可能导致严重的交通事故。因此,研究低网络场景下的任务卸载问题具有重要意义。
此外,在低网络场景中,通信中断或任务处理过程中的卸载失败对于具有任务依赖性的应用可能是致命的。在实际应用中,如智能导航、面部识别和虚拟现实通常涉及多个相互依赖的子任务,其中一个子任务的输出可能作为后续子任务的输入[14]、[15]。一个任务必须确保其依赖的任务首先执行完毕才能继续[16]。然而,在网络条件较差的情况下,间歇性的连接和缺乏回程链路使得无法保证中间结果能够可靠且及时地传输到相应的服务器节点。当一个任务执行失败时,由于缺乏任务依赖性,后续任务也可能受到影响,从而降低应用的总体成功率和执行效率[12]。目前,传统研究缺乏对低网络场景下依赖子任务动态卸载问题的探索。为了确保VEC环境中的任务卸载连续性,必须全面考虑低网络场景的挑战。
在低网络场景中,服务器的稀疏部署密度不可避免地会导致当多辆车将任务卸载到同一服务器时出现资源竞争。如果一辆车垄断了过多资源,单个服务器的持续过载可能会导致相邻车辆之间的任务失败连锁反应。因此,需要确定执行顺序来进行任务优先级排序。最近的研究还研究了基于事件驱动的抢占式优先级调度,以优化多优先级任务处理[17]。然而,仅依赖静态规则的传统优先级分配在低网络场景中变得不够充分。在连接较弱的情况下,对车辆卸载状态的感知延迟会导致资源分配滞后于实际需求动态。因此,动态优化服务器资源分配以最大化计算效率是一个亟待解决的挑战。
为了填补这一领域的研究空白,我们提出了主动卸载与动态优先级分配(PODPA)方案,该方案整合了主动卸载方案、动态优先级分配策略和MADRL,以解决低网络场景下传统方法的局限性。这种集成确保了在低网络场景中任务计算的连续性和可靠性。本文的主要贡献如下:
(1) 任务卸载模型:为了解决低网络场景中的资源竞争和任务可靠性问题,我们将多车辆任务卸载问题建模为一个Dec-POMDP,并通过有向无环图(DAG)明确表示任务依赖性,以确保在间歇性连接下的稳健执行。
(2) 主动卸载:为了确保在低网络场景中的持续任务计算,我们提出了一种利用车辆移动性和车载计算能力的主动卸载方案。该方法使车辆能够携带中间结果,以便动态迁移服务器和自主卸载决策,同时在网络盲区引入本地化计算,从而减轻长时间中断对用户体验的影响,提高系统的鲁棒性和服务质量(QoS)。
(3) 动态优先级分配:为了减轻多辆车同时将任务卸载到资源受限的边缘服务器时引起的资源竞争,我们提出了一种基于实时任务紧急性的动态优先级分配策略。
(4) PODPA框架:为了解决低网络场景下多车辆任务卸载的实时协作决策问题,我们提出了PODPA框架,该框架结合了MADRL、主动卸载方案和动态优先级分配策略。这种设计通过双重协作机制实现了任务调度和资源调度的联合优化。
本文的结构如下。第2节总结了该领域的相关工作。第3节概述了系统模型并阐述了要解决的问题。第4节提出了适用于低网络场景的PODPA框架。第5节进行了仿真实验和结果分析。最后,第6节总结了这项工作并指出了未来的研究方向。

相关工作

相关工作

随着车联网(IoV)技术的快速发展,与VEC相关的研究逐渐深入。早期研究主要集中在单车辆场景上。例如,Zhang等人[18]提供了一个马尔可夫决策过程(MDP)框架,用于分析不同单车辆轨迹条件下的最优策略。然而,随着车辆数量的增加,任务卸载的复杂性显著增加[19],从而导致了资源竞争。

系统模型

在本文中,我们研究了在低网络场景下多辆移动车辆在不同RSU之间的任务卸载问题。如图2所示,问题模型假设部署了一个双向道路,其中N个RSU配备了MEC服务器,M辆车在行驶过程中生成需要处理的应用程序。生成的应用程序集合表示为D={D1, D2, , Dm, , , DM}。随着车辆的移动,它们将依次进入覆盖范围

方法论

在本节中,我们详细描述了PODPA。如图4所示,该框架的执行过程包括以下关键步骤:首先,MADRL算法根据低网络场景中的车辆行为生成相应的动作。随后,基于这些动作,应用主动卸载方案来更新当前时间段内需要卸载和获取的任务。最后,所有卸载的任务都通过

性能评估

在本节中,我们在各种参数设置下对所提出的算法进行了广泛的实验,并将其与VEC环境中的几种现有卸载方案进行了比较,以验证我们方案的有效性。

结论与未来工作

本文旨在设计一种方法,以解决低网络场景中任务计算不连续的问题,同时优化总能耗。我们建立了一个适用于低网络场景的多车辆任务卸载模型,其中来自多辆移动车辆的任务被划分为具有依赖性的顺序子任务。为了解决此类场景中的计算不连续性问题,我们提出了一种主动卸载方案,并结合了动态优先级

CRediT作者贡献声明

史彦军:监督、资源管理、项目管理、方法论、资金获取、形式分析、概念化。王奇瑞:撰写——原始草案、可视化、验证、软件开发、方法论、调查、数据整理。李家健:撰写——审稿与编辑、监督、软件开发、调查、形式分析、概念化。王晓聪:撰写——审稿与编辑、监督、软件开发、调查、形式分析。魏超:

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号