《Ad Hoc Networks》：Multi-agent transformer approach for collaborative task offloading and resource optimization in NOMA-based vehicular edge computing
编辑推荐：
提出MADRL与拉格朗日优化的混合框架解决车辆边缘计算中的任务卸载与资源分配问题，通过多智能体Transformer实现协同卸载决策，结合分解拉格朗日方法优化连续资源分配，显著提升服务成功率与系统性能。
周子祺|张振江|曾建军|赵汉杰
北京交通大学电子与信息工程学院，北京，100044，中国
摘要
车辆边缘计算（VEC）的快速发展要求在严格的实时约束下高效处理海量车辆生成的数据。为了解决这一问题，本文提出了一种混合优化框架，该框架结合了多智能体深度强化学习（MADRL）和拉格朗日优化方法，共同解决任务卸载和资源分配问题，旨在最大化服务成功率。问题被分解为两个子问题：（1）联合传输功率和卸载决策；（2）边缘节点计算资源分配。具体而言，我们采用多智能体变换器（MAT）来处理协作卸载和功率控制，利用其自回归架构实现智能体之间的顺序、协调决策。随后，利用拉格朗日优化在约束条件下得出全局最优资源分配方案。基于真实世界数据集的广泛仿真表明，所提出的方法比现有基线方法显著提高了系统性能。
引言
在智能交通系统（ITS）时代，车辆边缘计算（VEC）是实现自动驾驶场景中信息物理系统（CPS）全部潜力的关键推动者[1]。现代联网车辆配备了全面的传感器阵列，持续收集大量环境和运行数据[2]。虽然这些信息流对决策至关重要，但它们需要实时处理。数据量的指数级增长加上严格的延迟约束给通信基础设施和计算资源带来了巨大压力。尽管VEC通过将计算负载分布到网络边缘来缓解这些问题，但由于带宽和计算能力的限制，高效的任务卸载和资源优化仍然是一个巨大的挑战。
为了解决提高频谱效率的需求，非正交多址接入（NOMA）已成为车辆网络的一个有前景的范式[3]。与传统正交多址接入（OMA）不同，NOMA允许多辆车通过功率域复用来共享相同的频率资源块。这一能力显著提升了网络容量，特别是在高密度交通场景中。然而，NOMA引入了复杂的同频干扰和车辆间的功率耦合。因此，在VEC环境中部署NOMA需要复杂的协调策略来动态平衡任务卸载决策、功率分配和干扰管理。
现有的解决方案通常依赖于集中式优化或传统的多智能体强化学习（MARL）算法。然而，集中式方法会产生较高的信令开销和延迟，使其不适用于实时VEC应用。相反，标准的MARL框架通常将所有智能体的优化视为同时的联合动作搜索。这导致了“维度灾难”，即搜索空间复杂度随着智能体数量的增加而呈指数级增长[4]。因此，这些方法在大规模场景中往往无法收敛到最优策略，并且难以捕捉任务处理中的长期顺序依赖性。
为了克服这些挑战，我们提出了一种协作的NOMA-VEC框架，将多智能体变换器（MAT）与分解的拉格朗日方法相结合。与传统MARL范式不同，MAT模块利用自回归架构将难以处理的联合策略优化分解为顺序决策过程。这种范式转变使得计算复杂度与智能体数量成线性关系，有效地将联合动作选择从同时的全局搜索转变为自回归顺序决策问题。因此，所提出的方法显著提高了收敛稳定性，并确保了更优越的策略学习性能。
本文的主要贡献总结如下：
- 1.
基于NOMA的协作VEC框架：我们将车辆边缘计算挑战表述为一个包含任务卸载和资源分配的联合优化问题。我们的模型明确考虑了基于NOMA的干扰动态和边缘节点协作，旨在最大化任务卸载成功率，同时保证通信可靠性。
- 2.
具有分解拉格朗日的双重优化策略：我们通过分层分解策略解决了复杂的耦合约束。具体来说，离散任务卸载决策通过MAT进行优化，MAT利用自注意力机制捕获全局智能体交互；同时，连续计算资源分配通过满足Karush–Kuhn–Tucker（KKT）条件的拉格朗日优化来解决，确保严格满足硬约束。
- 3.
自回归MAT在VEC中的新颖应用：我们率先将MAT架构应用于NOMA-VEC环境。通过利用顺序决策机制，我们的方法实现了与动作空间成线性关系的复杂度扩展。这有效缓解了传统MARL在动态环境中的收敛问题，提高了全局最优性。
- 4.
全面的性能验证：
基于真实世界车辆轨迹数据的广泛仿真表明，所提出的方法在卸载成功率、资源利用和收敛速度方面显著优于OMA基线和广泛采用的MARL算法（如多智能体近端策略优化（MAPPO）。
本文的其余部分组织如下：第2节回顾相关工作；第3节详细介绍系统架构和问题建模；第4节提出MAT-拉格朗日解决方案；第5节分析实验结果；第6节总结本文。
相关文献
车辆边缘计算（VEC）和非正交多址接入（NOMA）的结合引发了旨在提高网络容量和减少延迟的研究热潮。本节回顾了关于NOMA支持的卸载、多智能体强化学习（MARL）和顺序决策优化的现有文献。通过分析当前方法的优点和不足，我们阐明了提出基于MAT的方法的动机。
系统概述
本节介绍了一种基于NOMA的VEC架构，该架构将无线通信优化与计算资源管理相结合。这种集成旨在提高任务卸载成功率并优化系统整体性能指标。基础设施包括战略性地部署在交通走廊上的5G基站和路边单元（RSU），其中边缘节点配备了异构计算能力以处理车辆计算任务。图1
联合资源优化的分解策略
任务卸载（）、传输功率（）和计算资源分配（）的联合优化构成了一个混合整数非线性规划（MINLP）问题。由于离散变量和连续变量的耦合，这个问题是NP难问题，在实时情况下直接解决计算成本极高。为了规避这种难以处理的问题，我们提出了一种两级优化策略，将整体问题分解为两个相互关联的子问题。
这种分解利用了
仿真设置
所提出方法的性能评估使用Python 3.9.13和TensorFlow 2.8.0进行，并由NVIDIA RTX 3090 GPU加速。仿真环境包括一个的正方形区域，在该区域内均匀网格模式部署了9个边缘节点（ENs），包括5G基站和路边单元。表2总结了关键仿真参数，这些参数与文献[7]、[9]、[33]中常用的设置一致。为了确保车辆运动的真实性
结论
本文提出了一种基于MAT的框架，结合了拉格朗日优化，用于解决VEC系统中的动态任务卸载和资源分配问题。使用真实世界数据集的仿真结果证实，MAT在服务成功率和处理延迟方面显著优于MAPPO和传统卸载方法等基线。该框架在不同交通拓扑下表现出更高的鲁棒性，并有效缓解了性能下降问题
CRediT作者贡献声明
周子祺：撰写——原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据整理、概念化。张振江：撰写——审阅与编辑、验证、监督、资金获取。曾建军：撰写——审阅与编辑、监督。赵汉杰：撰写——审阅与编辑、监督。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：张振江报告称，他获得了国家自然科学基金（项目编号62173026）的财务支持。如果有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文报告的工作。
致谢
本工作得到了国家智能并行技术重点实验室的支持。
