MAG-Q：基于多智能体Actor-Critic的强化学习（GRL）算法，结合量子启发式数据转发机制，以提升集群式雾计算环境中的任务卸载效率

《Expert Systems with Applications》：MAG-Q: Multi-Agent Actor-Critic based GRL with Quantum Inspired Forwarding for Enhanced Task Offloading in Clustered Fog Computing Environment

提出MAG-Q框架，整合图注意力网络（GAT）编码的多智能体增强型奖励机制（MAAC）实现簇内任务卸载优化，结合量子启发式转发（QIF）方法解决跨簇路由问题。通过将任务转发建模为量子退火法的二值无约束二次优化问题，实验表明该框架在动态雾计算环境中降低任务完成时延达35%，提升能效25%，任务成功率提升32%，同时保持跨簇通信的扩展性和鲁棒性。

　　

Nilesh Kumar Verma | K. Jairam Naik

计算机科学与工程系，赖布尔国立技术学院，赖布尔，492010，中央直辖区，印度

摘要

对延迟敏感的应用程序的指数级增长以及物联网（IoT）设备的普及加剧了在边缘-雾-云连续体中高效任务卸载的需求。为了应对这一演变中的趋势，本研究介绍了一种名为MAG-Q的混合任务卸载框架，该框架适用于集群式雾计算环境。它结合了图注意力网络（GAT）编码的多智能体演员-评论家模型（MAAC）进行簇内任务调度，并采用量子启发式转发（QIF）方法进行簇间路由。与之前使用统一图编码器或单一策略控制来改进决策的强化学习（MARL）技术相比，MAG-Q利用图注意力来建模异构节点和链接，同时优化延迟和能源效率，并确保在多智能体环境中的可扩展性。为了实现跨簇的鲁棒任务转发和最佳负载平衡，QIF模块通过将问题表述为二次无约束二进制优化（QUBO）并将其映射到伊辛模型来利用量子启发式退火策略；我们证明了这一目标是NP难问题，并展示了该混合设计的可扩展性随簇数量的增加而提升。广泛的实验评估表明，与现有技术相比，MAG-Q显著降低了任务完成延迟高达35%，提高了能源效率高达25%，并增强了卸载收益高达32%。这些结果强调了所提出框架的可扩展性和适应性，使其成为动态和资源受限环境中下一代雾计算应用的可行解决方案。

引言

边缘计算的出现为分布式计算和数据处理带来了范式的转变，特别是在需要实时任务执行和低延迟决策的环境中（Kambala (2024); Nain, Pattanaik, & Sharma (2022)）。随着物联网设备的普及和数据密集型应用的指数级增长，传统的以云为中心的模型在高效处理计算工作负载方面面临重大挑战（Bablu, Aziz, & Rashid (2025)）。例如，严重的传输延迟和网络拥塞使得这些模型不适用于包括自动驾驶系统、智能医疗和工业自动化在内的对延迟敏感的应用。因此，雾计算作为一种革命性框架应运而生，它通过将计算能力带到边缘来缓解这些问题（Arora & Sharma (2025); Verma & Naik (2024)），减少对云基础设施的依赖，并实现最低延迟的实时决策。

然而，在雾计算环境中进行高效的任务分配和卸载仍然是一个重大挑战，尤其是在任务到达率、资源可用性和网络条件不断变化的高度动态的集群环境中（Li et al. (2025)）。在这种不断演变的环境中，战略性地管理任务卸载对于实现最佳工作负载分配同时减少延迟和能源消耗至关重要（Tian et al. (2025)）。基于强化学习的任务卸载策略因其能够在复杂和不确定的系统动态中自适应地获取最佳策略而受到广泛关注（Carmo et al. (2024)）。具体来说，多智能体强化学习（MARL）实现了分布式决策，其中多个智能体协作优化任务分配和执行策略（Hu et al. (2024); Sun, Chen, & Liu (2024)）。然而，传统的RL方法在可扩展性、收敛时间过长以及任务转发路径探索效率低下方面存在问题（Dai, Wu, Wang, & Xu (2022); Goudarzi, Palaniswami, & Buyya (2021); Huang, Ye, & Zhou (2025)）。此外，现有模型往往未能考虑簇间通信开销，这显著影响了网络拥塞和任务完成时间。尽管如此，现有的集中式或基于启发式的卸载方法受到可扩展性问题、资源分配不理想以及在不可预测的工作负载下决策效率低下的限制（Jia, Cao, & Yang (2014); Yang et al. (2025)）。克服这些挑战需要一种整合了先进学习机制和全局优化策略的协调策略，以提供自适应、可扩展且高效的任务卸载方案。

在动态的雾计算环境中，关于在哪里以及何时卸载任务的决策不仅需要考虑当前的网络状态，还需要预测未来状态以避免潜在的瓶颈和资源冲突（Boubaker, Houda, & Zarour (2025)）。这需要一种高度适应性和智能的方法，能够实时学习和预测变化。现有方法在处理异构资源和跨簇协调方面存在上述限制。为了解决这些问题，我们提出了MAG-Q，这是一种基于图强化学习（GRL）的混合任务卸载框架，它利用图注意力网络（GATs）和多智能体演员-评论家（MAAC）学习来增强集群式雾环境中的决策制定。通过结合GATs，该框架能够有效地捕捉雾节点之间的复杂依赖关系，从而更好地建模网络动态和任务依赖性（Cao et al. (2024)）。同时，多智能体演员-评论家机制促进了去中心化但协调的决策制定，确保卸载策略在整个雾集群中得到优化（Chen et al. (2025)）。此外，为了克服传统RL模型在处理簇间通信开销方面的效率低下问题，我们引入了量子启发式任务转发（QITF）。该组件结合了量子退火原理来探索最佳任务转发路径，同时最小化拥塞并平衡计算负载（Paul, Singh, Li, Dobre, & Duong (2024)）。通过联合优化任务迁移、资源利用和通信延迟，所提出的框架提高了适应性、可扩展性和整体系统效率。通过实时学习和预测性任务分配，该模型主动缓解了网络瓶颈，确保在动态雾计算环境中无缝执行任务。

所提出的MAG-Q框架通过引入自适应、可扩展和去中心化的学习机制，解决了与传统任务卸载方法相关的关键挑战。与传统基于图的深度强化学习模型不同，后者将所有相邻节点视为同等重要，MAG-Q的GAT模块动态调整节点注意力权重，以强调高优先级节点和高效的通信链接。此外，虽然标准的多智能体RL方法存在收敛速度慢和动作空间探索效率低的问题，但MAAC中的演员-评论家结构确保了策略更新的稳定性和学习收敛的加速。另外，QIF模块的量子启发式优化允许并行探索多个任务转发路径，从而降低了与大规模任务卸载相关的计算复杂性和决策延迟。这种先进学习机制和量子启发式优化的协同整合显著提高了能源效率，改善了任务转发速率，并减少了延迟。

基于当前的卸载技术和基于学习的方法，本研究旨在为以下具体领域做出贡献：

1. •
   通过结合图注意力编码器和多智能体演员评论家控制器，开发一个考虑异构性的簇内任务卸载框架，以映射节点和链接特征，从而实现自适应决策。与GCN和MLP编码器相比，测量平均延迟和总能源的减少。
2. •
   将簇间转发表述为二次无约束二进制优化问题，并使用退火风格搜索方法求解，以减少传输延迟和计算开销。
3. •
   通过从二次无约束二进制优化问题进行归约，证明该问题的计算复杂性为NP难问题。在此基础上，推导出基于退火的求解器所需的精确系数结构，指定等效伊辛表示中的二次交互矩阵和线性偏置项，使搜索目标明确化。
4. •
   使用基于MAAC的强化学习优化去中心化任务卸载决策，其中分布式智能体在考虑网络约束、执行成本和延迟约束的情况下协作学习任务分配策略，确保在大规模雾计算架构中的可扩展性。
5. •
   通过实现更低的响应延迟、更高的任务成功率以及更快的训练收敛速度，证明MAG-Q优于现有的最佳基线，确保在动态雾计算环境中的高效实时工作负载优化。

本文的其余部分组织如下。第二节提供了全面的文献综述，重点介绍了基于先进机制的雾计算环境中的任务卸载研究的当前状态。第三节概述了系统模型，并详细介绍了从文献中确定的问题表述。第四节介绍了所提出的基于MAG-Q的任务卸载框架，描述了底层算法和系统架构。第五节讨论了用于评估所提出框架性能的实验设置和评估指标。最后，第六节总结了研究结果和未来研究的潜在方向。

以下部分对之前的研究进行了全面回顾，以证实所识别的研究空白，并指出了本研究的关键贡献。

相关工作

近年来，边缘-雾-云计算环境中的任务卸载和资源管理方面的进展已经得到了广泛研究（Akhlaqi, Yahya, Binti, & Hanapi (2023); Dong et al. (2025); Goudarzi & et al (2023); Min, Rahmani, Ghaderkourehpaz, Moghaddasi, & Hosseinzadeh (2025a)）。现有方法主要集中在基于强化学习的任务调度和基于图的网络优化（Deng et al. (2025); Leng, Li, Shi, & et al (2021); Ullah & Han (2025); Xu & et

系统模型

用于优化任务卸载的系统架构包括三个相互关联的层（即边缘层、雾社区层和云层）。这些层通过利用分层框架共同确保计算任务的有效分配和处理。

边缘层由物联网（IoT）设备组成，例如传感器、可穿戴设备和智能家电（

卸载方案

所提出的任务卸载模型MAG-Q是一个先进的框架，旨在优化集群式雾环境中的任务卸载和分配，该环境的特点是资源能力多样、连接性间歇性以及工作负载波动。该模型结合了图注意力网络（GAT）来学习网络特征，多智能体演员-评论家（MAAC）模型来进行协作决策，以及量子启发式任务转发（QIF）进行全局优化。

性能评估

为了严格评估所提出的MAG-Q框架的性能，我们在各种网络拓扑和不同的任务工作负载下进行了全面模拟。模拟参数经过精心选择，以代表实际操作条件，确保对框架效率的全面检验。实验分析通过检查动态网络拓扑、变化的资源可用性和变化的任务到达率来验证所提出的方法。

结论

本研究提出了一个创新的卸载框架MAG-Q，它结合了GAT、MAAC强化学习和QIF，以解决集群式雾计算中资源管理和任务路由的固有复杂性。该框架动态捕获时空依赖性，实现去中心化决策，并使用量子启发式优化技术探索最佳转发路径。实验结果证实，MAG-Q不仅降低了平均延迟

CRediT作者贡献声明

Nilesh Kumar Verma：概念化、数据整理、形式分析、调查、方法论、软件、验证、原始草稿的编写和可视化；K. Jairam Naik：概念化、形式分析、软件、验证、可视化、编写、编辑和整体监督。所有作者在提交前都阅读并批准了最终稿件。

伦理批准

所有作者都已阅读并同意手稿的内容，并期待

CRediT作者贡献声明

Nilesh Kumar Verma：撰写——原始草稿、可视化、验证、软件、资源、方法论、形式分析、数据整理、概念化。K. Jairam Naik：撰写——审阅与编辑、验证、监督、项目管理、调查、数据整理、概念化。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。