基于DRL的隐私保护任务卸载技术，结合局部高斯扰动，应用于IIoT-MEC场景

《Ad Hoc Networks》：DRL-based privacy-aware task offloading with local Gaussian perturbation for IIoT-MEC

隐私保护工业物联网任务卸载优化方法提出，通过数据分类与本地差分隐私保护机制，结合多智能体强化学习策略优化任务卸载，实验验证有效降低数据泄露风险并提升系统效率。

　　

朱一婷|彭凯|高正国|徐小龙|梁维克托·C·M.

华侨大学工程学院，泉州，362021，中国

摘要

随着大数据和人工智能的快速发展，工业物联网（IIoT）已成为工业4.0的关键推动者。然而，IIoT设备生成的海量数据给网络系统带来了巨大的计算负担。移动边缘计算（MEC）将数据卸载到边缘服务器上，从而减轻了设备的处理压力并降低了系统成本。尽管如此，设备与边缘节点之间的频繁数据交换增加了数据泄露的风险，并可能引发严重的隐私问题。为此，我们提出了LG-MAPPO，这是一种具有隐私意识的任务卸载方法，它结合了局部增强的高斯机制和多智能体近似策略优化。首先，通过隐私判定机制将任务数据分为公开数据和隐私敏感数据。然后，使用局部差分隐私保护隐私敏感数据，而无需依赖任何第三方实体。为了确保鲁棒性和实际部署，LG-MAPPO集成了自适应敏感性估计和扰动验证。之后，该任务卸载问题被建模为一个马尔可夫决策过程，综合考虑了延迟、能耗和任务失败率。LG-MAPPO最终利用深度强化学习通过分布式执行和集中式训练获得接近最优的卸载策略。在真实数据集上的实验表明，我们的方法不仅有效保护了隐私，还减少了延迟和任务失败率，同时降低了能耗，证实了其在工业场景中的实用性。

引言

工业4.0代表了工业发展的一个转型阶段，更加注重人机协作、可持续性和效率[1]、[2]、[3]。这一范式的核心是工业物联网（IIoT）。它结合了先进的传感技术、广泛的连接性和智能交互，以支持高质量的制造[4]、[5]、[6]。

在执行过程中，大量异构设备不断生成任务。这些任务，如预测分析和机器类型通信，通常计算密集且对延迟敏感[7]。然而，终端设备的有限计算资源和电池限制使得本地执行变得具有挑战性[8]、[9]。为了克服这些限制，移动边缘计算（MEC）应运而生。它使设备能够将任务卸载到附近的边缘服务器（ES）上，这些服务器提供了增强的计算能力和低延迟连接[10]、[11]、[12]、[13]。这种卸载过程减少了计算延迟，并缓解了核心网络的拥塞。此外，为工业4.0设计的应用程序受益于改进的可扩展性和弹性[14]、[15]、[16]。

然而，在MEC支持的环境中传输和交互大量工业数据不可避免地使系统面临严重的隐私和安全风险。对手可能利用某些敏感信息（例如生产参数、执行模式和核心配置）来推断专有的工业洞察[17]、[18]、[19]。这可能导致企业遭受重大的经济和技术损失。因此，为了确保服务质量（QoS）和对日益智能环境的适应性，将强大的隐私保护技术纳入MEC卸载过程至关重要[20]、[21]。差分隐私（DP）已成为一种广泛采用的数据保密模型。它通过噪声注入机制提供了数学上可证明的防止信息泄露的保证，从而隐藏了个别记录[22]。

传统的差分隐私假设原始数据可以由可信的聚合器收集和处理，通常以集中式方式进行。然而，在IIoT环境中，由于工业设备的异构性和地理分布特性，这一假设并不成立，这些设备并不总是可信赖的。为了解决这个问题，引入了局部差分隐私（LDP），在数据离开终端设备之前对其进行扰动，确保敏感信息得到保护。这种去中心化的隐私模型消除了对可信聚合器的需求，同时也有效抵御了具有背景知识的对手的攻击[23]。尽管具有优势，但在LDP下实现终端生成数据的隐私保护和数据效用之间的最佳平衡仍然是一个关键且未解决的挑战。

除了隐私保护之外，在动态工业环境中，智能任务调度和卸载优化对于MEC也是必不可少的[24]。深度强化学习（DRL）结合了深度学习和强化学习，使智能体能够学习最优的卸载策略[25]、[26]。智能体与环境持续交互，目标是实时适应随机系统状态和多目标约束[27]、[28]、[29]、[30]。然而，边缘节点的分布式和异构性给扩展性和协调性带来了重大挑战。在涉及敏感工业数据的场景中，这些挑战更加突出，这突显了将隐私保护机制集成到基于DRL的卸载框架中的必要性。

为了解决这些挑战，我们提出了一种具有隐私意识的任务卸载方法，结合了局部增强的高斯机制和多智能体近似策略优化，命名为LG-MAPPO。本文的主要贡献总结如下。

• •
  我们根据隐私判定机制将工业数据分为公开数据和隐私敏感数据。它将隐私敏感性得分与系统定义的阈值进行比较，关键属性包括标识符、资源使用情况和设备状态。数据分区后，LG-MAPPO使用LDP保护敏感信息，并利用DRL优化多个性能目标，包括延迟和任务失败率。
• •
  我们设计并实现了一种局部增强的高斯机制来扰动隐私敏感数据。该机制直接应用于终端设备，在传输之前进行扰动，从而在卸载过程中无需依赖可信的第三方聚合器即可降低敏感信息泄露的风险。此外，还采用了裁剪和检查程序来平衡扰动数据集中的隐私和效用。
• •
  我们将MEC辅助的IIoT任务卸载问题建模为一个马尔可夫决策过程（MDP），以捕捉任务延迟、能耗和网络状态的动态特性。然后使用多智能体近似策略优化框架来学习自适应和可扩展的任务调度策略，在集中式训练和分布式执行模式下选择接近最优的卸载策略。
• •
  我们使用真实数据集进行了对比实验，结果表明LG-MAPPO在隐私保护和任务卸载效率方面均优于基线算法。

本文的其余部分结构如下。第2节提供了相关工作的概述。第3节介绍了系统模型并阐述了问题。第4节提出了所提出的方法论和算法设计，包括对其性能的理论分析。第5节描述了实验设置，并通过真实数据集证明了LG-MAPPO的有效性。第6节总结了本文的未来工作方向。

章节片段

相关工作

在本节中，我们回顾了相关工作并总结了现有研究。

系统模型和问题表述

在本节中，我们介绍了IIoT场景中用于保护隐私的边缘计算卸载的系统模型，其中任务被分为公开数据和隐私敏感数据两类。本文中使用的所有关键符号都在表2中进行了总结。

方法设计

在本节中，我们详细描述了高斯机制算法，以及IIoT任务卸载问题中的状态、动作和奖励函数。此外，我们介绍了基于LG-MAPPO的任务保护计算卸载算法。

实验评估

本节分析了使用LG-MAPPO算法进行计算卸载的实验结果。首先概述了实验参数。然后根据隐私要求对数据集进行分类，对隐私敏感的子集使用LDP进行处理。最后，随着新数据集的获取，我们评估了LG-MAPPO算法的训练收敛性和关键性能指标，并与基线方法进行了比较。

结论

在本文中，我们研究了具有隐私意识的数据划分，并提出了一种任务卸载方案LG-MAPPO。根据特征属性（标识符、资源和状态），将任务数据分类为公开数据或隐私敏感数据，并与系统定义的阈值进行比较。使用局部增强的高斯机制对隐私敏感数据进行处理，通过IQR计算自适应敏感性并分配隐私预算。裁剪和过度扰动检查保持了效用。

CRediT作者贡献声明

朱一婷：撰写——原始草稿，软件，研究。彭凯：撰写——审阅与编辑，撰写——原始草稿，方法论，研究。高正国：撰写——审阅与编辑。徐小龙：撰写——审阅与编辑。梁维克托·C·M：撰写——审阅与编辑，监督。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了中国中央高校基本科研业务费（ZQN-817）、泉州科技项目（编号2020C050R）和国家自然科学基金（62372190）的支持。