在服务互联网中，通过ε-DP增强的子图归纳图神经网络（GNNs）实现鲁棒的QoS（服务质量）预测

《Computer Networks》：Sparsity-Resilient QoS Prediction via ε-DP Enhanced Subgraph-Inductive GNNs in Internet of Services

本文提出DPIS-GNN框架，结合ε差分隐私和子图诱导图神经网络，解决物联网服务中数据稀疏与隐私保护的QoS预测难题，实验表明其MAE降低17.55%，RMSE降低9.77%，优于基线方法。

　　

Jianlong Xu | Rongtao Zhang | Dianming Lin | Mengqing Jin | Yuelong Liu

中国广东省汕头市汕头大学计算机科学与技术系

摘要

在Web 3.0时代，服务互联网（IoS）的快速发展使用户能够访问大量功能相似的服务。因此，可靠的服务质量（QoS）预测对于选择最佳服务至关重要。然而，现实世界的QoS数据往往具有高度稀疏性，而且隐私问题经常阻碍用户共享他们的原始QoS记录。这带来了双重挑战：在稀疏环境中实现高预测精度同时保护数据隐私。为了解决这些挑战，我们提出了DPIS-GNN，这是一个将ε-差分隐私（ε-DP）与子图归纳图神经网络（GNN）相结合的新框架。我们的方法首先应用ε-DP机制来混淆本地数据集，以保护敏感的用户信息。然后将这些经过处理的数据集聚合到一个统一的交互图中，从中推断出相关模式。接下来，我们引入了一种基于子图的GNN，该GNN可以从噪声较大且数据稀疏的数据中归纳出准确的QoS预测结果。在真实世界数据集上的广泛实验证明了我们方法的有效性。DPIS-GNN的平均绝对误差（MAE）降低了17.55%，均方根误差（RMSE）降低了9.77%，优于现有的最佳方法。我们的模型在数据稀疏和冷启动场景中表现出更好的鲁棒性，同时提供了强大的隐私保护和高预测性能。

引言

随着Web 3.0生态系统的成熟，服务互联网（IoS）连接了众多异构服务[1]。在实践中，服务是通过多种范式实现和编排的——例如，传统服务编排、微服务和基于容器的部署。因此，个性化的QoS（如响应时间、吞吐量）对于区分功能相似的服务至关重要[2]。

我们关注IoS中个性化QoS预测的两个核心挑战：（1）在GDPR等法规下的隐私合规性，这些法规不鼓励集中收集原始用户数据[3]；以及（2）用户与服务交互中的极端稀疏性和冷启动，这会阻碍泛化并使模型容易过拟合[4]。这些挑战促使我们研究能够在观测非常有限的情况下保护隐私同时保持有效性的方法。图1说明了保护隐私的归纳式QoS预测问题，突出了用户与服务QoS记录的稀疏性以及用户在进行数据收集时的隐私顾虑。虽然该图在视觉上类似于从稀疏到完整的QoS矩阵转换，但它并不假设在训练期间观察到了所有用户和服务。相反，它描述了一个归纳式QoS预测场景，在该场景中，预测是在部署后针对可能涉及新用户或没有历史QoS记录的服务对进行的。在这种设置中，预测的QoS值（用蓝色显示）是通过利用从观察到的交互中构建的特定于任务的局部邻域来推断的，而不是依赖于所有用户和服务的预训练全局嵌入，从而实现对未见节点的泛化。

鉴于上述挑战，尽管最近的研究在解决隐私问题[5]或数据稀疏性和噪声[6]方面取得了显著进展，但仍然需要一个统一的框架，该框架能够同时使用先进的归纳式GNN架构来解决这两个问题。本文提出了一种名为通过ε-DP增强的子图归纳GNN进行的服务互联网中的稀疏鲁棒QoS预测的新方案，该模型被称为DPIS-GNN，它结合了ε-差分隐私（ε-DP）保护技术和基于子图的图神经网络（GNN）方法，以在高度稀疏的QoS数据场景中保护用户隐私并做出准确预测。我们的方法不仅防止了原始用户数据的恶意收集，还减轻了稀疏数据对预测精度的不利影响。本文的主要贡献总结如下：

1. •
   我们设计了一种ε-差分隐私机制，在有界范围内注入拉普拉斯噪声，并控制全局敏感性，从而在隐私约束下进行学习；这允许模型从受保护但信息丰富的信号中学习，同时控制噪声以保留可学习的模式，从而提高预测精度。
2. •
   我们采用了一种基于子图的归纳式GNN，围绕每个目标用户-服务对构建与任务相关的邻域，并聚合更高阶的用户-服务-上下文关系；这通过信息丰富的邻域桥接缺失的交互并减少方差，同时在未见用户和服务上进行泛化，从而提高了在稀疏和冷启动情况下的预测精度。
3. •
   我们在大规模真实世界数据集上进行了全面实验，以评估我们提出方法的有效性。实验结果表明，我们的方法不仅保护了用户隐私，还在数据极其稀疏的场景中提高了预测精度，优于基线方法。

本文的结构如下。第二节我们回顾了相关工作。第三节我们介绍了初步概念并概述了所提出的方案。第四节详细描述了我们的解决方案。第五节我们在各种设置下评估了该方案的性能。最后，我们在第六节总结了本文。

相关工作

相关工作

本节重点回顾了基于GNN的QoS预测的当前方法，并讨论了与我们的工作相关的隐私保护方法。

初步概念和方案概述

在本节中，我们首先介绍了DP的概念和一些属性、QoS预测中的一些关键定义，并阐述了QoS预测问题。表1展示了本节中使用的符号和关键概念。然后我们详细介绍了基于初步概念的框架。

我们的解决方案

在本节中，我们详细阐述了我们的DPIS-GNN方案。首先，我们展示了我们的隐私保护机制和基于子图的归纳式GNN方法在QoS预测中的实现。接下来，我们提出了一个数据重构攻击模型来测试我们模型的鲁棒性。最后，我们评估了DPIS-GNN是否满足ε-DP要求。

实验

在本节中，我们在真实世界数据集上进行了广泛的实验，以回答以下研究问题：

1. label=RQ0:
   我们提出的方法在QoS预测方面是否比现有的集中式训练方法更有效？
2. lbbel=RQ0:
   当引入新用户和服务时（冷启动问题），我们的方法是否仍然有效？
3. lcbel=RQ0:
   隐私预算ε如何影响模型性能？
4. ldbel=RQ0:
   阈值如何影响预测精度？
5. lebel=RQ0:
   消息传递层的数量如何影响我们的性能？

结论

本研究提出了DPIS-GNN，这是一个用于个性化QoS预测的隐私保护和稀疏鲁棒框架。通过将ε-DP机制与基于子图的归纳式GNN相结合，该模型在保护用户隐私的同时，能够在高度稀疏的QoS数据场景中做出准确预测。在大型真实世界数据集上的实验得出了三个主要结论。首先，所提出的ε-DP机制具有有界的敏感性和校准的噪声，保留了必要的QoS模式

CRediT作者贡献声明

Jianlong Xu：写作——审稿与编辑、撰写——原始草案、可视化、验证、监督、软件、资源、项目管理、方法论、研究、资金获取、形式分析、数据整理、概念化。Rongtao Zhang：概念化。Dianming Lin：概念化。Mengqing Jin：数据整理。Yuelong Liu：形式分析。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。