FastPFRec：一种快速、个性化的联邦推荐系统，支持安全的数据共享

《Exploratory Research in Clinical and Social Pharmacy》：FastPFRec: A Fast Personalized Federated Recommendation with Secure Sharing

联邦推荐中图神经网络（GNN）联邦学习存在收敛慢和隐私泄露问题。本文提出三层联邦框架FastPFRec，结合FastGNN高效更新策略和可信节点隐私保护机制，在Yelp、Kindle等数据集上减少32%训练轮次，降低34%训练时间，NDCG提升8.1%。

　　

严振星|袁继东|孙永奇|刘海阳|高志辉

交通运输领域大数据与人工智能重点实验室（北京交通大学），教育部，北京，100044，中国

摘要

基于图神经网络（GNN）的联邦推荐系统在有效捕捉用户-物品关系的同时，能够保护数据隐私。然而，现有方法在处理图数据时往往收敛速度较慢，并且在协作过程中存在隐私泄露的风险。为了解决这些问题，我们提出了FastPFRec（快速个性化联邦推荐，支持安全共享），这是一种既能提高训练效率又能保障数据安全的新型框架。FastPFRec通过高效的局部更新策略加速模型收敛，并引入了隐私感知的参数共享机制来降低泄露风险。在四个真实世界数据集（Yelp、Kindle、Gowalla-100k和Gowalla-1m）上的实验表明，与现有基线方法相比，FastPFRec减少了32.0%的训练轮次，缩短了34.1%的训练时间，提高了8.1%的准确率。这些结果证明了FastPFRec为可扩展的联邦推荐提供了一种高效且注重隐私保护的解决方案。

引言

图神经网络（GNNs）（Zhou等人，2020年）作为一种前沿范式，已在推荐系统中用于模拟复杂的用户-物品交互，具备捕捉图结构化关系的强大能力。这些模型已被广泛应用于下一代智能服务中，例如跨移动设备和物联网平台的个性化内容推送（Park, Kang, Sim, Lee, & Park, 2026年）。尽管GNNs效果显著，但它们主要依赖于集中式访问用户行为数据，这在实际应用中引发了严重的隐私和安全问题，凸显了迫切需要能够在不泄露敏感信息的情况下保持个性化的隐私保护学习框架。这一问题因严格的法律法规（如GDPR^1）而更加突出，该法规对个人数据的处理、存储和共享制定了严格规定——特别是关于用户同意和数据匿名化方面。对于依赖大规模用户数据来优化服务的数据驱动行业而言，这些规定带来了巨大的合规挑战。在这种情况下，联邦学习（FL）（Li, Fan, Tse, & Lin, 2020a）作为一种有前景的分布式训练范式应运而生，它能够在不暴露原始用户数据的情况下实现协作模型训练，从而保护隐私并符合法规要求。值得注意的是，FL在以消费者为中心的领域（包括个性化推荐、智能健康监测和语音助手）中的应用日益增多，这些应用在提升服务质量的同时系统性地降低了隐私风险。

然而，将GNNs与FL结合也带来了非平凡的挑战。首先，在具有异构（非独立同分布，Non-IID）用户数据的联邦环境中进行GNNs的邻居聚合迭代过程时，常常会导致模型收敛速度缓慢和通信开销增大（Luo, Zhang, Xiao, & Song, 2022b）。其次，虽然FL避免了原始数据的共享，但在训练过程中交换的模型参数仍可能泄露敏感用户信息，因此需要超出基本FL架构的更强隐私保障。例如，图1展示了一种攻击者通过噪声注入直接攻击服务器的场景，这会破坏整个联邦推荐系统。如果服务器被破坏，训练过程将停止，模型的完整性也会受到威胁。此外，在服务器直接与客户端交互的情况下，攻击者可以追踪上传参数的来源，可能导致隐私泄露。这突显了需要强大的安全机制来保护系统功能和客户端隐私（Mothukuri等人，2021年）。

标准的双层FL架构（客户端-服务器）缺乏检测和缓解恶意或噪声客户端更新的强大机制，这些机制可能会降低推荐质量并泄露用户隐私。分层FL方法（Liu, Zhang, Song, & Letaief, 2020）通过中间聚合减少了通信开销，但它们主要关注效率而非安全性，并未解决针对用户-物品交互的推荐特定隐私风险。现有的联邦推荐器（例如PerFedRec（Luo, Xiao, & Song, 2022a）、FedGNN（Wu, Wu, Cao, Huang, & Xie, 2021a）依赖于标准FL架构，缺乏针对基于GNN的推荐场景的专用安全机制。本文提出了一种三层联邦架构，该架构结合了分层FL的通信效率和专为推荐系统设计的安全机制。

除了隐私和安全问题外，最近在联邦推荐系统中的研究主要集中在提高模型性能和降低通信成本上（Banabilah, Aloqaily, Alsayed, Malik, & Jararweh, 2022；Lin等人，2020b）。已经提出了一些方法，如联邦平均（Li, Chang, & Chi, 2020c）；McMahhan, Moore, Ramage, Hampson, & Arcas, 2017）和安全聚合协议（Fereidooni等人，2021），以加速收敛并确保隐私保护。尽管这些方法取得了有希望的指标结果，但收敛问题仍未得到解决。图2展示了最先进（SOTA）个性化联邦推荐方法（PerFedRec（Luo等人，2022a）（红线）和PerFedRec++（Luo等人，2024）（蓝线）在大型Gowalla-1m数据集（Liang, Charlin, McInerney, & Blei, 2016）上的训练周期数与评估指标——标准化折扣累积增益（NDCG）之间的关系。如图所示，PerFedRec和PerFedRec++的收敛速度都较慢，即使在接近300个训练周期后，其性能仍未达到最佳水平，此时训练时间已超过5小时。分析表明，这是由于局部GNN模型复杂且局部用户向量训练不足所致。

为了解决这些问题，我们提出了一种名为FastPFRec（快速个性化联邦推荐，支持安全共享）的新型联邦推荐方法，该方法旨在加速联邦GNN的收敛速度，同时确保用户数据的隐私。FastPFRec的一个关键组成部分是FastGNN，这是一种简化且收敛速度快的GNN更新方案，显著提高了训练效率。通过集成FastGNN，所需的训练周期大幅减少，从而降低了时间复杂度。如图2所示，FastPFRec（红线）在仅100个训练周期内就展现了优于其他方法的性能，在每个周期的NDCG指标上均表现优异。此外，我们引入了一种新的参数上传机制，确保在FL框架内数据隐私，有效防止用户数据泄露。具体来说，受分层FL（Liu等人，2020）的启发，我们在FL系统中引入了可信节点的概念。这些可信节点作为客户端和服务器之间的中介，安全地聚合客户端上传的模型参数。我们的主要贡献总结如下：•

我们提出了FastPFRec，这是一种具有可信节点的三层联邦推荐框架，这些节点执行安全的中间聚合和异常检测，超越了标准的双层FL推荐器。

•

我们设计了一个FastGNN更新计划，该计划频繁更新用户嵌入，同时稀疏更新物品嵌入，从而在不牺牲准确性的情况下降低了有效训练成本——这与现有完全每轮更新两侧数据的基于GNN的FL方法不同。

•

我们结合了图扰动、局部差分隐私（LDP）（Truex, Liu, Chow, Gursoy, & Wei, 2020）和可信节点聚合，以增强对噪声客户端的鲁棒性，并采用了明确的威胁模型。

•

在真实世界数据集上的广泛实验表明，与现有的SOTA基于GNN的联邦推荐器相比，FastPFRec的收敛速度显著更快，推荐质量也有所提高。

相关研究

相关工作

本节回顾了两个关键领域的文献：基于GNN的联邦推荐系统以及该领域采用的隐私保护技术。

方法

本节详细介绍了FastPFRec框架，涵盖了客户端、可信节点和服务器端的操作方法。整个过程如图3所示，算法流程见算法1。

实验

在本节中，我们首先概述了数据集和实验细节。此外，我们还展示了FastPFRec在各种基线方法上的鲁棒性和收敛效果。

结论

本研究提出了FastPFRec，这是一种快速且个性化的联邦推荐框架，具备集成隐私保护功能，旨在解决数据隐私和异构性问题。在多个数据集上的实验结果表明，FastPFRec在提高训练效率的同时，通过FastGNN更新计划实现了高推荐准确率，并通过多层次保护机制提供了强大的隐私保障。

作者声明

严振星：概念化、方法论、软件开发、撰写——原始草稿准备、调查。

袁继东：数据整理、撰写——审阅与编辑。

孙永奇：可视化。

刘海阳：软件开发、验证。

高志辉：撰写——审阅与编辑。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文所述的工作。