FedLDP：通过逻辑函数解耦与个性化实现模型异构的联邦图学习

《Knowledge-Based Systems》：FedLDP: Model-heterogeneous Federated Graph Learning via Logits Decoupling and Personalization

　　

余晓阳|李奇宇|李德|邓荣斌|王金燕

教育部教育区块链与智能技术重点实验室，广西师范大学，桂林市，541004，中国

摘要

在联邦图学习（FGL）中，模型异构性是一个现实世界的问题，因为不同的客户端根据他们的本地数据或个人偏好选择本地模型。由于模型架构的差异，传统的参数聚合方法无法在服务器端执行参数聚合。现有的工作基于嵌入原型来解决这个问题，但我们首先通过实验表明，传统的基于嵌入的原型方法在客户端表现不佳，这是由于表示空间不兼容造成的。而使用基于logits的原型方法可以显著提高本地模型的性能，并且我们提供了详细的理论证明。基于此，我们提出了一个新颖的FGL框架FedLDP。具体来说，我们使用logits而不是嵌入向量来生成原型，并且客户端采用知识解耦来分离协作知识与本地知识，从而减少冗余。在服务器端，我们首先构建一个反映不同客户端协作强度的协作图，然后根据这个图进行个性化聚合。在六个基准数据集上的广泛实验表明，FedLDP显著优于所有现有的最佳方法，为异构FGL场景提供了一种有效的新方法。

引言

图神经网络（GNNs）作为一种从图结构数据中学习表征的强大工具，在节点分类[1]、链接预测[2]和图分类[3]等任务中取得了显著的成功。同时，联邦学习（FL）[4]已成为一种突出的分布式机器学习范式，使多个客户端能够在不暴露其私人数据的情况下协作训练模型。因此，将FL的原则应用于GNNs导致了联邦图学习（FGL）[5]这一新兴领域的发展，其目标是在去中心化的私有图数据集上训练高性能的GNNs，以应对通信效率和数据异构性[6]、[7]、[8]、[9]、[10]等挑战。

然而，大多数现有的FGL工作都是建立在这样一个关键假设之上：模型同质性，即所有客户端通常使用完全相同的GNNs。在现实世界的应用中，这个假设往往不切实际，因为客户端可能由于本地数据或偏好的不同而需要不同的架构，强制使用单一模型可能是不切实际的。对于依赖直接参数平均的传统方法，不同的模型结构可能导致数学上不连贯的聚合。这种现实世界的异构性对标准的FGL框架构成了根本性的挑战。

尽管一些工作已经开始探索模型异构的联邦学习，但它们主要关注图像[11]、[12]或文本数据[13]、[14]。由于图数据的非欧几里得性质，这些方法通常不适合FGL场景。更重要的是，我们的实证研究揭示了当前为异构FGL设计的基于嵌入的原型方法[15]、[16]中的一个根本缺陷（见图1）。因为不同的GNN编码器将数据映射到不兼容的嵌入空间中，因此在服务器端强制聚合这些原型不仅无法提升性能，还可能污染知识，导致模型性能严重下降，有时甚至不如纯本地训练的效果。（有关详细的实证和理论分析，请参见第4节。）

如图2所示，在模型异构的FGL场景中，传统的基于梯度的聚合范式不适用，而现有的基于嵌入的原型聚合也不兼容。这一发现提出了一个核心挑战：在模型异构的FGL背景下，什么可以作为有效的知识对齐媒介？我们如何设计一个高效且精确的协作框架？

为了解决这一挑战，我们提出了Federated Graph Learning via Logits Decoupling and Personalization（FedLDP），这是一个通过Logits解耦和个人化来实现模型异构FGL的新框架。我们的核心观点是，与不兼容的嵌入原型不同，logits作为最终softmax层之前的评分向量，在所有异构模型中具有自然对齐的共享语义空间，因为每个维度对应一个特定的类别。基于此，我们引入了一系列新颖的设计来净化和利用logits原型中的知识。首先在客户端设计一个代表性的Logits中心生成模块来获得代表性的初始logits原型。然而，这些原型仍然包含由专门本地模型生成的知识冗余。随后，一个本地知识解耦模块将协作知识与本地知识分离，仅上传前者以提高聚合质量。最后，在服务器端，我们基于协作图设计了一个个性化聚合机制，为每个客户端创建一个定制的聚合原型，超越了单一全局原型的限制。这项工作的贡献如下。

• •
  新发现。 在基于嵌入原型的聚合对齐失败的情况下[16]，我们通过理论和实验发现了logits原型在异构FGL场景中的有效性，并从理论上揭示了基于嵌入的原型失败的原因，从而确立了基于logits的原型聚合作为该领域研究的有效基础。
• •
  新方法。 我们提出了一个名为FedLDP的模型异构FGL框架。该框架通过在客户端进行知识解耦，并在服务器端基于动态协作图进行个性化聚合，从而显著提高了模型的个性化性能。
• •
  最佳性能。 我们评估了FedLDP在六个公共基准数据集上的有效性。实验结果表明，FedLDP在各种模型异构设置中均优于所有现有的最佳方法。

部分片段

联邦图学习

作为处理图结构数据的强大机器学习模型，GNNs在图任务[17]、[18]中取得了优异的结果。同时，FL作为一种保护隐私的分布式范式，可以有效解决数据孤岛[4]、[19]问题。两者的结合产生了FGL[5]，其目标是使多个客户端能够在不暴露本地私有图数据的情况下协作训练GNN模型。FGL研究主要集中在解决诸如

初步

在本节中，我们将介绍一些基本概念，包括图神经网络、模型异构FGL和基于原型的FGL。本文中使用的主要符号可以在表1中找到。

实证分析

虽然传统的基于嵌入的FGL为模型异构性提供了解决方案，但原型空间的选择仍然是一个根本挑战。为了验证不同全局原型的有效性，我们在模型异构的FGL场景中进行了一项实验，比较了三种方法，其中三个客户端分别使用了GCN、GAT和GraphSage模型。

• •
  本地训练（local_only）：不需要通信，客户端使用自己的数据进行训练。
• •
  基于嵌入的

提出的方法

在本节中，我们首先简要介绍我们方法的框架并分析我们的动机，然后详细阐述我们提出的FedLDP的每个组成部分。

实验

在本节中，我们进行实验以验证FedLDP的有效性。具体来说，我们旨在回答以下问题：Q1：FedLDP相比其他现有的联邦优化策略是否具有更好的性能？Q2：FedLDP在极端模型异构性场景中的表现如何？Q3：FedLDP的性能提升来自于哪里？Q4：FedLDP是否对超参数敏感？Q5：作为联邦学习框架，FedLDP如何处理隐私问题？Q6：

限制和未来工作

尽管FedLDP在模型异构的FGL场景中表现出优越的性能和鲁棒性，但仍存在一些需要进一步研究的限制。

限制。 首先，虽然我们当前的实验设置使用Louvain聚类来模拟非独立同分布（non-IID）数据，但它并没有针对长尾标签分布等极端情况进行优化。在现实世界的部署中，标签不平衡可能比模拟情况更为严重。

结论

本文研究了传统基于嵌入的原型方法在异构FGL场景中服务器端聚合的失败，并发现logits原型是一种更优越、更自然的知识共享媒介。我们提供了详细的实证和理论分析。基于这些分析和验证，我们提出的FedLDP框架通过客户端知识分解和服务器端个性化聚合实现了这一目标。

CRediT作者贡献声明

余晓阳：写作 – 审稿与编辑，写作 – 原始草稿，可视化，验证，软件，资源，项目管理，方法论，调查，形式分析，数据策划，概念化。李奇宇：监督。李德：监督。邓荣斌：监督。王金燕：监督，资金筹集。

利益冲突声明

作者声明他们没有已知的可能会影响本文报道工作的竞争性财务利益或个人关系。

致谢

本文得到了国家自然科学基金（编号：62162005和U21A20474）、广西百色青年人才培训计划，广西“百色学者”创新研究团队、广西人工智能研究院、广西多源信息集成与智能处理协同创新中心的支持。