利用扩散辅助蒸馏技术进行基于多层感知器（MLPs）的自监督图表示学习

《IEEE Transactions on Artificial Intelligence》：Diffusion-Assisted Distillation for Self-Supervised Graph Representation Learning With MLPs

DAD-SGM通过引入去噪扩散模型作为辅助教师，有效解决自监督图表示学习中GNN与MLP的性能差距，提升MLP的泛化能力和鲁棒性，实验验证优于现有蒸馏方法。

　　

影响声明：

本文提出了一种名为DAD-SGM的新框架，旨在解决图神经网络（GNN）和多层感知器（MLP）在自监督图学习中的性能差距问题。我们的方法首先训练一个...显示更多

摘要：

在大规模应用中，人们越来越倾向于通过知识蒸馏将图神经网络（GNN）替换为轻量级的多层感知器（MLP）。然而，将用于自监督图表示学习（SSGRL）的GNN蒸馏到MLP中更具挑战性。这是因为自监督学习的性能更多地与模型的归纳偏差相关，而非监督学习。这促使我们设计了一种新的蒸馏方法，以弥合GNN和MLP在SSGRL中的巨大性能差距。在本文中，我们提出了一种基于扩散辅助的自监督图表示学习方法（DAD-SGM），该方法利用去噪扩散模型（DDM）作为教师辅助工具，将GNN的知识更好地传递给MLP。这种方法提高了MLP在SSGRL中的泛化能力和鲁棒性。大量实验表明，与现有的GNN到MLP的蒸馏方法相比，DAD-SGM能够更有效地提取GNN的知识。

引言

图神经网络（GNN）已成为分析非欧几里得图数据的强大工具。GNN通过消息传递机制捕捉复杂的图结构，其中节点与其邻居交换信息。这种消息传递机制提供了对分析图结构数据有益的空间归纳偏差。然而，随着图规模的增大，这种消息传递方法会带来显著的计算开销[1]。为了解决这一可扩展性问题，研究人员探索了用更轻量级的多层感知器（MLP）替换GNN。虽然MLP缺乏消息传递所提供的结构偏差，但它们具有更高的可扩展性。为了结合GNN和MLP的优势，研究人员越来越多地采用知识蒸馏[2]技术，这是一种将GNN的特定任务知识转移到MLP中的有效方法。对于半监督节点分类，图辅助神经网络（GLNN）[3]最小化了GNN教师模型和MLP学生模型之间的Kullback–Leibler散度。全频GNN到MLP蒸馏（FF-G2M）[4]将教师模型的知识分解为高频和低频信号，然后鼓励学生模型模仿这两种信号。对于链接预测，无链接链接预测（LLP）[5]将围绕每个（锚点）节点的特定关系知识传递给学生MLP。这些GNN到MLP的蒸馏方法使MLP在目标任务中能够达到与GNN相当的性能。