揭示图推荐系统的收敛动态

《IEEE Transactions on Artificial Intelligence》：Unveiling the Convergence Dynamics of a Graph Recommender System

本研究针对图神经网络（GNN）在推荐系统中的收敛动态问题，通过构建单层GNN模型并对比添加缩放因子与激活函数的效果，发现缩放因子能有效调整特征方向，提升模型收敛，而ReLU激活函数单独使用效果不佳。

　　

影响声明：

图神经网络（GNN）已经在学术界和工业界展示了其在处理结构化数据方面的性能。尽管取得了这些成就，但由于GNN模型的复杂性以及训练过程中的各种挑战...显示更多

摘要：

图神经网络（GNN）在处理结构化数据方面表现出色，并已在生物学、物理学、交通运输、电子商务等多个领域得到应用。然而，GNN模型的收敛动态，特别是用于链接预测任务的模型，仍然是改进其设计的关键挑战。现有研究表明，某些较简单的GNN架构在推荐系统（recsys）中也能取得与复杂模型相当的效果。这提示我们需要关注某些组件对模型收敛性的影响。我们构建了基于单层GNN的链接预测模型，并在真实数据和生成的数据集上评估了它们的收敛性能。这些推荐系统采用了图卷积层，并添加了缩放因子或激活函数。我们的理论和数值实验结果表明，缩放因子相比激活函数具有优势：它能够在最终输出之前对特征进行适当的缩放，从而提高模型的收敛速度。此外，仅使用ReLU激活函数无法弥补缺少缩放因子所带来的问题。缩放因子的优势在于它能够改变隐藏特征向量的方向。

引言

图神经网络（GNN）[1], [2] 是专为处理图结构化数据而设计的学习模型。它们能够理解和推理图中节点与边之间表示的关系和依赖性。这些模型已在物理学[3], [4], [5], [6]、化学[7], [8], [9], [10], [11]、交通运输[12]、能源电网[13]、机器人路径规划[14], [15], [16]、推荐系统（recsys）[17], [18], [19], [20], [21], [22]等多个领域得到应用。我们重点关注推荐系统，因为这类模型的核心任务是链接预测，非常适合使用GNN来解决。然而，现有文献中对于GNN模型收敛动态的研究相对较少。推荐系统旨在为电子商务和内容共享平台的用户提供相关推荐。传统的推荐方法（如协同过滤和基于内容的过滤[23]）在处理用户与物品之间的交互及其属性时存在局限性，因此催生了基于GNN的推荐系统（GRecSys）。与所有学习系统一样，GRecSys在应用于实际任务之前需要经过训练。只有当模型收敛或表现出与预期相符的性能时，训练才算成功。模型的架构及其训练方式对收敛性影响最大[24]，这也导致了大量复杂模型的出现。