对抗性对比协同过滤（Adversarial Contrastive Collaborative Filtering）

《Knowledge-Based Systems》：Adversarial Contrastive Collaborative Filtering

ACCF框架通过对抗性扰动提升图神经网络推荐系统的鲁棒性，设计实例敏感的BPR损失动态调整训练权重，并采用双层优化策略，实验验证其优于现有方法。

　　

吴斌|张波|范瑞文|叶阳东

郑州大学计算机与人工智能学院，郑州，450001，中国

摘要

图神经网络（GNN）在个性化推荐方面展现了令人印象深刻的表现。然而，诸如交互噪声和数据稀疏性等挑战阻碍了高质量用户和物品表示的学习。最近，结合对比学习（CL）的监督学习成为处理这些挑战时优化基于GNN的推荐系统的主要方法。尽管有效，但我们认为它仍然存在两个关键缺陷：（1）在将CL与GNN结合时，通常会对用户-物品二分图或节点嵌入进行随机扰动，这可能导致用户和物品的表示变得脆弱；同时，节点嵌入的质量在很大程度上依赖于扰动策略的设计；（2）在监督学习阶段，它们通常采用基于排名的损失函数（例如贝叶斯个性化排名BPR），并平等对待每个训练实例，忽略了不同示例之间的细微差异。为了解决这些限制，我们提出了一种新的训练范式，称为对抗性对比协作过滤（ACCF），以提高基于GNN的推荐系统的泛化和鲁棒性。具体来说，我们设计了一种对抗性对比学习原理，通过对节点嵌入施加对抗性扰动来增强模型的鲁棒性。此外，我们设计了一个实例敏感的BPR损失函数，以动态学习每个训练实例的贡献度，并将整个训练过程构建为一个双层优化问题。在四个真实世界数据集上的广泛实验表明，ACCF优于现有的最先进方法。

引言

随着互联网上信息的快速增长，用户可以轻松访问各种在线物品和服务。然而，对于每个用户来说，识别符合其口味和意图的物品非常困难。为了减轻网络上的信息过载，推荐系统已在电子商务[1]、视频流媒体[2]和基于位置的服务[3]等各种应用中得到广泛应用，以执行个性化信息过滤。在过去的几十年中，发明了一系列基于协同过滤（CF）的推荐系统，从隐式反馈中描绘用户画像。简而言之，如何学习用户和物品的嵌入是基于CF的推荐的核心。

早期的基于CF的模型，特别是矩阵分解（MF）[4]、[5]，将每个物品和用户的ID映射到密集向量，并使用内积来预测用户偏好。后续的神经CF方法[6]、[7]放弃了内积函数，转而使用深度神经网络来捕捉用户-物品交互的强度。虽然这两种方法分别独立地处理每个观察到的示例，但最近的基于GNN的推荐系统[8]、[9]、[10]将所有用户行为转换为二分图并应用不同的传播规则。回顾来看，在模型结构的设计方面取得了显著进展，但在推荐中的模型优化探索方面缺乏具体关注。大多数基于GNN的推荐系统直接应用监督学习损失来优化模型参数，其中贝叶斯个性化排名（BPR）[5]是代表性的优化标准之一。在每个时代，它首先选择一个观察到的交互（u, i），然后随机选择一个未观察到的物品j来构成一个三元组训练实例（u, i, j）。在这种情况下，需要足够的高质量观察数据来进行模型训练。然而，许多现实世界的推荐应用在从有限的隐式反馈中学习有信息量的用户和物品嵌入时面临着严重的数据稀疏性问题。最近，对比学习为缓解仅基于监督学习的推荐系统的上述限制提供了新的视角。大多数现有的图CL方法采用基于启发式的数据增强策略来生成对比视图并最大化它们之间的互信息。一个开创性的尝试是自我监督图学习框架（SGL）[11]，它通过在用户-物品交互图上实施随机扰动（例如节点丢弃和边剪枝）来扩展LightGCN。更近期，Yu等人[12]设计了一个极其简单的图CL框架，对用户和物品的不同嵌入施加随机噪声扰动。尽管有效，我们认为当前基于GNN的推荐训练范式仍然存在两个缺陷：•

无法提供高质量的对比视图。 之前的图CL方法通常在用户-物品二分图或节点嵌入上实施随机扰动以生成对比视图。虽然这种方法简单直接，但问题是随机生成的对比视图提供的信息信号非常有限，可能导致用户和物品的表示变得脆弱。图1显示了在Yelp和Pet数据集上应用对抗性和随机扰动时，不同噪声幅度?的影响。该图表明，添加对抗性噪声比添加随机噪声更能显著降低性能，这表明节点表示对随机噪声相对鲁棒，但对对抗性噪声较为脆弱。此外，多项研究表明图CL方法[13]、[14]对数据扰动策略的设计非常敏感。

•

平等对待所有训练实例。 在监督学习阶段，它们直接应用BPR作为优化目标。这种训练范式为所有构建的三元组分配相同的权重，忽略了训练实例的两个方面。一方面，它未能区分不同训练实例对学习模型参数的重要性。如果训练三元组中的负样本是易于区分的样本，它对模型学习的贡献应该很小；相反，如果选择了难以区分的负样本，那么该训练三元组应该对模型学习的贡献更大。另一方面，它未能区分不同训练时期相同三元组实例的细微差异。直观地说，接近推荐列表底部的观察样本应该比接近顶部的样本对模型学习的贡献更大。

考虑到这些缺陷，我们提出了一个用于推荐的图对抗性对比学习框架。具体来说，我们提出了一个嵌入级别的对抗性CL框架，以避免传统CL方法的缺点。该模块包括两个阶段：对抗性扰动和对比学习。前者旨在通过快速梯度近似方法生成对抗性扰动，并将其添加到初始传播层的节点嵌入中。后者旨在最大化两个正实例之间的互信息并分离负对。此外，我们创新性地设计了一个实例敏感的BPR损失函数，能够动态区分不同训练时期每个训练实例的重要性。最后，我们将整个训练过程视为一个双层优化问题。本文的主要贡献如下：•

我们诊断了当前图CL方法的关键瓶颈，并提出了一个用于推荐的图对抗性对比学习框架。

•

我们设计了一种对抗性对比学习原理，在节点嵌入级别施加对抗性扰动，以提高模型的泛化和鲁棒性。

•

我们设计了一个实例敏感的优化标准，能够动态调整不同训练时期每个三元组实例的重要性。

•

我们在不同的推荐领域进行了广泛的实验，证明了我们的ACCF方法优于现有的最先进推荐系统。

推荐中的模型结构

推荐中的模型结构

CF是推荐社区中广泛应用的技术，它通过建模历史行为数据[8]、[9]、[15]来预测用户对未观察物品的偏好。CF的发展经历了三个阶段：从早期的基于邻域的方法开始，发展到矩阵分解（MF），最近采用了图神经网络（GNN）。最初的CF[16]、[17]专注于选择用户/物品的相关邻居并预测偏好

问题表述

在详细阐述我们的框架之前，我们首先提供几个基本符号及其详细描述。在本文中，标量（例如u）用小写字母表示，而向量（例如e）用粗体小写字母表示。此外，我们使用粗体大写字母（例如E）和花体大写字母（例如$I$）分别表示矩阵和集合。为了清晰起见，表1展示了几个关键符号及其解释。

$\mathrm{定义}1.$(用户-物品交互

方法论

在本节中，我们提出了一种新的解决方案ACCF，用于物品推荐。具体来说，我们详细介绍了如何实施对抗性对比学习以提高推荐的鲁棒性，以及我们的解决方案如何调整每个训练实例的权重。图2提供了我们提出的ACCF的工作流程概览。

实验

在这部分中，我们在四个公共基准数据集上进行了几项实验，以回答五个研究问题：•

RQ1 我们提出的ACCF如何优于几种最先进的方法？

•

RQ2 不同的推荐方法在异常情况下表现如何？

•

RQ3 不同组件如何影响ACCF的性能？

•

RQ4 ACCF的训练效率与其他竞争者相比如何？

•

RQ5 ACCF对其他常见架构的适用性如何？

•

RQ6 不同的超参数

结论与未来工作

在本文中，我们开发了一个用于top-N推荐的对抗性对比协作过滤框架。具体来说，我们的框架包括（1）一种在嵌入级别显式注入对抗性扰动的对抗性对比学习范式，以提高基于GNN的推荐系统的泛化和鲁棒性；以及（2）一个实例敏感的优化标准，能够动态区分不同训练时期每个训练实例的贡献

CRediT作者贡献声明

吴斌：写作 – 审稿与编辑，撰写原始草案，软件开发，方法论，数据管理，概念化。张波：写作 – 审稿与编辑，验证，方法论。范瑞文：写作 – 审稿与编辑，软件开发，方法论，形式分析。叶阳东：写作 – 审稿与编辑，监督，资金获取，概念化。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了国家自然科学基金（项目编号62102369）、河南省杰出青年学者科学基金（项目编号252300421227）以及由中国留学基金委（CSC）资助的青年骨干教师海外培训计划的支持。