用于社交推荐的自动自我监督学习

《Neurocomputing》：Automatic self-supervised learning for social recommendations

自动自监督学习框架AusRec通过元学习优化自动加权机制，整合多源自监督辅助任务平衡提升社交推荐系统表征学习，实验验证其在多个数据集上Recall@10和NDCG@10指标优于SOTA方法。

　　

何欣|范文琪|王颖|孙明晨|王欣

吉林大学人工智能学院（SAI）计算机科学与技术系，中国吉林省长春市前进街2699号

摘要

近年来，研究人员利用社会关系来提升推荐系统的性能。然而，大多数现有的社交推荐方法需要为特定场景精心设计的辅助社交任务，这些任务在很大程度上依赖于领域知识和专业技能。为了解决这一限制，我们提出了自动自我监督学习社交推荐（AusRec）方法，该方法通过元学习优化框架整合了多个自我监督辅助任务，并采用自动加权机制来动态平衡它们的贡献。这种设计使模型能够自动学习每个辅助任务的最佳重要性，从而增强社交推荐中的表示学习能力。在多个真实世界数据集上的广泛实验表明，AusRec在Recall@10指标上比现有最佳方法高出3.3%–10.7%，在NDCG@10指标上高出1.4%–7.1%，验证了其有效性和在不同推荐场景中的鲁棒性。代码位于：https://github.com/hexin5515/AusRec。

引言

在信息过载的时代，人们越来越被在线上大量的信息所淹没，这促使智能信息系统帮助从海量数据中筛选出与用户个人兴趣相关的内容。作为代表性的智能信息系统，推荐系统旨在减轻信息过载，并被广泛应用于各种在线平台[1]、[2]、[3]，例如在线购物（如Amazon¹和Taobao²）以及社交媒体（如Facebook³、Twitter⁴和Weibo⁵）。更具体地说，推荐系统的功能是向用户推荐符合其兴趣且更有可能被用户互动的项目列表。在现有的高级推荐系统中，协同过滤（CF）是最广泛使用的技术之一，它基于这样一个假设：具有相似历史偏好的用户在未来也可能有相似的偏好[4]。一般来说，用户与项目的历史互动是表达用户偏好的关键，可以对其进行编码以学习推荐系统中用户和项目的表示[5]、[6]、[7]。

在过去十年中，在线社交网络服务（如Facebook、Weibo、Douban）的发展非常显著，最近的研究表明，可以将用户之间的社交关系纳入推荐系统中，以增强用户的表示学习[[2]、[8]–11]，这是因为观察到用户的偏好可能会受到其社交联系朋友（如同学、同事、家庭成员等）的影响[12]。例如，SocialMF[13]和GraphRec[9]利用了一阶社交邻居来增强用户表示学习。DiffNet[10]提出了一种影响扩散方法，通过考虑高阶社交信息来促进社交影响的传播。ESRF[11]建议在社交推荐中利用用户之间的三角关系。我们在图1中展示了一些现有社交推荐中的代表性社交关系任务，如用户之间的一跳关系、高阶关系、三角社交关系、基于元路径的社交关系等。直观上，在社交网络中，用户之间的三角关系（具有强联系）比基于元路径的社交关系（具有弱联系）更可能共享相似的项目偏好。总之，大多数现有的社交推荐方法需要精心开发各种辅助社交关系任务（如高阶关系、三角关系等），以考虑社交网络/图的特征来改进社交推荐[14]。

近年来，自我监督学习（SSL）技术已成为一种新兴的学习范式，它通过设计适当的辅助任务来利用丰富的未标记数据来增强表示学习，应用于各种研究领域，如计算机视觉（CV）和自然语言处理（NLP）[15]、[16]。由于SSL在处理未标记数据时的强大表示学习能力，它已成功应用于推荐系统[17]、[18]、[19]、[20]。更具体地说，大多数基于SSL的推荐方法提出设计一些SSL辅助任务来辅助主要（目标）任务（即项目推荐）。例如，SGL[17]提出了一个针对用户-项目图的随机增强（如节点/边丢弃）的自我监督图学习通用框架。DHCN[18]通过最大化两个通道之间的互信息将自我监督学习整合到网络训练中。MHCN[19]利用社交三角关系进行对比学习辅助任务，以改进社交推荐。

尽管取得了上述成功，但由于根本性的挑战，这些方法并没有充分利用自我监督信号来增强社交推荐中的表示学习。首先，采用的自我监督辅助任务（简称SS-A任务）必须谨慎选择，这需要大量的领域知识和专业技能，因为不同的SS-A任务根据具体的数据集和下游任务而具有不同的重要性。其次，多个SS-A任务的不当组合可能导致负面迁移，即各种SS-A任务可能会主导训练过程，阻碍主要推荐任务的表示学习。更糟糕的是，平衡多个SS-A任务以辅助主要任务极具挑战性。然而，大多数现有的自我监督增强推荐方法只结合了少数SS-A任务，给各种SS-A任务分配相同的权重，或者通过大量调整超参数来控制不同SS-A任务的贡献[17]、[18]、[19]。

为了验证上述弱点，我们进行了初步研究，以检验各种SS-A任务在三种数据集（包括LastFM、Epinions和DBook，详见第4.1.1节）上的表现。实验结果如图2所示，不同SS-A任务对主要推荐任务有不同的影响。更糟糕的是，带有各种SS-A任务的MHCN（除了任务3）对不带任务的MHCN产生了负面影响，这些方法未能将多个SS-A任务的知识转移到主要推荐任务中。从这些观察中，我们可以得出结论，社交推荐中SS-A任务的构建在很大程度上取决于数据集和领域知识。因此，一个重要的研究问题是如何自动利用多个SS-A任务来增强表示学习，以改进社交推荐。据我们所知，自动利用各种SS-A任务进行社交推荐的研究仍然很少。

在本文中，为了解决上述挑战，我们旨在构建一个自动自我监督学习社交推荐（AusRec），它能够自动利用SS-A任务来辅助主要推荐任务。更具体地说，我们提出了一种自动加权机制，用于学习各种SS-A任务的权重，从而平衡这些SS-A任务对社交推荐中表示学习的贡献。此外，所提出的自动加权机制被构建为一个元学习优化问题，包括一个自动加权网络。主要贡献总结如下：

•

我们研究了一个新颖的问题，即通过端到端的方式调整多个自我监督社交辅助任务的权重来改进社交推荐；

•

我们提出了一种原则性的方法来整合多个SS-A任务，以便利用丰富的未标记社交关系数据来传递信息知识，从而增强表示学习；

•

我们提出了一个用于社交推荐的新的自我监督学习框架（AusRec），它自动平衡各种SS-A任务的重要性，以改进主要社交推荐；

•

我们在各种真实世界数据集上进行了全面的实验和消融研究，以证明AusRec的优越性。

本文的其余部分组织如下。第2节回顾了推荐系统、社交推荐、自我监督学习和推荐系统的元学习的相关工作。第3节详细介绍了所提出的AusRec，包括自我监督辅助任务的构建、自动加权机制和模型训练过程。第4节报告了实验设置、数据集、基线比较和消融研究。第5节讨论了我们方法的局限性和特点，第6节总结了本文。

相关工作

相关工作

在本节中，我们回顾了推荐系统、社交推荐方法、自我监督学习和推荐系统的元学习方法的相关工作。

提出的方法

本节介绍了本文中使用的定义和符号，然后介绍了我们提出的自动自我监督学习框架（AusRec）。最后，我们详细介绍了模型训练过程和参数学习方法。

实验

在本节中，我们进行了全面的实验来验证我们提出方法的有效性。我们首先介绍了实验设置，然后将我们的方法与各种基线方法在代表性数据集上进行了比较。最后，我们对所提出的方法进行了详细的消融研究。

局限性和未来工作

尽管AusRec在各种数据集上取得了良好的性能，但它仍存在一些需要进一步研究的局限性。首先，本文介绍的辅助任务在多样性上相对有限，因为它们主要基于用户-用户的一跳或多跳关系构建。这样的关系可能不足以捕捉现实世界场景中用户意图和社交影响的全部范围。其次，该框架涉及多个辅助任务

结论

在这项工作中，我们提出了一个用于社交推荐的自动自我监督学习框架（AusRec），它可以自动平衡各种自我监督辅助（SS-A）任务的重要性，以增强社交推荐中的表示学习。此外，我们的模型具有以下两个优势：（1）我们提出的方法可以结合许多SS-A任务进行社交推荐，从而可以利用不同类型的社交关系

CRediT作者贡献声明

何欣：写作——审稿与编辑、撰写原始稿件、可视化、验证、方法论、形式分析、数据整理。范文琪：写作——审稿与编辑、监督、方法论、概念化。王颖：监督、资源获取。孙明晨：可视化、验证。王欣：写作——审稿与编辑、监督、资源获取、方法论、资金获取。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能会影响本文报告的工作。

致谢

本工作得到了国家自然科学基金（项目编号62372211）和吉林省科学技术发展计划（项目编号20250102216JC）的资助。

何欣目前是吉林大学人工智能学院的博士候选人。他于2023年获得吉林大学人工智能学院的硕士学位，2019年获得吉林大学软件学院的学士学位。他的研究兴趣包括深度学习、推荐系统和数据挖掘。