基于动态变换器模型的多视图知识图谱推荐系统

《Engineering Applications of Artificial Intelligence》：Multi-view knowledge graph recommendation with dynamic transformer modeling

多视图知识图谱传播结合动态切比雪夫变换器提升推荐系统鲁棒性，通过随机扰动生成多样图视图抑制噪声，跨层注意力机制融合多维度特征，有效缓解数据稀疏和冷启动问题，实验验证在多个基准数据集上显著优于基线方法。

　　

张梦婷|李曼|曹文明|杨明明|李冰|朱光珍|卢成

重庆交通大学数学与统计学院，中国重庆市南岸区学府路66号，400074

摘要

推荐系统对于缓解信息过载至关重要，但仍然面临数据稀疏、冷启动问题以及知识图谱结构噪声等挑战。为了解决这些问题，我们提出了一种新的推荐框架，该框架整合了动态Tanh变换器（DyT-Transformer）、多视图知识图谱传播策略和层间注意力机制。DyT-Transformer通过动态加权关键特征来增强用户-项目表示，无需使用归一化层，从而提高了稳定性和效率。多视图传播通过随机扰动生成多样化的图谱视图，从而减轻噪声并提高鲁棒性。层间注意力机制能够自适应地聚合不同传播深度的嵌入，以捕捉层次语义。在包括Book-Crossing、MovieLens-1M、Amazon-Book、Yelp2018和Alibaba在内的五个真实世界数据集上的广泛实验表明，所提出的模型在点击率预测和Top-K推荐任务中始终优于现有的最佳基线。这些结果证实了将DyT-Transformer与多视图知识图谱学习结合用于鲁棒推荐的有效性和可扩展性。我们已在https://github.com/tttterter/MVLDT提供了我们提出模型的源代码。

引言

在线信息的指数级增长加剧了信息过载的问题（Bawden和Robinson，2009年），严重阻碍了用户高效访问大量相关内容的能力。推荐系统作为解决这一问题的关键方案应运而生，旨在提供更精确和高效的信息服务。通过分析用户的历史交互数据（如点击、评分、购买和搜索），推荐系统有效地减轻了信息过载。然而，随着用户和项目规模的迅速扩大，传统的协同过滤（CF）（He等人，2017年）和矩阵分解（MF）（Mehta和Rana，2017年）等技术遇到了数据稀疏和冷启动问题（Zhang等人，2020年）等关键限制。在这些极端条件下，这些模型无法学习到可靠的用户偏好和项目特征表示，导致推荐准确性显著下降。

为了克服这些限制，研究探索了整合各种辅助信息的形式，如社交连接（Li等人，2023年）、视觉特征（Wan等人，2023年）、对话历史（Zhang等人，2023年）和时间动态（Xie等人，2022年）。其中，知识图谱（KGs）（Fensel等人，2020年）在推荐系统领域受到了特别关注。KGs是结构化的异构网络，包含通过丰富的语义关系相互链接的大量实体。它们在部分缓解数据稀疏和冷启动问题方面被证明是有效的。本质上，知识图谱作为语义网络，将现实世界中的实体表示为节点，将它们之间的关系表示为边。这种结构使得建模复杂的、有意义的连接成为可能，增强了系统推断用户偏好和提供准确推荐的能力。知识图谱中的信息以三元组的形式表示，提供了一个高度表达性的结构框架。通过将KGs中的实体和关系整合到推荐系统中，可以实现以下几项好处：

• •
  增强的表示：KGs能够更全面地建模用户和项目特征，从而提高推荐准确性和泛化能力。
• •
  缓解稀疏性：图谱结构允许用户兴趣的传播和潜在高阶连接的发现，有效应对数据稀疏问题。
• •
  属性丰富：KGs提供了与实体相关的丰富属性信息，可用于增强用户和项目档案，以实现更个性化的推荐。
• •
  冷启动缓解：通过利用KG中的关系路径，即使在缺乏历史交互数据的情况下，推荐系统也能推断用户偏好或项目特征，支持新用户或项目的无缝集成。

因此，基于KG的推荐方法在准确性、多样性和可解释性方面明显优于传统方法（Sang等人，2021年）。这些优势使基于KG的技术成为推荐系统领域一个重要且不断发展的方向。

利用知识图谱（KGs）作为辅助信息的推荐系统可以大致分为三种范式：基于路径的方法、基于嵌入的方法和基于传播的方法（Guo等人，2020年）。基于路径的方法利用元路径来规范用户和项目表示的学习（Yu等人，2014年）。然而，它们通常需要大量的领域知识和手动设计，导致成本较高。基于嵌入的方法通过知识图谱嵌入（KGE）（Wang等人，2017年）学习实体和关系的低维向量，例如基于翻译的模型（如He等人（2015年）和语义匹配模型（如Nickel等人（2011年））。尽管这些方法具有可扩展性和易于实现的特点，但它们通常采用两阶段流程，分别优化KGE和推荐，这可能会影响其适应性。相比之下，基于传播的方法将图神经网络（GNNs），如图卷积网络（GCNs）（Kipf，2016年）和图注意力网络（GATs）（Velickovic等人，2017年），整合到端到端框架中，将用户/项目视为与KG实体相连的节点，并通过多层消息传递来细化表示，以捕捉高阶、多跳语义。然而，深度传播可能会引入无关邻居和噪声边，需要仔细关注或正则化以防止性能下降。

尽管KGs已被广泛用于缓解推荐系统中的数据稀疏和冷启动问题，但现有的KG增强方法仍存在两个限制：（1）对用户-项目行为数据的高阶特征交互建模不足；（2）容易受到单视图KG传播引起的结构噪声的影响。为了克服这些限制，我们引入了动态Tanh变换器（DyT-Transformer）（Zhu等人，2025年）进行协同传播，该变换器对嵌入中的维度依赖性进行建模，以自适应地重新加权信息特征。与基于Layer-Norm的Transformer不同，DyT-Transformer用可学习的逐元素tanh变换替换了归一化层，从而提高了训练稳定性和计算效率。此外，我们通过多视图KG聚合框架增强了鲁棒性。具体来说，我们通过伯努利掩码构建$S$随机KG子视图，独立进行多层消息传递，并设计跨视图注意力来聚合逐层表示，从而抑制结构噪声的传播。最后，层次注意力机制将DyT-Transformer的输出和多视图KG表示结合起来，然后通过基于卷积神经网络（CNN）的聚合层进一步捕获局部交互模式，生成最终的用户和项目表示用于推荐。

我们论文的主要贡献可以总结如下：

• (1)
  我们提出了一种多视图聚合策略，旨在提高对知识图谱结构噪声和不完整性的鲁棒性。该方法通过伯努利掩码生成多样化的子视图，在每个视图中进行多层聚合，并使用跨视图注意力机制融合表示。
• (2)
  我们将DyT-Transformer整合到用户-项目协同传播过程中，以动态增强从交互矩阵中获得的初始嵌入中的关键用户偏好和项目属性表示。这是通过建模嵌入内的维度依赖性和用可学习的逐元素tanh函数替换标准归一化层来实现的。
• (3)
  我们在包括Book-Crossing、MovieLens-1M、Amazon-Book、Yelp2018和Alibaba-iFashion在内的五个真实世界数据集上进行了实验。结果表明，我们的模型在点击率（CTR）和Top-K推荐性能（召回率和NDCG）方面始终优于竞争基线。

部分内容

基于路径的方法

基于路径的推荐方法通过构建用户-项目交互图中实体之间的各种连接模式来估计节点相似性并生成推荐。具体来说，Yu等人（2013年）提出了Hete-MF模型，该模型结合了基于元结构的技术和矩阵分解。Luo等人（2014年）引入了Hete-CF，利用用户-用户、项目-项目和用户-项目相似性作为正则化项，以更好地捕捉用户偏好。Shi等人（2015年）

提出的方法

在本节中，我们详细阐述了所提出的推荐模型，该模型由DyT-Transformer、多视图表示学习和层间注意力模块组成。我们模型的框架如图1所示。通过利用知识图中实体的邻域结构和用户-项目协同信号，该模型生成了更具信息量的用户和项目表示。具体来说，用户和项目特征向量首先通过

数据集

我们在五个公开可用的数据集上进行了比较实验：Book-Crossing、MovieLens-1M、Amazon-Book、Yelp2018和Alibaba。这五个数据集的统计细节见表2。具体来说，Book-Crossing数据集包含了Cai-Nicolas Ziegler在2004年通过网络爬虫从Book-Crossing社区收集的用户评分数据。MovieLens-1M数据集包括6040名用户对大约4000部电影提供的100万条评分，以及丰富的电影

结论与未来工作

在本文中，我们提出了一个鲁棒的推荐框架，该框架通过三项创新利用了KGs：动态Tanh变换器进行高效的特征处理，多视图传播方案来缓解结构噪声，以及层间注意力模块进行自适应的语义融合。在Book-Crossing、MovieLens-1M、Amazon-Book、Yelp2018和Alibaba数据集上的实验表明，我们的模型不仅在AUC和ACC方面超越了竞争基线，而且保持了鲁棒性

CRediT作者贡献声明

张梦婷：撰写——原始草稿、可视化、软件、方法论、资金获取、数据整理。李曼：撰写——审阅与编辑、监督、方法论、形式分析、概念化。曹文明：撰写——审阅与编辑、形式分析、概念化。杨明明：形式分析、概念化。李冰：形式分析、概念化。朱光珍：软件。卢成：可视化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了国家自然科学基金（编号：62306052、编号：12401678、编号：62273066）的支持，部分得到了重庆市教委科学技术研究计划（编号：KJQN 202300735、编号：KJQN 202400716）的支持，部分得到了重庆研究生研究与创新计划（资助编号：CYS25575）的支持，以及中国自然科学基金（资助编号：CSTB2023NSCQ-LZX0092）的支持。