通过大型语言模型的引导实现多模态异构图神经网络推荐系统

《Expert Systems with Applications》：Multimodal Heterogeneous Graph Neural Networks for Recommendation via Large Language Models’ Guidance

　　陈建毅|杨凯|赵志娟|孙晓兵|胡兆龙
扬州大学信息与人工智能学院，江苏扬州225127

**摘要**
异构信息网络（HINs）因其能够整合多种节点类型和关系类型而在推荐系统中得到广泛应用。然而，传统方法通常依赖于人工设计的元路径，这不仅限制了大规模实际网络的可扩展性和可解释性，还难以有效处理稀疏的用户互动和多模态内容。为了解决这些挑战，我们提出了一种新的框架MHGRec-LG，该框架利用大规模语言模型（LLMs）的指导来处理多模态异构图神经网络的推荐问题。首先，引入了一种基于注意力机制的多模态用户画像方法，从稀疏的互动中生成密集且语义对齐的用户表示。其次，设计了一种保持结构的全局元路径搜索策略，动态探索元路径空间，其中“语法翻译器”将异构图结构转换为大型语言模型可以理解的逻辑句子。最后，“基于LLM的预测器与选择器”根据用户画像和语义相似性评估和优化候选元路径，而“进化更新器”结合用户偏好来实现个性化和可解释的优化。在三个真实世界数据集上的广泛实验表明，MHGRec-LG在推荐准确性、排名质量和可解释性方面显著优于现有最佳基线方法，尤其是在稀疏和冷启动场景下表现出强大的泛化能力。

**引言**
推荐系统已成为现代在线平台不可或缺的组成部分（Castells & Jannach, 2023; Dong, Wang, Xu, Tang, & Wen, 2022; Roy & Dutta, 2022）。其中一个关键挑战是模拟用户、物品以及丰富侧信息之间的复杂互动，以提供准确和个性化的建议。异构信息网络（HINs）提供了一种统一的图表示方法，包括多种节点类型（如用户、物品、属性）和关系类型（如相关关系）。

**相关工作**
本节回顾了与我们的工作相关的现有文献。具体来说，我们总结了与所提出框架密切相关的三个研究方向：自动元路径发现方法、用于图结构学习的大型语言模型以及多模态推荐系统。虽然这些研究为我们的工作提供了重要基础，但它们仍存在某些局限性，这激发了我们提出新方法的需求。

**初步知识**
在本节中，我们定义了异构信息网络和元路径的概念。
- **异构信息网络（HIN）**（Sun, Han, Yan, Yu, & Wu, 2011）：信息网络（IN）在数学上表示为图G={V, E, T, R, σ, ?}，其中V={v1, v2, …, vn}是节点集，E={e1, e2, …, em}是边集，T={t1, t2, …, tk}是节点类型集，R={r1, r2, …, rj}是边类型集。σ: V → T是一个函数，将每个节点映射到其对应的类型；?: V → T也是一个函数，将类型映射到节点。

**方法**
在本节中，我们介绍了所提出框架的核心方法组成部分。第4.1节介绍了基于注意力机制的多模态用户画像方法，用于生成密集且语义丰富的用户表示。第4.2节详细描述了通过结构变换动态扩展搜索空间的相邻元路径探索过程。第4.3节描述了将元路径转换为大型语言模型可理解的逻辑句子的“语法翻译器”。

**实验**
本节通过在实际数据集上的广泛实验来评估所提出的MHGRec-LG框架的有效性。我们首先描述了实验设置、数据集和基线模型，然后报告了性能比较、消融研究、鲁棒性分析和可解释性评估结果。

**结论**
在本文中，我们提出了一种新的推荐框架MHGRec-LG，它结合了多模态用户画像和基于LLM的进化元路径搜索，构建了语义丰富、可解释且适应稀疏场景的推荐系统。在三个真实世界数据集上的广泛实验表明，MHGRec-LG在推荐准确性和排名质量方面始终优于各种现有的最佳基线方法，尤其是在稀疏和冷启动场景下表现得尤为突出。

**缺失的参考文献引用**
Zhu et al. (2023)
Yu, Shao, Miao, & Shi (2024)

**利益冲突声明**
作者声明他们没有利益冲突。作者声明他们没有已知的财务利益或个人关系可能影响本文的报告内容。