通过结合图神经网络和大型语言模型来优化知识推理

《Neurocomputing》：Optimizing knowledge reasoning with combined graph neural networks and large language models

提出EIG框架，通过提取、推理和生成三阶段整合LLMs和GNNs，采用增量推理方法降低计算复杂度，提升知识推理准确性和效率，减少语言模型幻觉，支持可解释的推理路径可视化。

　　

张梦晓|刘勋|万伟兵|方志军

上海工程技术大学电子与电气工程学院，中国上海龙腾路333号，201620

摘要

知识推理是人工智能中的一个基本挑战，它需要深刻的语义理解和强大的结构逻辑。虽然大型语言模型（LLMs）展示了出色的生成能力，但它们经常会出现幻觉现象，并且缺乏可解释的推理路径。相比之下，传统的图神经网络（GNNs）提供了强大的结构可解释性，但在扩展到大规模知识图谱（KGs）时面临计算效率低下的问题。为了弥合这一差距，我们提出了EIG，这是一个新颖且统一的框架，通过三个不同的阶段（提取、推理和生成）协同整合了LLMs和GNNs。我们的核心贡献是一种通过复杂采样技术优化的增量推理方法，该方法将推理转化为动态路径发现任务。这种方法将计算复杂性从指数级显著降低到线性级别，有效剪除不相关的搜索路径，同时保持高推理准确性。我们在不同的知识推理数据集上进行了广泛的实验，包括归纳和演绎两种设置。结果表明，EIG在效率和抗噪声能力方面始终优于或与最先进的基线方法保持竞争力。此外，我们的定性和定量分析证实，EIG通过将推理基于结构化的图路径，有效缓解了LLMs的幻觉现象，提供了人类可读且忠实的推理解释，超越了单独使用LLMs和GNNs的方法。

引言

知识图谱（KGs）是知识的结构化表示，通过图结构组织相互关联的信息，其中实体和关系分别用节点和边表示[4]、[17]、[36]、[37]。KGs被广泛用于各种下游任务，如决策制定和推荐[35]、[39]。然而，知识推理存在固有的挑战：它需要理解语法和语义，以便根据现有信息推断出给定查询的缺失答案，从而生成客观、简洁且有意义的响应。推理任务可以表述为三元形式（$$, $$, $$）。目标是识别答案实体$$。

近期能力。链接预测（LP）是知识推理中的一个基本任务，旨在发现实体之间的潜在关系，从而丰富知识图谱。此外，我们还探讨了LLMs在基于知识的问题解答（QA）任务中的应用，以全面了解它们的推理能力。问题解答涉及根据KGs中编码的信息生成精确的答案，测试模型解释和综合知识的能力。

鉴于这些考虑，我们选择了LP和QA任务作为评估知识推理的代表性基准。如图1所示，我们的初步研究重点关注了GNNs和LLMs在这些任务中的能力，以评估它们在KG领域的潜在应用。实证研究结果表明，当单独使用LLMs（如Zhipu AI）作为信息处理工具时，其效果有限。为了增强知识推理能力，有必要将LLMs与图神经网络（GNNs）结合起来。

简要描述。在这项工作中，我们提出了提取 - 推理 - 生成（EIG），一种结构化的知识推理方法：关键思想是将其分解为三个主要阶段，对应于三个子任务（图1）：

• 1.
  提取：从输入文本中自由提取实体-关系三元组。
• 2.
  推理：将三元组导入GNN模型，利用网络传播获得推理链接，并根据重排序函数输出结果。
• 3.
  生成：正式修改步骤2中的结果，并利用LLM的强大理解能力得出最终结果，同时输出推理图。

第1阶段和第3阶段利用了LLMs的优势。提取子任务利用了最近的研究发现，即LLMs是有效的开放信息提取器，能够提取语义正确且有意义的三元组。第2阶段和第3阶段分别专注于推理和生成，优化了GNNs和LLMs的结合能力，以提高它们在下游任务中的实用性。为了实现推理结果的可解释性，我们利用LLMs来定义GNNs生成的路径，利用它们的解释生成能力。LLMs可以通过与人类专家共识一致的解释来证明它们的提取结果。特别是第2阶段，它是这一过程的核心，因为它整合了LLMs和GNNs的优势，确保了推理的稳健性和可解释性。

总之，本文有两个主要贡献：

• •
  EIG是一个灵活且高性能的基于GNN和LLM的知识推理框架，能够提取具有大规模模式的高质量知识。
• •
  一种增量推理方法，作为GNN模型的架构组成部分，用于提供有关推理过程的有用信息，同时显著减少不必要的推理路径数量。

部分摘录

用于知识推理研究的LLMs

近年来，LLMs[2]、[10]、[21]取得了快速进展，并在许多与文本相关的任务中展示了强大的能力[34]。LLMs通常以自回归的方式预训练用于下一个词预测任务[32]，并在文本理解和生成方面表现出色。在LLMs的研究主题中，LLM与KG的集成[29]是一个流行且重要的主题。一方面，LLMs中幻觉现象的普遍性[18]、[41]

提出的方法

本节描述了我们提出的知识推理方案EIG。LLM的训练过程超出了本文的范围。我们假设LLM已经使用适当的向量嵌入模型进行了预训练。特别是，我们的工作中使用了Zhipu AI的glm-4或glm-3-turbo模型作为基础LLM。值得注意的是，在实际的推理部分，实验仅使用GNN模型作为核心，没有引入LLMs，这确保了我们不会

实验

在本节中，我们通过一系列实验对EIG框架进行了全面分析，以评估其性能和能力。实验分为三个主要部分。首先，我们将EIG框架与传统的知识推理方法进行比较，以评估其相对优势和劣势。其次，我们将EIG框架与基于大型LLMs的推理方法进行基准测试，以了解其在更现代背景下的表现

定性分析和诊断讨论

为了更深入地了解EIG框架的内部工作机制和行为，我们对其路径发现和收敛特性进行了诊断分析，以补充我们的定量结果。

结论

在这项研究中，我们介绍了EIG框架，该框架提出了一种整合GNNs和LLMs以改进知识推理的新方法。通过七个不同数据集的一系列实验，我们验证了EIG框架的有效性和合理性。我们的结果表明，结合GNNs和LLMs不仅产生了可靠且具有上下文意识的推理结果，还解决了每种方法特有的挑战。

值得注意的是，我们开发了

未引用的参考文献

[5]、[9]、[28]

CRediT作者贡献声明

张梦晓：撰写——原始草案、方法论、形式分析。刘勋：形式分析、调查、方法论、软件、验证、可视化、撰写——审阅与编辑。万伟兵：撰写——审阅与编辑、监督。方志军：项目管理、资金获取。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

张梦晓于2022年在上海工程技术大学获得了数据科学与大数据技术学士学位，2025年获得了电子信息技术硕士学位。他的研究主要集中在知识推理、图神经网络、知识图谱以及大型语言模型的推理技术上。