《IEEE Transactions on Big Data》：Knit: Toward Alleviating Large Language Model Fact Knowledge Hallucinations in Knowledge Graph Completion
编辑推荐：
为解决知识图谱的不完备性及大语言模型（LLM）在知识图谱补全任务中存在的事实知识幻觉问题，研究人员提出了一种名为Knit的新型知识图谱集成指令调优框架。该框架通过集成知识图谱信息适配器、知识提示和指令调优策略，增强了LLM识别实体关系的能力，提升了嵌入可解释性并保证了回答一致性。在四个公开数据集上的实验结果表明，Knit在所有知识图谱补全子任务中均实现了显著的性能提升，达到了最先进的水平，有效缓解了知识缺陷和知识过度泛化导致的事实幻觉问题，为高效可靠的LLM知识推理提供了新思路。
知识图谱作为组织和理解海量信息的关键工具，在现代人工智能应用中扮演着重要角色。然而，一个普遍存在的“老大难”问题就是知识图谱的不完备性，其中许多实体之间的关系缺失，这大大限制了其在推荐系统、智能问答等领域的应用潜力。为了“补全”这些缺失的链接，研究者们开发了知识图谱补全技术。近年来，展现出强大文本生成和推理能力的大语言模型被寄予厚望，期望它能像人类一样，利用其海量的参数知识来预测和补充这些缺失的三元组。然而，现实很“骨感”——大语言模型在回答知识图谱补全问题时，常常会产生事实性错误或“胡说八道”，即所谓的“事实知识幻觉”现象。比如，当模型缺乏相关知识时，它可能直接回答“我不知道”或给出一个错误答案；而当它试图根据已有知识进行推理时，又可能做出过度泛化的猜测，给出一些似是而非但不准确的回答。这些问题严重阻碍了大语言模型在知识图谱补全任务中的实际应用。
针对这一挑战，发表在《IEEE Transactions on Big Data》上的研究论文提出了一种名为Knit的创新框架。该框架旨在通过知识图谱与大语言模型的深度融合，来减轻大语言模型在知识图谱补全任务中的事实幻觉问题。研究人员巧妙地将知识图谱的结构化嵌入信息，通过一个精心设计的适配器与大语言模型的语义空间对齐，并将其作为特殊的“知识令牌”融入到指令调优的提示模板中。最终，该框架在多个标准数据集上的实验表明，它能够显著提升大语言模型在实体预测、关系预测和三元组分类三项核心任务上的准确率，有效缓解了知识幻觉，并优于现有的多种基线模型。
为开展此项研究，研究人员主要运用了以下几个关键技术方法：
- 1.
知识图谱嵌入：利用图神经网络（具体为CompGCN模型）对知识图谱中的实体和关系进行编码，以捕获其高阶结构信息，生成结构化的嵌入表示。
- 2.
混合专家系统知识适配器：设计了一个基于混合专家系统的信息适配器，通过多个专家（即不同的线性变换层）和门控机制，将上述结构嵌入动态地转换和适配到大语言模型的语义空间，以弥合两者之间的语义鸿沟。
- 3.
知识增强的指令调优：针对知识图谱补全的三个子任务（实体预测、关系预测、三元组分类），分别设计了特定的提示模板。在模板中预留特殊令牌位置（如〈head_embedding〉），并在输入大语言模型前，用经过MoE适配器处理后的知识图谱嵌入向量替换这些令牌。同时，将这些适配后的嵌入信息注入到大语言模型每一层的键、查询和值投影中，实现深度知识融合。
- 4.
双重损失函数优化：采用了结合指令调优损失和知识图谱约束损失的联合训练策略。指令调优损失用于优化模型的文本生成能力，而知识图谱约束损失则利用TransE等评分函数确保适配后的嵌入在向量空间中仍能保持正确的实体-关系结构，从而指导模型学习到更准确的结构化知识。
本研究的结果主要从以下几个方面进行了展示和验证：
1. 主要性能结果
研究人员在WN11、FB13、WN18RR和YAGO3-10四个公开数据集上，对Knit框架在知识图谱补全的三个子任务上进行了全面评估。实验结果表明，无论是在三元组分类、实体预测还是关系预测任务上，Knit框架（基于LLaMA2-7B）均取得了最佳性能。例如，在WN18RR数据集的实体预测任务中，Knit-LLaMA2-7B的Hits@1指标达到了0.4152，相较于之前的基线模型（如KG-LLaMA2-13B）有显著提升（绝对提升超过10%）。在关系预测任务上，Knit-LLaMA2-7B在YAGO3-10数据集上达到了0.7261的Hits@1分数。这些数据证实了Knit框架在提升大语言模型知识图谱补全准确性方面的有效性。
2. 超参数分析
研究对影响大语言模型生成质量的关键超参数进行了系统分析，包括温度值、束搜索宽度和最大新生成令牌数。通过网格搜索实验，确定了最适合Knit框架的参数配置：温度设置为0.1以获得更确定性的输出；束搜索宽度设置为4，以平衡搜索广度和计算效率；对于LLaMA2-7B和LLaMA2-13B模型，最大新生成令牌数分别设置为64和128。这些优化确保了模型在生成回答时的精确性与完整性。
3. 内存成本与幻觉比较
通过内存成本对比发现，Knit-LLaMA2-7B仅需约10.28 GB内存，远低于基线模型KG-LLaMA2-13B的34 GB，显示了Knit框架在资源效率上的优势。更重要的是，通过对300个测试样本进行手动标注分析，Knit-LLaMA2-7B相比KG-LLaMA2-13B以及通用大语言模型（如ChatGPT、ChatGLM）显著减少了事实知识幻觉的发生，特别是降低了“知识过度泛化”类型的错误。这归功于Knit框架通过结构化的知识嵌入引导，使模型的回答更加忠实于知识图谱中已验证的事实关系。
4. 消融研究
为了验证Knit框架各个组件的有效性，研究进行了系统的消融实验。实验分析了四个关键组件的影响：嵌入适配、属性信息、知识约束损失和结构文本信息。结果显示，当同时使用所有组件时（即完整的Knit框架），模型在WN18RR和YAGO3-10数据集上的实体预测性能达到最优。移除任何组件都会导致性能下降，这证明了每个模块对于提升模型理解知识图谱结构、减轻幻觉都是不可或缺的。例如，单独使用属性信息或嵌入适配都能带来一定提升，但两者结合时效果更佳，而加入知识约束损失则进一步强化了模型对实体关系约束的学习。
本研究提出并验证了Knit框架，一个旨在通过知识图谱与大语言模型深度集成来缓解知识图谱补全任务中事实幻觉的创新方法。该框架的核心贡献在于其三个关键组件：知识图谱集成信息适配器、知识提示和知识图谱集成指令调优策略。这些组件协同工作，成功地将知识图谱的结构化语义信息与大语言模型的强大文本生成能力相结合。
研究结论明确指出，Knit框架在多个标准知识图谱补全任务上达到了最先进的性能水平，显著优于传统的基于嵌入的方法、基于预训练语言模型的方法以及现有的大语言模型指令调优方法。实验数据充分证明，该方法不仅提高了预测准确率（如Hits@1指标），还大幅降低了大语言模型在回答时的幻觉率，使生成的答案更加可靠和忠实于知识图谱中存储的事实。
其重要意义在于，Knit框架为大语言模型与结构化知识的深度融合提供了一条有效的技术路径。它不仅仅是一个性能优越的知识图谱补全工具，更是一种增强大语言模型事实准确性和可解释性的通用性框架。通过将可解释的知识图谱嵌入作为“锚点”注入到大语言模型的推理过程中，该研究为构建更可靠、更可信赖的下一代知识感知大语言模型奠定了基础，对推动人工智能在需要精确事实推理的领域（如智能医疗、金融风控、科学发现）的应用具有重要价值。
