利用可观测性和双重记忆知识图谱来处理生成式人工智能代理中的幻觉问题

《Knowledge-Based Systems》：Addressing Hallucinations in Generative AI Agents using Observability and Dual Memory Knowledge Graphs

生成式AI代理通过双记忆知识图谱（语义记忆+可观测性记忆）结合领域知识与执行日志，有效减少事实和推理幻觉。实验验证其在HotpotQA、SM3-Text-to-Query和医疗QA基准上的性能提升。

　　

作者：Amali Matharaarachchi、Harsha Moraliyage、Nishan Mills、Gihan Gamage、Daswin De Silva、Milos Manic 所属机构：澳大利亚墨尔本拉筹伯大学数据分析与认知中心

摘要

生成式人工智能（Generative AI）已从简单的聊天机器人和助手发展为能够应用于多种场景和领域的智能代理。这些代理通过自主性、工具使用和决策能力展现出高度复杂的运作能力，且几乎不需要人工干预。尽管性能有所提升，但生成式AI模型仍存在一些根本性限制，其中幻觉（hallucinations）是影响其在现实世界中表现的主要问题，可能导致风险和损失。近期的一些研究尝试通过检索增强生成（retrieval-augmented generation）和反思提示（reflection prompting）等方法来缓解这一问题，但这些方法仅能提供部分改善。本文提出了一种基于代理在部署和运行环境中生成的可观测性数据（observability data）的有效方法。该方法结合了语义记忆（Semantic Memory）和可观测性记忆（Observability Memory），以解决生成式AI代理中的幻觉问题：语义记忆为代理提供系统化的领域知识，确保事实信息的准确性；可观测性记忆则将日志、执行记录和结果转化为经过验证的规划历史。通过这种基于历史数据的规划方式，代理能够基于过去的可靠交互来识别并避免幻觉。该方法在两阶段实验中进行了验证，评估了其对事实推理能力的影响，并使用了能够同时衡量事实准确性和幻觉情况的评估指标。SM3-Text-to-Query基准测试和Synthea医学问答数据集也被用于评估语义记忆的事实基础能力。实验结果表明，语义记忆有助于减少事实性幻觉，而可观测性记忆则有助于减少推理过程中的幻觉。

引言

生成式AI在多个基准测试中取得了显著的性能提升，并在各种实际应用中实现了自动化和信息增强的有效集成。然而，其仍受限于缺乏世界模型、幻觉现象以及潜在偏见等问题。幻觉对聊天机器人、助手等生成式AI系统的运行产生了严重影响，尤其在高风险场景中可能带来重大风险。虽然目前已有研究尝试通过特定方法缓解幻觉，但这些方法的效果有限。本文提出的方法利用代理在运行过程中生成的可观测性数据，构建了一个包含语义记忆和可观测性记忆的双记忆知识图（dual memory knowledge graph）框架，以解决这一问题。该框架通过语义记忆提供精确的事实依据，通过可观测性记忆将执行记录转化为可验证的规划历史，从而有效应对幻觉。

相关工作

生成式AI在多个基准测试中表现出色，并已在实际应用中得到广泛应用。尽管如此，它仍受到缺乏世界模型、幻觉及偏见等根本性问题的制约。幻觉现象会损害人类与AI之间的信任关系，并在高风险场景中带来严重风险。幻觉通常源于错误的推理过程或缺乏可验证的记忆。虽然将响应与过去的交互和已知知识关联起来是常见的幻觉缓解方法，但实际操作起来较为复杂。与传统的一次性生成响应不同，AI代理系统会将用户查询分解为多个迭代执行的子任务，依赖外部工具进行长期规划并通过反馈循环优化结果。因此，代理的幻觉问题可能源于生成错误、规划失误、记忆不足或决策逻辑混乱等因素。目前常用的生成式AI框架（如Autogen、Taskweaver、Semantic Kernel）采用了多种执行机制（从协作式多代理循环到先规划后执行的架构）。这些系统普遍具有四个核心模块：记忆（memory）、规划（planning）、行动（action）和反思（reflection）（见图1）。这些模块帮助代理理解用户意图、追踪执行过程并协调工具使用。然而，现有实现难以保留语义相关的记忆信息、有效检测重复错误，并在多次交互中保持连贯的长期规划。 为了解决幻觉问题，本文利用代理运行日志、工具调用记录、中间输出以及先前执行中发现的错误数据，构建了一个结构化的记忆系统。该方法结合语义记忆和可观测性记忆，使代理能够在规划和生成过程中调用已验证的行为和历史经验。这种设计将被动的数据监控转化为主动的记忆机制，有效减少幻觉现象。它旨在补充现有的推理框架（如ReAct和Reflection），通过提供可重用的验证数据和结构化领域知识，提升代理的推理能力。图2展示了该方法的基本框架：输入查询被分类为意图、实体和属性，从而从语义记忆和可观测性记忆中检索相关信息。 该框架通过将当前任务与过去的工具调用、结果及验证过的规划路径关联起来，支持基于记忆的规划。基于最近关于结构化记忆的研究（区分情节化体验与事实依据的研究），该方法还加入了幻觉缓解机制和优化存储策略，以确保记忆的可靠性和可重用性。这些组件共同构成了一个能够自我优化的代理行为系统。 本文的其余部分结构如下：第2节介绍生成式AI代理及幻觉缓解的相关研究；第3节详细阐述双记忆知识图框架，包括知识图设计、查询分类、记忆构建、验证机制及案例研究；第4节通过实验评估可观测性记忆对推理能力的影响、语义记忆对事实依据的贡献、双记忆系统的计算效率以及验证流程的有效性；第5节总结全文。

方法论

本文介绍了双记忆知识图框架的核心组成部分：基于代理执行记录、工具使用和反思过程的语义记忆与可观测性记忆。该框架使代理行为基于外部事实和内部经验进行推理，且不受代理内部提示策略的影响。

实验

我们通过多维度实验评估了双记忆知识图在减少幻觉方面的效果。首先，比较了基础代理与集成双记忆功能的代理在推理质量上的差异；同时，还通过词汇条件下的图查询实验验证了该方法的有效性。

结论

本文提出了一种结合语义记忆和可观测性驱动的双记忆代理模型，有效提升了生成式AI代理的事实和推理能力，减少了幻觉现象。实验结果表明，基于图的检索方法优于传统的基于向量的方法。此外，可观测性引导的规划机制提高了代理在复杂任务中的规划效率和推理鲁棒性。

作者贡献声明

作者团队各自负责不同的工作内容： - Amali Matharaarachchi：撰写初稿、验证结果、方法论设计、数据分析及形式化分析 - Harsha Moraliyage：撰写初稿、验证结果、监督指导、方法论设计及数据分析 - Nishan Mills：撰写初稿、软件实现、方法论设计、数据分析及形式化分析 - Gihan Gamage：撰写初稿、方法论设计、数据分析及概念化 - Daswin De Silva：撰写初稿、监督指导、方法论设计及数据分析

利益冲突声明

作者声明不存在可能影响本研究结果的财务利益冲突或个人关系。

致谢

本研究得到了澳大利亚联邦政府气候变化、能源、环境与水资源部的支持，项目编号为ICIRN000077。