DeCO：一个无需训练的框架，通过增量推理实现上下文相关的知识编辑

《Knowledge-Based Systems》：DeCO: A training-free framework for in-context knowledge editing via incremental reasoning

徐浩宇|梁玉良|段一洲|郭贵兵|赵建泽|蒋琳荥|王星伟

摘要

将大型语言模型（LLMs）集成到网页应用程序中面临的一个挑战是动态的在线内容会迅速使这些模型的参数知识过时。虽然上下文知识编辑（ICE）提供了一种有前景的解决方案，但现有方法通常依赖于结构化的知识三元组，并且需要训练辅助模型。这限制了它们在非结构化自然语言环境中的有效性，并引入了计算开销。为了解决这些问题，我们提出了DeCO，这是一个无需训练的框架，可以直接处理来自外部来源的自然语言数据。我们发现，“思维链”（CoT）在单次前向传递过程中生成推理步骤，这阻碍了修正的整合。DeCO将CoT重新构建为一个逐步生成和编辑的过程，在这个过程中，每个步骤都使用检索到的知识进行动态修改，从而以更精细的粒度指导模型。此外，DeCO解决了两个关键问题：（1）基于语义相似性的检索不准确性；（2）在反事实条件下，LLMs倾向于回到参数知识或拒绝响应。我们引入了“信息搜索器”（Information Seeker）这一两阶段模块，它利用LLM的语义进行精确检索；以及“动态预填充指导策略”（Dynamically Prefill Guidance Strategy），该策略通过自回归约束来确保指令的遵守。广泛的评估表明，DeCO的表现优于六个强大的基线模型，在多跳编辑基准测试中平均获得了23.3%的提升，在综合性基准测试中获得了4.5%的提升，这凸显了其广泛的应用性。