“一念千江水，百语传天下”：深入探讨大型语言模型中的语言中立性知识神经元

《Artificial Intelligence》：One Mind, Many Tongues: A Deep Dive into Language-Agnostic Knowledge Neurons in Large Language Models

针对现有研究在定位跨语言知识神经元时的高不确定性和多语言覆盖不足的问题，本文构建了多语言cloze式基准数据集RML-LAMA，并提出了基于多语言梯度整合与不确定性估计的MaTrice方法，通过量化跨查询和语言的不确定性实现更准确的定位，实验表明该方法能有效定位知识神经元并支持跨语言知识编辑、增强和注入。

　　

曹鹏飞|陈宇恒|金卓然|陈宇博|刘康|赵军

中国科学院自动化研究所复杂系统认知与决策智能重点实验室，北京，100190，中国

摘要

大型语言模型（LLMs）通过在大规模语料库上的自我监督预训练学习了大量的事实知识。同时，LLMs还展示了出色的多语言能力，能够用多种语言表达所学的知识。然而，LLMs中的知识存储机制仍然是一个谜。一些研究人员试图从知识神经元的角度来揭示LLMs中的事实知识，并随后发现了能够以超越语言障碍的形式存储事实知识的语言无关知识神经元。然而，初步研究存在两个局限性：1）定位结果的高不确定性。现有研究仅使用基于提示的探针来定位每个事实的知识神经元，而LLMs无法对语义等价的查询提供一致的答案，从而导致定位结果不准确且不确定性高。2）缺乏对更多语言的分析。该研究仅分析了英语和中文数据中的语言无关知识神经元，没有探索更多的语言家族和语言。这自然限制了研究结果的普遍性。为了解决上述问题，我们首先构建了一个名为Rephrased Multilingual LAMA（RML-LAMA）的新基准测试，其中包含了每个事实的高质量完形填空式多语言平行查询。然后，我们提出了一种名为带不确定性估计的多语言集成梯度（MaTrice）的新方法，该方法可以量化知识定位过程中跨查询和语言的不确定性。大量实验表明，我们的方法能够准确定位语言无关知识神经元。我们还进一步研究了语言无关知识神经元在跨语言知识编辑、知识增强和新知识注入中的作用。

引言

知识是人类智能的重要标志[1]。如何获取、存储、表示和应用知识是人工智能领域的一个关键研究问题[2]、[3]、[4]。最近，大型语言模型（LLMs）取得了显著的成功，并彻底改变了自然语言处理领域。通过在Wikipedia等大规模语料库上的自我监督预训练，LLMs学习了大量的事实知识，并将这些知识存储在模型参数中[5]、[6]。因此，LLMs通常被视为参数化知识库¹，它们通过生成自由文本来表达所学的知识[7]。同时，LLMs还展示了出色的多语言能力，能够用多种语言表达相同的信息[8]、[9]、[10]。以图1为例，LLMs可以正确预测关于?中国，首都，北京?这一事实的中文、英文、法文等语言的查询答案。这直观地展示了LLMs的卓越知识和多语言能力。

鉴于LLMs令人印象深刻的知识能力，一些研究人员开发了一些评估基准，并采用基于探测的方法来评估这些模型中编码的事实知识的程度[7]、[11]、[12]。为了更深入地了解LLMs，一些研究探讨了事实知识是如何存储在参数中的[13]、[14]、[15]。例如，Dai等人[13]专注于知识定位任务，旨在确定LLMs中特定事实知识的存储位置。他们引入了一种称为知识神经元的新类型神经元，这些神经元在前馈网络（FFNs）中表达关系事实。许多LLMs使用统一的语言建模目标在多语言语料库上进行训练，这本质上促进了跨语言共享语义表示的发展。先前的工作表明，这类模型在嵌入和表示层面学习了与语言无关的意义空间[16]、[17]。基于此，可以推测部分这种语言无关知识是编码在局部化单元（即神经元或一组神经元）中的，这些单元会对相似的语义内容在各种语言中激活。支持这一假设的是，Chen等人[15]进一步发现了语言无关知识神经元，它们以超越语言障碍的形式存储事实知识，如图1所示。

尽管这项研究填补了多语言知识存储机制的空白并提高了LLMs的可解释性，但它仍然存在两个局限性：1）定位结果的高不确定性。如图2所示，对于每个事实，该研究仅使用一个查询来定位一种语言的知识神经元。然而，LLMs对输入非常敏感[11]、[18]，这意味着对于语义相同的重述查询，它可能会提供不同的答案，从而导致知识神经元定位结果不一致。因此，直接取不同语言的知识神经元的交集来获得语言无关知识神经元具有很高的不确定性。这不可避免地影响了定位结果的稳定性和可靠性。2）缺乏对更多语言的分析。该研究仅利用英语和中文数据来分析语言无关知识神经元，没有探索更多的语言家族和语言，这限制了研究结果的普遍性。此外，LLMs在不同语言中的表现并不均衡。换句话说，它们在资源丰富的语言中表现更好，但在资源匮乏的语言中表现较差[19]。然而，这种方法忽略了这一事实，可能导致定位不准确。因此，为了严格和深入地探索多语言知识存储机制，我们需要考虑定位结果的不确定性和LLMs对每种语言的掌握程度。

鉴于上述限制，我们首先构建了一个名为Rephrased Multilingual LAMA（RML-LAMA）的新完形填空式多语言基准测试。它包含4个语言家族、7种语言、总共7,849个事实以及8种关系，超过170,000个多语言查询。基于这个数据集，我们提出了一种新的语言无关知识神经元定位方法，称为MultilinguAl InTegrated GRadients wIth UnCertainty Estimation（MaTrice）。具体来说，我们首先设计了一个知识归属模块。对于用任何语言表达的查询，该模块利用基于梯度的技术来计算每个神经元对知识预测的贡献（即归属分数）。为了更准确地计算，我们为不同架构的LLMs（即自动编码和自回归模型）自适应地设计了基线向量。然后，我们提出了一个不确定性量化模块来衡量定位结果的不确定性和每种语言的掌握程度。对于每个神经元，该模块量化了跨查询和语言的知识归属不确定性，以获得语言无关的归属分数。最后，我们引入了一个知识神经元选择模块，通过为不同事实设置动态阈值来选择语言无关知识神经元。

广泛的实验结果表明，大部分语言无关知识神经元分布在最后几层。我们对语言无关知识神经元进行了抑制和增强操作，发现这种操作显著影响了相应知识在各种语言中的表达，这证明了我们方法定位的准确性。此外，我们探索了语言无关知识神经元在三个方面的潜在作用：1）跨语言知识编辑：我们对语言无关知识神经元进行单次编辑可以同时修改所有语言中的相应知识。2）知识增强：通过放大识别出的语言无关知识神经元的激活值，我们可以提高LLMs在资源匮乏语言上的预测性能。3）知识注入：我们使用新的事实知识数据对LLMs进行微调，冻结除与语言无关知识神经元相关的参数之外的所有参数。结果表明，语言无关知识神经元可以有效帮助LLMs学习新知识并减轻旧知识的遗忘。

总的来说，我们的贡献总结如下：

•

我们构建了一个高质量的多语言完形填空式基准资源RML-LAMA，用于探索LLMs中的知识存储机制，允许同时考虑语义等价的查询以及同一事实的不同语言表达。

•

我们提出了一种名为多语言集成梯度带不确定性估计（MaTrice）的新方法，用于定位语言无关知识神经元。据我们所知，我们是第一个量化跨查询和语言的知识定位不确定性的。

•

实验结果表明，我们的方法可以准确定位语言无关知识神经元。我们还进行了广泛的实验来分析语言无关知识神经元的特性，发现它们有助于跨语言知识编辑、知识增强和知识注入。

相关工作

相关工作

在本节中，我们简要回顾了三个相关主题：LLMs的知识探测（第2.1节）、LLMs的知识定位（第2.2节）和梯度归属方法（第2.3节）。

方法

图3示意性地展示了我们提出的方法，该方法由三个主要部分组成：（1）知识归属（第3.1节），使用基于梯度的技术初步计算每个神经元的归属分数；（2）不确定性量化（第3.2节），估计跨查询和语言的知识归属不确定性，以计算每个神经元的语言无关归属分数；以及（3）知识神经元选择（第3.3节），该部分进行了设计

实验

在本节中，我们进行了广泛的实验，旨在回答以下研究问题（RQs）：

•

RQ1：我们的方法MaTrice在获取语言无关知识神经元方面的效果如何？（第4.4节）

•

RQ2：所提出方法的每个设计要素有何重要性？（第4.5节）

•

RQ3：语言无关知识神经元的潜在应用是什么？（4.6 跨语言知识编辑中的语言无关知识神经元，4.7 ……

结论与未来工作

在本文中，为了准确分析LLMs中的多语言知识存储机制，我们首先构建了一个高质量的多语言完形填空式基准测试RML-LAMA，然后提出了一种名为多语言集成梯度带不确定性估计（MaTrice）的新方法来定位语言无关知识神经元。我们可视化了不同架构的LLMs中语言无关知识神经元的分布，并通过……证明了定位结果的准确性

CRediT作者贡献声明

曹鹏飞：撰写——原始草案、验证、软件、方法论、调查、概念化。陈宇恒：软件、资源、数据管理。金卓然：撰写——审阅与编辑、调查。陈宇博：撰写——审阅与编辑、资金获取。刘康：撰写——审阅与编辑、资金获取。赵军：撰写——审阅与编辑、监督。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

作者声明以下财务利益/个人关系可能被视为潜在的竞争性利益：曹鹏飞报告称获得了国家自然科学基金的支持。赵军报告称获得了……的支持