分层渐进式推理网络用于联合法信息提取

《Engineering Applications of Artificial Intelligence》：Hierarchical progressive reasoning network for joint information extraction

　　余忠|薄沈
北京交通大学电子与信息工程学院，北京100044，中国

摘要
联合信息提取旨在利用单一模型来共同执行命名实体识别、关系提取和事件提取，为知识图谱构建和社会网络分析等下游工程任务提供关键支持。以往的研究主要采用一次性、局部独立的提取方法，限制了迭代优化和全局约束的使用，从而导致早期错误难以被纠正。在本文中，我们提出了一种分层渐进式推理网络（HPRN），该网络通过三阶段框架逐步整合文本中的实例表示和标签信息。在第一阶段，多级特征提取器捕获子任务内的语义依赖关系以识别目标实例；第二阶段动态建模目标实例之间的交互以初步分配标签；第三阶段引入了一种新颖的错误校正机制来纠正前阶段的错误预测。实验结果表明，所提出的模型不仅在通用领域数据集上取得了良好的性能，而且在生物医学领域数据集上也表现出色，这为实际场景中生物医学数据的智能有效处理提供了参考。

引言
信息提取旨在从非结构化文本中提取结构化信息，通常涉及命名实体识别（NER）、关系提取（RE）和事件提取（EE）等子任务。它为知识图谱构建（Bi等人，2024年）、社会网络分析（Ting等人，2022年）和问答（Askari等人，2024年）等下游任务提供了关键支持。
以往的方法将不同的信息提取任务视为独立的流程，忽视了不同子任务实例之间的交互和依赖关系。这导致了关键信息的缺失和错误传播。图1展示了一个来自ACE05-E的标注示例，其中包含三个实体、两个关系和一个事件。由于实体“Syrians”属于“PERSON”类型，而实体“Iraq”属于“GEOGRAPHICAL_LOCATION”类型，因此它们的关系不可能是“PART-WHOLE”。此外，了解实体“vehicle”与实体“Syrians”之间的关系有助于推理它们在事件“Movement: Transport”中的角色。这表明实例之间存在相关性，有助于预测和推理。
最近，人们越来越关注通过多任务学习来联合提取文本中不同任务的标签。为了提升实例表示，大多数方法利用句法依赖关系（Van Nguyen等人，2022年）和抽象语义表示（Zhang和Ji，2021年）来构建信息交互图，然后使用图卷积网络从图中提取非局部信息。这些实例表示增强方法在单次处理中模型化文本中的实例，没有明确区分子任务内部的推理和子任务之间的推理。它们忽略了实例在子任务内部和子任务之间依赖关系中的不同作用。

在联合信息提取中，任务通常被概念化为由多个子任务组成的复合目标。例如，从句子中提取实体-关系对的目标可以分解为实体识别和关系分类这两个子任务。子任务内部的推理指的是完成单个子任务所需的逻辑推理，而子任务之间的推理表示不同子任务之间的推理依赖关系，其中一个子任务的结果为另一个子任务提供指导。人类在处理复杂信息时很少同时处理所有子任务；相反，它们通常遵循分解、集中和后续关联的分层认知范式。这种范式的核心在于减轻认知负荷并减少错误传播，联合信息提取中明确区分子任务内部和子任务之间的推理自然符合这一原则。
一些方法通过构建类型依赖图（Van Nguyen等人，2022年）、学习标签的联合分布概率（Zhang和Ji，2021年）或建模三元组中的三元因素（Jia等人，2023年）来捕获标签相关性。虽然这些依赖关系捕捉方法可以处理简单样本，但由于缺乏错误反馈和校正机制，它们在处理复杂样本中的关系和事件时会遇到困难。
本文提出了一种分层渐进式推理网络（HPRN），该网络通过三阶段架构逐步处理样本。第一阶段是多级特征建模，分别为关系实例和事件实例构建矩阵。在这些矩阵中，使用多粒度扩张卷积和轴向注意力来增强实例表示，有效捕捉子任务内实例之间的相关性。此外，由于联合信息提取涉及大量实例，并非所有实例对模型都同等重要，因此训练了一个二元分类器来识别目标关系和论元实例。第二阶段建模不同子任务实例之间的动态交互。利用前阶段的预测作为先验信息，将涉及目标关系的实体或触发词与参数实例连接起来，以促进重要元素之间的信息传递，然后对三种类型的实例进行初步标签预测。第三阶段使用错误校正机制来细化前阶段的预测。基于前阶段的初步预测构建实例预测标签的交互图。通过最大化与实例真实标签交互图的相似性，进一步引导有价值的信息在实例和标签节点之间有效流动，捕捉标签依赖关系。最后，设计了一个基于局部和全局实例表示的联合预测器来对实体、触发词、关系和事件进行最终预测。

我们的主要贡献如下：
• 提出了一种基于多粒度扩张卷积和轴向注意力的多级特征提取器。在关系和事件矩阵上建模了子任务内部、远距离关系或事件实例之间的交互，以及涉及相同实体或触发词的关系或事件实例之间的交互，显著提高了模型感知子任务内依赖关系的能力。
• 构建了一个动态的子任务间实例交互图，允许根据不同文本特征的差异动态调整实例之间的连接。这种灵活性使模型能够更好地适应不同文本的多样化特征，增强其对复杂示例的建模能力。
• 通过构建基于标签依赖关系的校正模块引入了错误校正机制，该机制检测并纠正初始预测中的错误，以确保最终结果的合理性和准确性。
• 我们的模型在三个信息提取数据集上均表现出色，在具有多个实体和长文本的难样本上取得了显著改进。

相关工作
经典的信息提取方法主要针对单一提取任务设计。在这些方法中，图网络因能够捕捉长距离依赖关系而得到广泛应用。它们利用句法（Nan等人，2020年）、抽象语义（Xu等人，2022年）、层次结构（Wan等人，2023年，Xu等人，2021年，Liu等人，2023年）和话语（Wang等人，2021年）信息来构建图并进行推理，从而实现多跳推理。

研究目标
联合信息提取是一种同时执行命名实体识别、关系提取和事件提取的技术。其目的是通过利用这些任务之间的相互依赖关系显著提高自然语言处理任务的准确性。然而，由于语言表达的复杂性，现有模型难以在单一建模过程中直接捕捉所有依赖关系信息。因此，我们的研究旨在构建一个网络。

方法论
我们提出的HPRN模型的总体框架如图2所示。具体而言，我们首先对文本进行编码并提取目标实体和触发词（第4.1节）。然后进行多级特征建模（第4.2节）和关键实例之间的动态交互（第4.3节）。随后引入错误校正机制（第4.4节）来纠正初始预测中的错误，并设计联合预测器来对实例进行分类。

数据
• ACE-2005：自动内容提取（ACE）2005数据集是用于命名实体识别、关系提取和事件提取任务的关键资源。遵循Wadden等人（2019年）、Lin等人（2020年）等提出的预处理方法，我们在该数据集的两个子集ACE05-E+和ACE05-E上进行了实验，这些子集包含7种实体类型、33种事件类型、22种论元角色和6种关系类型。
• ERE-EN：在...

结论与未来工作
本文提出了一种分层渐进式推理网络（HPRN），采用三阶段框架逐步处理从简单到复杂的键信息。在第一阶段，我们使用2D扩张卷积和轴向注意力优化实例矩阵，捕获子任务内部的感知特征并提取关键实例。在第二阶段，利用第一阶段的预测作为先验信息，构建实例之间的动态交互图。

CRediT作者贡献声明
余忠：撰写——原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据管理、概念化。薄沈：撰写——审阅与编辑、监督、资源管理、项目策划、资金获取。

利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢
本工作得到了以下资助：国家自然科学基金（项目编号62376018）；重庆市教委科学技术研究计划（项目编号KJQN202500523和KJQN202500508）；重庆市社会科学规划博士项目（项目编号2025BS032和2025BS040）。