《Engineering Applications of Artificial Intelligence》：Multi-stage reasoning framework for biomedical document-level relation extraction with dynamic memory mechanism
编辑推荐：
文档级生物医学关系抽取多阶段推理框架，通过异构图推理、动态记忆机制和迭代交互推理模块解决跨句实体交互建模、长程依赖捕获及训练数据噪声问题。摘要：提出MSRDM框架，整合异构图推理（含预训练指代消解模块）、动态记忆增强架构和交叉注意力迭代推理模块，有效提升文档级生物医学关系抽取效果，实验显示优于主流大语言模型。
Xinyuan Sun|Jianyuan Yuan|Jinzhong Ning|Yijia Zhang
大连海事大学信息科学与技术学院，中国辽宁大连116026
摘要
文档级生物医学关系提取能够识别和分类在专业文献中生物医学实体之间发生的各种类型的交互作用。基于图的技术显著推动了关系提取领域的发展。然而，大多数现有方法专注于优化单一的推理能力，缺乏整体推理能力的提升；此外，以往的方法未能解决训练数据中存在的噪声问题，尤其是在大规模远监督数据中。为了克服这些限制，我们提出了具有动态记忆机制的多阶段推理框架（Multi-Stage Reasoning Framework with Dynamic Memory Mechanism），该框架整合了上下文和结构表示来增强文档级生物医学关系提取的关系提取能力。我们的方法引入了三个关键创新：（1）一个异构图推理组件，通过共指解析模块对跨句子实体的细粒度交互进行建模；（2）一个带有可训练记忆槽的动态记忆增强架构，用于保存长距离实体交互；（3）一个迭代交互推理模块，通过交叉注意力（criss-cross attention）实现轴实体对之间的交互。在三个公共数据集上的广泛实验证明了我们提出模型的有效性。进一步的实验结果表明，我们的模型在文档级生物医学关系提取任务上显著优于主流的大型语言模型。
引言
生物医学关系提取（Bio-RE）是自然语言处理（NLP）领域中的一个重要研究方向，旨在识别和分类生物医学文本中的实体之间的关系（Yadav和Bethard，2019）。根据文本处理的范围，Bio-RE可以分为句子级关系提取和文档级关系提取。早期研究（Sainz等人，2021年；Xiong等人，2019年）主要关注句子级关系提取。然而，在实际的生物医学文本中，许多关系是在多个句子中表达的，而句子级模型无法捕捉这些跨句子的关系。因此，越来越多的注意力转向了文档级生物医学关系提取（Bio-DocRE）（Perera等人，2020年；Kilicoglu等人，2020年）。
如图1所示，对于在单个句子中共同出现的实体对（例如，levetiracetam-Encephalopathy），现有方法可以有效地提取诸如[Aconitine、CID、cardiotoxicity]等关系。然而，在复杂的文档级上下文中，像[Estradiol、Arrhythmia、etomidate和pain]这样的实体通常会在多个句子中形成分布式的语义网络。这种情况不仅消除了在单个句子内进行关系提取的传统限制，还生成了复杂的文本结构，极大地挑战了实体间关系的精确推断。
为了更有效地从文档中提取结构信息，现有方法主要关注优化部分推理能力，捕捉实体之间的关系，并通过中间实体建立间接关系。当前的方法主要集中在克服模式识别挑战和改进逻辑推理机制上。为了解决模式识别挑战，现代方法经常采用网络拓扑分析（Peng等人，2022年；R. Zhang等人，2023年）来捕捉实体之间的远距离语义依赖关系。在逻辑推理机制方面，先进的架构采用了中介节点策略（L. Zhang等人，2023年；Huang等人，2023年）来解决非相邻实体之间的间接关系建立。这些方法使用多层图神经网络逐步提取和整合提及级特征细节与显著的实体级特征。
尽管当前的基于图的方法（Tran等人，2020年；Wang等人，2020年）在文档级关系提取方面取得了成功，但与文档级关系提取任务相比，它们仍然存在三个主要限制。首先，先前研究中共指解析的利用不足限制了模型学习实体之间细粒度交互的能力。这一限制导致当前的图架构无法捕捉跨多个句子的隐含逻辑链，特别是当实体同时参与多种关系类型时（Sun等人，2022年）。因此，忽略了关系在整体推理中的关键作用，可能会导致过度平滑现象。其次，现有架构难以捕捉长期依赖关系，在建模跨远距离文本范围的交互时表现出显著的信息衰减。这在跨段落的场景中尤为明显，因为关键的关系证据分散在局部上下文窗口之外。第三，先前研究在文档架构中未充分利用实体对交互信息（Nan等人，2020年），从而阻碍了跨句子关系实例的准确预测，尤其是在处理重叠实体提及时。
在这项工作中，为了解决上述问题，我们提出了一个名为MSRDM（具有动态记忆机制的多阶段生物医学文档级关系提取框架）的新Bio-DocRE模型。为了解决限制1，我们提出了一个异构的多层文档图，共同建模实体、提及和句子，并通过预训练的共指解析模型来增强代词-实体对齐。这种方法实现了多粒度信息传播，增强了跨句子的推理能力，从而能够识别全面的关系模式。为了解决限制2，受到Barraco等人（2023年）的启发，他们通过将过去记忆整合到注意力机制中显著提高了图像字幕编码器的性能，我们设计了一个带有动态更新记忆库的增强记忆变换器，用于存储全局实体交互。这通过使用专用记忆存储和基于注意力的检索机制有效地对抗了长距离依赖关系中的信息衰减。为了解决关于实体对交互建模不足的限制3，我们将Bio-DocRE重新表述为一个填充表格的任务，并提出了一个受卷积网络启发的迭代交互推理模块。实体对特征被组织成一个2D矩阵，通过级联卷积层和交叉注意力（Huang等人，2019年）进行精细化处理，以增强双向交互。这种方法确保了实体对交互不仅得到了全面建模，而且还通过交叉注意力进行了迭代细化，从而能够精确识别涉及重叠提及和间接证据的复杂关系。
我们工作的主要贡献总结如下：
我们提出了一个新颖的多阶段推理框架，以实现Bio-DocRE的全面推理建模。同时，我们创新性地引入了动态记忆机制，以减轻数据中的噪声对实体表示的影响。
我们设计了一个基于共指的图推理模块。通过引入共指解析模型来建立实体及其跨句子代词之间的关联，从而实现了跨句子实体的细粒度交互建模，有效地解决了文档级任务中的共指推理问题。
通过引入交叉注意力机制，我们设计了一个迭代交互推理卷积网络，以实现实体对之间的深度交互。该网络可以通过考虑目标实体对在水平和垂直方向上的相关重叠实体对的信息来迭代更新潜在表示。
相关工作
相关工作
生物医学关系提取（Bio-RE）可以根据粒度分为两种范式：句子级和文档级，每种范式都带来了独特的语义理解挑战。当前的研究重点在于数据质量优化和语义推理增强的方法论创新。
方法论
在本节中，我们将详细阐述我们提出的框架。如图2所示，我们的MSRDM包括三个关键组件：（a）一个异构图推理组件，通过共指解析模块对跨句子实体的细粒度交互进行建模；（b）一个带有可训练记忆槽的动态记忆增强架构，用于保存长距离实体交互；（c）一个迭代交互推理模块，用于实现轴实体对之间的交互
数据集和评估指标
我们在一系列关键的Bio-DocRE数据集上评估了所提出的模型，包括GDA、CDR和CHR，这些数据集在医学领域相对知名。GDA（Wu等人，2019年）从生物医学文本中注释基因-疾病关联，包含30192篇带有疾病和基因实体的PubMed摘要。CDR（Li等人，2016年）包含来自生物医学文献的化学-疾病关系，包括1500篇带有注释的化学化合物、疾病实体及其
结论
在这项工作中，我们提出了MSRDM，这是一个用于生物医学文档级关系提取的新框架，它结合了层次图推理、动态记忆增强和结构化逻辑推理。与仅关注部分推理方面的传统方法不同，我们的模型在三个维度上实现了协同合作：（1）一个异构图推理组件，通过共指解析对跨句子实体的细粒度交互进行建模；
限制和未来工作
尽管我们的MSRDM框架在生物医学文档级关系提取方面表现出色，但仍存在一些限制。在处理包含大量实体或复杂语义结构的長生物医学文档时，模型的多阶段推理组件可能会导致计算开销增加，这会影响推理的效率，并限制其在实时处理场景中的应用。此外，尽管动态记忆机制
CRediT作者贡献声明
Xinyuan Sun：撰写——原始草稿，可视化，验证，方法论，数据管理。Jianyuan Yuan：撰写——原始草稿，验证，方法论，概念化。Jinzhong Ning：撰写——审稿与编辑，方法论，概念化。Yijia Zhang：撰写——审稿与编辑，监督，项目管理，方法论，资金获取，形式分析，概念化。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
致谢
本工作得到了国家自然科学基金的支持，资助编号为62572089。
