ConsistEAE：通过语言上一致的演示来提升低资源事件论据提取的效率

《Neurocomputing》：ConsistEAE: Enhancing low-resource event argument extraction with linguistically consistent demonstrations

事件论元抽取低资源场景下，提出ConsistEAE方法，通过语义一致性（AMR驱动的全局-局部交互表示学习）和句法一致性（树编辑距离评估依赖树结构）双重指标优化LLM演示选择，在ACE2005-EN和EN+数据集上分别提升1.63%和2.15%的Arg-I F1，以及2.15%和2.29%的Arg-C F1。

　　

郭一凯|田雪萌|葛斌|杨宇婷|何瑶|柯文军|胡俊杰|李艳阳|罗浩然

北京计算机技术应用研究所，中国北京，100039

摘要

在低资源事件论元提取（EAE）任务中，标记数据的稀缺性限制了对事件论元的准确识别。尽管上下文学习（ICL）表现出良好的性能，但它无法确保选定的示例与目标事件文本在语义和句法上的一致性。为了解决这个问题，我们提出了ConsistEAE方法，该方法通过整合语义和句法一致性的加权度量来识别示例。对于语义一致性，我们提出了一种全局-局部交互式表示学习方法来捕获细粒度的语义信息。对于句法一致性，我们引入了一种句法对齐方法，该方法构建句法依存树并通过树编辑距离来评估事件文本之间的句法一致性。实验结果表明，ConsistEAE在ACE2005-EN和ACE2005-EN+数据集上均优于现有的最先进基线方法，在ACE2005-EN数据集上Arg-I提高了1.63%，Arg-C提高了2.15%；在ACE2005-EN+数据集上Arg-I提高了1.27%，Arg-C提高了2.29%。

引言

事件论元提取（EAE）涉及识别事件论元及其角色[47]，这在新闻分析、社交媒体监控和生物医学研究等任务中起着关键作用[[3], [4], [5], [6], [7], [8], [9], [10], [11], [12], [13], [14], [15], [16], [17], [18], [19], [20], [21], [33]。图1展示了一个EAE的例子。然而，在现实世界中，标记数据往往有限[19]，因此研究如何在低资源环境下准确识别事件论元变得非常重要。

为了解决EAE中的低资源挑战，提示学习和上下文学习作为利用大型语言模型（LLMs）[29], [30], [31], [32], [33], [34], [35], [36], [37]的有前景的方法应运而生。提示学习方法[10], [11], [12], [13], [14], [15], [16], [17], [18], [19], [20], [21], [22], [23], [24], [25], [26], [27]使用手工制作的模板，这些模板包含事件模式和论元角色来指导模型预测。现有研究[18], [19], [20], [21], [22], [23], [24], [25], [26], [27]记录了固定模板设计在应用于多样化事件结构时的灵活性有限和性能不稳定。为了克服这些限制，上下文学习（ICL）作为一种有前景的替代方案出现，它利用相关示例来指导LLMs，而无需更新参数，从而有效地利用了它们的预训练知识[16]。ICL的成功在很大程度上取决于检索到与目标输入在语义上对齐的示例。尽管最近在检索质量[39], [40]方面取得了进展，ICL仍然面临两个主要挑战：（1）细粒度语义不匹配：现有的检索方法通常依赖于句子级别的语义相似性，因此无法确保触发词、论元和角色之间的对齐。（2）句法不一致：示例和目标文本在句法结构上可能存在显著差异。这种差异会阻碍准确的论元识别，因为句法依赖性已被证明在事件论元提取中起着关键作用[17]。图2提供了这些限制的比较分析，并将它们与我们的解决方案进行了对比。

为了解决这些挑战，我们提出了ConsistEAE，该方法利用语言上一致的示例来指导EAE过程。与现有的ICL方法不同，ConsistEAE结合了语义和句法一致性来检索示例。1）为了细化事件文本语义的表示，我们引入了一种全局-局部交互式表示学习方法，有效地捕获了触发词及其论元之间的整体意义以及事件元素之间の细粒度关系。这确保了更准确的示例选择，与事件的具体细微差别保持一致。2）为了测量事件文本的句法结构，我们提出使用树编辑距离（TED）来评估候选示例与目标事件文本之间的句法一致性。这种方法捕获了结构模式，确保选定的示例在句法上与目标事件文本对齐，从而提高了事件论元及其角色的识别准确性。在ACE2005-EN和ACE2005-EN+数据集上的实验表明，ConsistEAE在低资源环境中的有效性。与最具竞争力的基线相比，ConsistEAE在ACE2005-EN数据集上的Arg-I和Arg-C分别提高了1.63%和2.15%；在ACE2005-EN+数据集上分别提高了1.27%和2.29%。进一步的消融实验突出了语义和句法一致性在示例选择中的关键作用。代码和模型可以在https://anonymous.4open.science/r/ConsistEAE-28D7/找到。

我们的主要贡献有三个方面：

•

我们提出了基于语言一致性的上下文学习方法ConsistEAE用于EAE。首先，我们使用LLM预提取候选示例，形成一个示例池。然后，ConsistEAE结合语义和句法一致性来选择示例，旨在选择在细粒度上与目标文本在语义和句法上对齐的示例。

•

我们提出了两个衡量语言一致性的关键组件：1）一种由AMR驱动的全局-局部表示学习方法，该方法捕获触发词和论元之间的整体意义以及事件元素之间的细粒度关系；2）一种使用TED的句法一致性度量，确保选定的示例与目标事件文本的句法结构良好对齐。

•

在ACE2005-EN和ACE2005-EN+数据集上的广泛实验验证了ConsistEAE的有效性，一致性地优于最先进的基线方法。特别是，消融研究突出了语言一致性的关键重要性。

本文的其余部分组织如下。第2节回顾了与我们任务相关的文献。第3节介绍了任务定义、事件与AMR之间的关系，以及LLM的ICL中语言一致性的理论见解。第4节详细介绍了ConsistEAE的设计方面。第5节介绍了我们的实验研究，包括设置、基线、结果和分析。第6节提供了全面的分析，包括案例研究、伪标签噪声鲁棒性、错误分析、跨LLM比较、效率和计算成本。第7节讨论了限制和未来的研究方向。

章节片段

低资源事件论元提取

得益于预训练语言模型的庞大知识，生成方法在低资源事件论元提取（EAE）中取得了令人印象深刻的结果[14]。这些方法主要分为两类：上下文学习（ICL）方法和提示学习方法。

ICL利用这一基础，使LLMs仅凭少量示例就能执行EAE[32]。一个关键挑战是有效示例的选择。例如，Fu等人[7]使用了决定点

任务定义

给定一个包含$$个令牌$$的事件文本，事件类型为$$，触发词为$$，事件论元提取（EAE）任务旨在识别论元并将它们分配到相应的角色。形式上，提取的论元集可以表示为$$，其中$$表示分配给论元$$的角色。

我们使用N-way-K-shot形式[40]来表述低资源EAE。具体来说，给定一个包含$$个事件类型的数据集$$，我们为每个事件类型选择$$个样本，以构建一个$$-shot训练集$$，

方法论

ConsistEAE的总体框架如图4所示。一般来说，ConsistEAE包括三个不同的步骤：

1) 使用LLM进行预提取：为了解决标记数据不足的问题，我们使用LLM在未标记的训练数据中识别潜在的论元，生成伪标签以形成候选示例集。

2) 基于语言一致性的示例选择：我们提出了一种结合语义和句法一致性的示例选择方法，

实验

我们进行实验以调查ConsistEAE是否解决了以下研究问题（RQs）：

RQ1：所提出的ConsistEAE是否在低资源事件论元提取任务中优于所有基线方法？

RQ2：语义一致性和句法一致性组件是否影响ConsistEAE在事件论元提取中的整体性能？

RQ3：语义和句法一致性权重对ConsistEAE性能有何影响？

RQ4：LLM中的其他超参数如何

讨论

在本节中，我们对各种方法选择的示例进行了案例分析和错误分析，以更深入地了解我们方法的有效性。然后，我们将ConsistEAE应用于几种LLM，并对其性能进行了比较评估。

结论和未来工作

我们提出了ConsistEAE，这是一个三阶段框架，利用LLMs的ICL能力来应对低资源事件论元提取的挑战。该框架首先使用LLM进行预提取，生成候选示例池。接下来，应用一种基于语言一致性的策略来选择示例，使LLM能够通过全局-局部交互和句法视角捕捉事件语义。这确保了

CRediT作者贡献声明

郭一凯：写作——审阅与编辑，撰写原始草稿，验证，方法论，形式分析。田雪萌：写作——审阅与编辑，撰写原始草稿，验证，方法论，形式分析。葛斌：写作——审阅与编辑。杨宇婷：写作——审阅与编辑。何瑶：写作——审阅与编辑，撰写原始草稿，方法论。柯文军：写作——审阅与编辑。胡俊杰：写作——审阅与编辑，撰写原始草稿，方法论。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

郭一凯是北京计算机技术应用研究所的博士生。他目前的研究兴趣包括强化学习和大型语言模型。