用于泰米尔语的多层双线性模型和Transformer问答系统

《Engineering Applications of Artificial Intelligence》：Multi-layer biaffine model and transformer question answering system for Tamil language

泰米尔语问答系统通过整合多层双线性模型与Transformer架构，显著提升实体识别和上下文建模能力，在CHAII数据集上F1达0.981，实体关联准确率超90%。

　　

S Jeevit Davidson | M Murali

计算机科学与工程系，SRM科学技术学院，Kattankulathur，603 203，印度

摘要

本研究旨在通过利用知识图谱的能力，提高专为泰米尔语设计的问题解答系统的有效性。所提出的创新系统名为“多层双线性模型与Transformer问答系统”，该系统结合了多层双线性模型和基于Transformer的问答系统，以解决泰米尔语的独特复杂性。这项研究的一个关键贡献是通过整合双线性模型来改进标准的Transformer架构。这种改进不仅提高了上下文嵌入的生成质量，还优化了文本中的实体识别和过滤过程。多层双线性模型通过复杂的排序计算巧妙地捕捉实体与谓词之间的细微关系，确保最相关的信息得到优先处理。为了解决实体识别问题，本研究采用了一种专门设计的高级多层双线性模型，以便在用户查询的上下文中有效地对实体进行排名和识别。鉴于泰米尔语的丰富性及其能够生成的各种问题格式，这一能力至关重要。该系统的有效性已使用“Challenge in AI for India”数据集进行了严格评估，该数据集包含多种类型的问题，从而确保了对性能的全面评估。与传统基线模型相比，“多层双线性模型与Transformer问答系统”在十个问题类别中的九个类别中都展示了显著的性能提升。此外，“多层双线性模型与Transformer问答系统”的评估指标始终超过了该领域的最先进基准，其精确匹配（EM）得分为0.925，完美Jaccard指数为1，令人印象深刻的F1得分为0.981，准确率为87.95%。这些结果突显了“多层双线性模型与Transformer问答系统”在显著提升泰米尔语问答系统能力方面的潜力，为更准确和具有上下文意识的响应铺平了道路。

引言

技术的进步极大地改变了人们谋生的方式。自动化已经变得无处不在，像Alexa或Siri这样的人类助手代表了显著的进步。然而，尽管这些技术很重要，并非全世界的人都能从中受益。例如，Alexa在理解各种地方方言方面存在局限性，限制了人们以他们的母语使用这项先进技术（Joshi等人，2020年）。

这表明，开发区域语言的对话式问答系统（ConvQA）是研究中最有前景的领域（Singh等人）。泰米尔语是一种古老的语言，由于其丰富的文化和悠久的历史，被选用于开发简单的问答系统。图1展示了一个典型的泰米尔语问答系统示例。

基本的问答（QA）系统可以使用信息检索方法或基于知识的方法构建。鉴于泰米尔语问答系统侧重于使用结构化数据，因此选择了基于知识的方法。最终，自动化系统的有效性完全取决于其解释查询的能力，无论采用何种开发策略。问题分析技术是指从输入问题中提取相关信息，并帮助系统预测接近真实答案的答案，这是开发QA系统的重要阶段（Kacupaj等人，2021年）。根据问题上下文给出相关答案的问题是使用CHAII数据集进行问题分析的问题。本研究的主要目标是识别能够提高预测模型准确性的关键数据段，从而生成更精确的响应。从查询中检索相关信息通常涉及两个阶段，使用最新的方法。初始阶段使用模型来界定问题中的关键元素，而后续阶段则使用技术将问题映射到其逻辑结构（Kacupaj等人，2021年）。

为了解决这些挑战，常见的解决方案是采用基于深度学习的概率模型（Kote等人，2022年）。传统方法将问题视为序列标注问题，并使用条件随机场（CRFs），如之前对越南语的研究中所展示的（Anh等人，2021a），但这些方法容易累积错误，并且在标注有限的数据集上表现最佳。

这促使我们通过使用基于深度学习的模型来开发泰米尔语问答系统。在（Antony等人，2023年）和（Vignesh等人，2023年）中详细阐述的方法中，采用了基本的深度学习分类器作为核心结构。然而，这些方法也存在一些需要考虑的局限性。

在这项研究中，我们认为（Antony等人，2023年）和（Vignesh等人，2023年）提出的方法存在以下局限性：

•

实体和谓词分类器具有用于监督的信号传播机制，但尚未找到连接两者的信息。

•

由于缺乏这种连接信息，模型有时会预测出实体与谓词之间没有关联的结果。

•

与其他语言的QA系统相比，整体预测能力较低。

为了开发泰米尔语的问答系统，我们采用了“多层双线性模型与Transformer问答系统”（MultiBMT-QAS），该框架结合了（Anh等人，2021b）中的修改版双线性分类器和（Vaswani等人，2023）中推荐的Transformer模型。虽然使用了Transformer和双线性模型，但我们的方法仍有一些新颖的贡献，具体如下：

1.

多层双线性分类器用于增强Transformer网络，通过图形依赖解析器收集足够的数据来揭示实体与谓词之间的关系。

2.

解码器当前整合了实体识别网络和编码器网络的信息，提高了实体识别的精度。

这种方法避免了重新学习实体知识的需要，并解决了当前技术中存在的一些重大问题，特别是在生成与问题无关的响应时。这一创新贡献通过从CHAII数据集获得的实证结果得到了验证。无论问题类型的复杂性如何，MultiBMT始终能够提供前沿的结果，正确回答了10个相关问题中的9个。为了促进可重复性和便于重用，实现和数据集已在仓库中公开。

本文的结构如下：

第2节讨论了相关工作，第3节阐述了问题表述。第4节详细介绍了MultiBMT-QAS的架构。第5节回顾了实验设置、结果和消融分析，第6节讨论了结论性发现和下一步计划。

相关文献

相关工作

如前所述，我们的目标是使所有语言水平的人都能使用技术。为了实现这一目标，世界各地的研究人员正在努力创建类似Alexa和Siri的本地语言个人助手。然而，关于印度语言（尤其是泰米尔语）的问答系统的出版物很少，主要是由于数据集资源有限和语言复杂性所致。第2.1节重点介绍了最近的英语问答系统研究。

提出的系统

本节阐述了问题表述，并详细介绍了为解决该问题而设计的总体架构。图3展示了用于识别泰米尔语问题相关答案的总体架构。

使用的数据集

我们使用了CHAII数据集（“Challenge in AI for India”），其中包含368个泰米尔语实例。该数据集组织了诸如上下文、问题、答案文本和答案起始索引等属性。为了便于实体检测并使用英语模型，泰米尔语的上下文和问题都被翻译成英语。在第一阶段（问题引导阶段），母语者被呈现了他们各自语言的Wikipedia文章摘录。

结论与未来工作

本研究专注于为泰米尔语提出的各种类型的问题检索相关答案。它引入了一个基于Transformer的框架，该框架采用了多任务排名双线性分类器。该框架包括四个关键模块，旨在从上下文和问题中提取上下文信息，特别是关注实体检测。一个关键组成部分是多层双线性模块，它有助于对实体类型进行标签排序。

Jeevit Davidson S：撰写 – 审阅与编辑、原始草稿撰写、方法论、调查、形式分析、概念化。Murali M：撰写 – 审阅与编辑、监督、方法论、形式分析。

不适用。 不适用。 作者声明他们没有收到任何可能影响本文所述工作的资金。 作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。