一种用于方面类别情感分析的句法依存关系剪枝与提示增强方法

本文提出了一种结合提示增强的预训练语言模型和依赖剪枝的图注意力网络（SDPPE-ACSA）的新方法，通过设计类别提示模板引导模型关注目标方面，并利用依赖剪枝策略优化长文本的语法图处理，有效减少冗余信息，提升方面类别情感分析的准确性和效率。实验表明该模型在多个数据集上优于基线方法，F1值最高提升2.04%。

　　

曾王|梁天|杨文琦|钟星旺|葛乐科

南昌大学建筑与设计学院，中国南昌，330031

摘要

方面类别情感分析（ACSA）是基于方面的情感分析（ABSA）的一个关键子任务，旨在识别用户评论中的方面类别并分配情感极性。尽管预训练的语言模型（PLMs）提高了ACSA的性能，但当前的微调方法并未充分利用预训练期间学习到的语义知识。同时，使用图神经网络（GNNs）来建模句法依赖关系的方法很有前景，但对于长文本而言，句法解析器通常会生成包含噪声和冗余关系的复杂图，这阻碍了准确的方面-情感映射。为了解决这些挑战，我们提出了一种新的ACSA模型，该模型结合了提示增强的PLM和包含依赖关系剪枝策略的图注意力网络。设计的提示模板指导模型更好地关注目标方面，从而增强语义理解。同时，一种新的剪枝方法仅保留对情感表达有贡献的核心依赖边，通过评估不同依赖类型的信息量来实现这一点。这降低了图的复杂性，同时保留了关键的句法线索，提高了效率和准确性。在四个公共ACSA数据集上的广泛实验表明，所提出的模型在大多数数据集上优于强大的基线模型，最大F1分数提高了2.04%。实验结果表明，所提出的框架在ACSA任务性能上取得了显著改进。该模型在提高性能的同时减少了内存使用量，特别是对于长文本。通过降低图的复杂性和提高情感表达的准确性，为ACSA任务提供了一种创新解决方案。

引言

通过分析在线平台上的用户评论来了解客户需求和满意度，企业能够更深入地了解用户的意图和看法，从而有针对性地改进其产品或服务的特定方面。此外，这种分析可以为消费者提供有价值的购买决策指导（[14]；Bing [21]）。基于方面的情绪分析（ABSA）旨在识别评论中的细粒度属性并确定其相关的情感极性。在其两个主要子任务中，方面类别情感分析（ACSA）和方面术语情感分析（ATSA）已被广泛用于评论分析和用户意图识别[24]。ATSA专注于识别评论中的明确方面术语并确定其相关的情感极性，而ACSA则旨在识别明确或隐含提到的方面类别及其相应的情感极性[45]。如图1所示，对于评论“餐厅的汉堡味道很好，但它们太远了”，ACSA识别的方面类别及其相应的情感是食物-正面和位置-负面。相比之下，ATSA检测到明确的方面术语汉堡，并赋予其正面情感。ACSA识别的方面类别和情感对“位置-负面”被视为一种隐含表达。由于ATSA依赖于明确的方面术语，这种隐含情感通常不在其检测范围内。因此，ACSA能够捕捉到用户评论中嵌入的更广泛的情感相关信息。

在ABSA研究的早期阶段，支持向量机（SVM）[2]和潜在狄利克雷分配（LDA）[10]等机器学习方法是该领域的主流方法。虽然这些传统方法具有良好的可解释性，但它们严重依赖于手动特征工程的设计和质量。随着深度学习技术的迅速发展，卷积神经网络（CNNs）[4]、长短期记忆网络（LSTM）[6]和门控循环单元（GRU）[36]等神经网络模型已被广泛用于ABSA任务。通过有效地建模文本中的上下文依赖关系和语义特征，深度学习框架在泛化能力和预测准确性方面超越了传统方法。然而，它们仍然面临性能瓶颈，并且可解释性有限。为了解决这些限制，后续研究引入了注意力机制[31]、[42]，这些机制动态地关注相关的方面类别或情感信息，取得了重大突破。近年来，基于图神经网络（GNNs）的方法已成为ABSA领域的一个突出研究焦点。这些方法[30]、[43]整合了评论中的句法结构信息，以捕获深度句法特征，有效地将每个方面与其相应的情感关联起来，从而提高了ACSA任务的性能。此外，基于预训练语言模型（PLMs）的方法在ACSA中也取得了显著突破。例如BERT（Bin等人，2023；[32]）和RoBERTa [20]利用大规模未标记的语料库学习通用语言表示，在捕捉情感分类的上下文语义方面明显优于传统神经网络。

尽管ACSA领域取得了实质性进展，但仍存在一些挑战。（1）现有的基于PLM的方法通常存在预训练任务与下游目标之间的不对齐问题，从而限制了它们在现实世界应用中的有效性。（2）尽管注意力机制在ATSA分类任务中表现出色，但在ACSA背景下面临独特挑战。具体来说，当评论包含多个方面类别时，尤其是那些具有隐含表达的类别时，简单的注意力机制可能导致方面类别和相关词之间的错误关联，最终削弱分类的可靠性。（3）在处理由句法解析器解析的长文本数据时，GNNs可能会由于构建的依赖关系句法图规模庞大而引入冗余噪声。例如，如表1中引入的依赖关系和图2中的句法依赖关系解析图所示，限定词修饰关系（例如det）通常不传递关于方面类别或其相关情感极性的信息。协调连词（例如cc）和连词（例如conj）也可能在方面术语之间引入错误的依赖关系。不加区分地包含所有句法依赖边不仅会增加计算复杂性，还会传播多层噪声，从而影响分类结果的可靠性。

基于现有研究的优势并解决其局限性，本研究提出了一种基于句法依赖关系剪枝和提示增强（SDPPE-ACSA）的新ACSA模型。该模型采用RoBERTa [23]作为其基础编码器。与BERT [7]相比，RoBERTa受益于更大的训练数据规模和更长的预训练时间。为了进一步解决先前研究的不足，我们引入了提示学习和图注意力机制，以增强模型捕捉复杂语义关系的能力。该模型由五个核心模块组成，如图3中的结构图所示。

为了解决先前研究中确定的两个主要问题，即基于PLM的ACSA方法中预训练任务与下游目标之间的不对齐问题，这限制了模型在现实世界应用中的性能，以及注意力机制生成错误方面类别和相关词之间关联的倾向，本研究引入了一个通过提示学习来增强模型输入的提示模板。在此模板中，每个方面类别都与一个<MASK>标记相关联，然后通过类别提示词映射层映射到“是”或“否”等输出状态。这使得<MASK>标记能够有效地与相应方面类别的语义表示对齐。在多通道注意力模块中，这些<MASK>标记作为方面嵌入被分配到各自的类别通道，并与上下文特征交互以计算注意力分数，从而识别与每个类别相关的关键元素。为了解决第三个问题，本研究引入了一个结合了句法依赖关系剪枝机制的图注意力网络。这种方法保留了必要的句法信息，同时消除了可能引入额外噪声或导致不同方面和情感术语之间错误关联的依赖边，从而提高了计算效率并优化了模型性能。本研究的主要贡献如下：(1)

提出了一种新的ACSA模型，该模型结合了句法依赖关系剪枝和提示增强，以共同捕获方面和情感信息。通过利用提示学习，模型更有效地利用了预训练语言模型的语义能力，同时图注意力网络用于整合精细的句法结构，从而提高了整体ACSA性能。

(2)

提出了一种句法依赖关系剪枝方法，该方法系统地评估了不同依赖关系对ACSA性能的影响。通过移除引入噪声或对模型产生负面影响的边，该方法构建了一个更简洁有效的句法图，从而提高了分类准确性。

(3)

在SemEval 15和SemEval 16任务的三个数据集以及Ergonomic Chair数据集上的实验结果表明，所提出的方法在大多数数据集上的分类性能优于现有的最先进ACSA方法，同时在其余数据集上也保持了竞争力。

相关研究

相关工作

本节提供了相关工作的全面回顾，包括ACSA领域的开创性研究（第2.1节）、预训练语言模型在自然语言处理（NLP）领域应用的研究（第2.2节），以及GNNs在ABSA中整合的研究（第2.3节）。

方法论

在本节中，我们详细介绍了SDPPE-ACSA的总体架构。首先，我们明确了任务并介绍了关键概念，然后逐模块描述了输入到输出的流程。该模型包含五个核心组件：（1）用于基于提示的表示学习的RoBERTa编码器模块；（2）将类别信息与提示对齐并将其适应模型预训练风格的类别提示映射层；（3）带有句法剪枝的图注意力模块

数据和实验设置

实验使用来自SemEval 15 [27]和SemEval 16任务[26]的三个公开可用数据集进行评估：Restaurant 15、Laptop 15和Restaurant 16，以及一个收集的真实世界数据集：（Ergonomic Chair）。Restaurant 15和Restaurant 16数据集包含与餐厅领域相关的评论，而Laptop数据集涉及关于笔记本电脑的评论。相比之下，Ergonomic Chair数据集包含从电子商务平台爬取的真实用户评论。

结论

在本研究中，提出了SDPPE-ACSA模型，它结合了句法增强和提示增强，以解决PLMs的利用率不足以及GNNs中句法依赖信息冗余的问题，这两者都会导致分类性能下降。首先为PLMs输入设计了一个提示模板，以指导方面类别检测任务的完成，其中掩码标识符被视为特定的方面表示。然后这些表示被

未引用参考文献

[12], [40]

CRediT作者贡献声明

曾王：撰写——原始草稿，验证，资金获取，概念化。杨文琦：撰写——审阅与编辑，调查。梁天：撰写——审阅与编辑，撰写——原始草稿，方法论，调查，概念化。葛乐科：验证，监督，概念化。钟星旺：撰写——审阅与编辑，调查。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本研究得到了江西省社会科学“十四五”计划（2024年）基金项目（项目编号24YS05）和南昌大学学位与研究生教育及教学改革研究项目（2024年）（项目编号202439）的支持。

曾王是南昌大学建筑与设计学院的副院长和教授，同时担任设计和机械工程专业的双硕士导师。他的主要研究方向包括创新设计理论和方法、人工智能和数字设计、设计计算和情感交互以及设计质量管理。