《Engineering Applications of Artificial Intelligence》：Lightweight emotion classification in Urdu: A multi-head attention and hybrid approach
编辑推荐：
乌尔都语情感分类研究提出轻量级多注意力头模型与集成学习模型，有效克服低资源语言标注数据少和结构复杂问题，在基准数据集上实现76.68%加权F1分数，验证了混合架构在低资源环境中的高效性。
Kirti Kumari | Shirish Shekhar Jha
印度贾坎德邦兰契信息技术学院计算机科学与工程系，835217，印度
摘要
在乌尔都语等资源匮乏的语言中，情感分类受到有限标注数据和复杂语言结构的阻碍。本研究通过提出并评估两种新颖的方法来应对这些挑战：一种是结合多头注意力机制的混合模型，另一种是机器学习与深度学习分类器的集成模型。多头注意力机制专门用于捕捉乌尔都语文本中准确情感检测所需的上下文细微差别。所提出的集成模型在基准数据集上取得了76.68%的加权平均F1分数和75.00%的召回率，优于现有方法。本工作证明了混合架构在为资源匮乏的语言创建强大且高效的情感分类模型方面的有效性，为该任务树立了新的性能标杆。研究还发现了人工智能在情感分类中的有效应用，以及轻量级模型对资源匮乏语言的重要性。
引言
社交媒体的迅速发展产生了大量用户生成的文本，使得对公众情绪和情感表达进行细致分析成为可能。情感分类是情绪分析的一个专门分支，旨在从文本中识别离散的情感状态，越来越多地应用于消费者行为分析、内容审核和心理健康监测等领域。虽然基于Transformer的先进模型在英语等资源丰富的语言上取得了优异的性能，但在资源匮乏的语言上类似进展仍然有限。
特别是乌尔都语，在自然语言处理（NLP）方面面临诸多挑战。其复杂的形态学、Nastal??q书写系统、频繁的代码转换以及标注语料的稀缺限制了BERT（Devlin等人，2019年）和Sentence-BERT（Reimers和Gurevych，2020年）等大型Transformer模型的应用。这些模型需要大量的预训练数据和计算资源，使其在资源匮乏的环境中难以使用。此外，以往的乌尔都语情感分类研究大多假设情感状态是相互排斥的，忽略了人类情感状态的共现和相互依赖性（例如，同时表现出“悲伤”和“恐惧”）。这种忽略导致了方法上的空白：现有的乌尔都语模型既无法捕捉标签之间的关联，也无法在资源受限的环境中实现高效的计算。
为了解决这些限制，本研究探讨了两种用于乌尔都语多标签情感分类的轻量级方法。第一种是直接在乌尔都语文本上训练的多头注意力架构，使模型能够在不依赖计算成本高昂的预训练Transformer的情况下捕捉上下文依赖性。第二种是混合方法，它使用Label Powerset转换来显式建模标签之间的关联，并将深度注意力派生的特征与逻辑回归分类器相结合，平衡了表示能力和参数效率。
本文的主要贡献如下：
- •
本文提出了一种适用于资源匮乏环境的轻量级多头注意力架构。该模型仅使用了约4900万个参数，相比XLM-RoBERTa Large（约35亿个参数）等大型多语言Transformer模型减少了98%，同时保持了强大的预测性能。
- •
本研究引入了一种新的混合模型，通过Label Powerset转换将基于深度注意力的特征提取与逻辑回归相结合。这显著捕捉到了情感的共现模式——这是以往乌尔都语情感检测工作的局限性。
- •
该研究在乌尔都语情感分类的基准数据集上取得了新的最佳性能，加权F1分数达到76.68%，表明计算效率高的架构可以与基于Transformer的基线模型相媲美甚至超越它们。
本文的其余部分结构如下：第2节讨论相关工作，第3节介绍数据集，第4节描述所提出的方法论，第5节提供实验结果和分析，第6节为结论。
相关研究
相关工作
本节回顾了情感分类的发展、资源匮乏和多语言NLP中的挑战，以及乌尔都语情感建模中的具体研究空白——特别是缺乏捕捉多标签关联的方法。
数据集和任务描述
我们使用的数据集来自Butt等人（2022年）的研究。该数据集包含用于训练和测试的乌尔都语文本，“Sentences”列包含乌尔都语文本和七种情感标签：“anger”（愤怒）、“disgust”（厌恶）、“fear”（恐惧）、“sadness”（悲伤）、“happiness”（快乐）和“surprise”（惊讶）。训练集中每个标签的样本数量如图1所示。训练集和测试集中每个标签的样本数量见表1。该数据集来源于
方法论
本节概述了用于情感分类的各种架构。研究重点关注那些能够在减少参数数量的同时仍保持相当性能的方法。为了提高模型对重要但常被忽略的单词的关注能力，采用了注意力模块，这显著促进了竞争性结果的产生。
此外，还探索了几种旨在提高分类准确性的神经网络架构，见表3
结果与讨论
本节展示了实验的详细结果以及对发现的解释。我们使用精确度（Precision）、召回率（Recall）和F1分数（F1-Score）在微观、宏观和加权平均尺度上对实验进行了评估。
- •
精确度：精确度衡量模型正面预测的准确性。它定义为模型做出的真正例预测与总正面预测之间的比率。高精确度意味着假正例的比例较低。精确度的计算公式为
结论
本研究的主要贡献是证明了混合集成架构能够在像乌尔都语这样语言复杂度高的语言上有效执行分类任务。研究还表明，与其他最先进模型相比，这种集成模型参数更少，提供了计算效率高且可靠的解决方案。
未来的工作应侧重于整合这两种模型的优势
CRediT作者贡献声明
Kirti Kumari：撰写——审阅与编辑、初稿撰写、可视化、验证、监督、资源管理、方法论设计、概念构思。Shirish Shekhar Jha：初稿撰写、可视化、验证、资源管理、方法论设计、概念构思。
利益冲突声明
作者声明他们没有已知的可能会影响本文所报告工作的财务利益或个人关系。
致谢
我们所有作者感谢贾坎德邦兰契信息技术学院计算机科学与工程系提供的研究支持。
