一种结合多视图技术和神经符号学的阿拉伯语攻击性语言检测方法:迈向更安全的在线环境

《Expert Systems with Applications》:A Hybrid Multi-View and Neuro-Symbolic Approach for Arabic Offensive Language Detection: A Step Towards Safer Online Spaces

【字体: 时间:2026年02月28日 来源:Expert Systems with Applications 7.5

编辑推荐:

  检测阿拉伯语社交媒体中的冒犯性内容面临方言多样性、复杂形态和文化 nuances 的挑战。本文提出神经符号混合框架 MultiView+FuzzyRules,通过结合语境化Transformer嵌入与静态词嵌入的多视角表示,以及基于模糊逻辑的可解释规则层,有效提升跨方言场景下的检测性能与可解释性。实验表明该方法在Tunisian、Egyptian、Lebanese方言及Algerian和YouTube数据集上均表现优异,Macro-F1达0.63-0.85,且首次将神经符号方法应用于阿拉伯语冒犯检测。

  
Rim Mahouachi
LR - IDEA(人工智能、数据工程与应用,迦太基大学贝济尔特分校理学院,Zarzouna,7021,突尼斯)

摘要

由于阿拉伯语的方言多样性、复杂的形态学特征以及文化上微妙的表达方式,检测阿拉伯语社交媒体中的攻击性内容仍然具有挑战性。这些特性限制了纯数据驱动模型的泛化能力,并降低了可解释性,使得做出透明且基于文化的审核决策变得困难。本文提出了MultiView+FuzzyRules,这是一个混合神经符号框架,它整合了多种语义表示方法——结合了上下文化的Transformer嵌入和静态词嵌入——以及一个基于可微分模糊逻辑的特征层。模糊组件引入了可解释的基于规则的约束,能够捕捉到攻击性、仇恨言论和粗俗语言的语言指标,从而提高了语义的精确度和透明度。该方法在包含多种阿拉伯方言的语料库(突尼斯语、埃及语和黎巴嫩语)上进行了评估,评估了二元(攻击性 vs. 非攻击性)和多类(侮辱性、仇恨性、正常内容)场景下的性能。在两个外部数据集(阿尔及利亚方言侮辱性评论和阿拉伯语YouTube评论)上的额外实验显示,该方法的跨领域(Macro-F1:0.63–0.76)和领域内(Macro-F1:0.74–0.85)性能均具有竞争力,表明该方法能够很好地泛化到未见过的领域和方言。据我们所知,这是首次将多视图深度表示与基于模糊逻辑的特征层结合用于阿拉伯语攻击性语言检测的研究。通过整合丰富的语义表示和可解释的符号特征,该框架支持在多语言和方言多样的阿拉伯语社交媒体环境中做出更易于解释的审核决策。

引言

在在线平台上自动检测攻击性言论已成为维护健康、尊重他人的数字环境的关键挑战(Davidson, Warmsley, Macy, & Weber (2017); Founta et al. (2018); Khairy, Mahmoud, & Abd-El-Hafeez (2021))。不幸的是,用户生成内容的激增导致了有害内容的相应增加,包括仇恨言论(Albadi, Kurdi, & Mishra (2018); Davidson et al. (2017))、网络欺凌(Albayari, Abdallah, & Shaalan (2025))和粗俗语言(Malmasi & Zampieri (2018))。这样的环境不仅会降低用户体验,还可能造成现实世界的伤害,这凸显了有效自动化审核工具的社会和技术必要性。
检测攻击性语言本质上具有挑战性,因为其主观性、语言多样性、文化依赖性以及微妙的语义差异。在具有广泛方言变化的语言中,这些挑战更加明显,例如阿拉伯语(Abdul-Mageed, Alhuzali, & Elaraby (2018); Alakrot, Murray, & Nikolov (2018); Mahouachi & Mahersia (2025)),这对自然语言处理(NLP)系统提出了独特的挑战。现代标准阿拉伯语(MSA)与许多地区方言(如埃及语、突尼斯语和黎凡特语)之间存在显著差异,这些方言通常是非正式的且缺乏标准化,当在标准文本上训练的模型应用于方言社交媒体数据时,性能会明显下降。关于阿拉伯语社交媒体的综合性研究(Abdelsamie, Azab, & Hefny (2024); Abo, Raj, & Qazi (2019); Alshahrani, Aksoy, & Emam (2025)强调了关键挑战,包括注释数据有限、方言变化大以及数据集之间的标记实践不一致。
目前阿拉伯语攻击性语言检测的先进技术(Abdelsamie et al. (2024); Alshahrani et al. (2025))主要由深度学习模型主导,如BERT及其变体。尽管这些模型在实证表现上很强,但大多数现有方法采用单一模式、仅基于文本的设计,依赖于静态或上下文化的文本嵌入(Charfi, Besghaier, Akasheh, Atalla, & Zaghouani (2024); Faris, Aljarah, Habib, & Castillo (2020))。虽然这些数据驱动的方法可以捕捉隐含的语义模式,但它们面临两个主要限制。首先,它们的性能严重依赖于大型且标注准确的数据集,而这些数据集往往无法为资源匮乏的阿拉伯方言或特定领域提供。其次,它们的黑箱性质使得难以解释,从而无法进行有效的错误分析或纳入人类注释者使用的显式语言知识。因此,这些模型往往无法捕捉阿拉伯语的丰富上下文和方言变化,从而限制了它们的鲁棒性和泛化能力。此外,依赖单一嵌入类型只能提供文本的狭隘视图,导致模型关注表面词汇模式而非实际含义。
为了解决这些限制,提出了混合架构MultiView+FuzzyRules。这项工作的根本动机是弥合隐式、数据驱动的语义理解与显式、可解释的符号特征之间的差距。这是通过利用(1)多视图文本表示(从多样化的上下文和静态嵌入模型中提取)和(2)基于模糊规则的特征层的互补优势来实现的。该层应用领域驱动的语言规则(例如,攻击性、粗俗语言、风格标记或特定的攻击性词汇),使用可学习的模糊运算符(包括合取、析取和否定)来影响模型的预测。通过将这些模糊规则与深度表示相结合,该架构将隐式语义理解与基于模糊逻辑的特征结合起来,为攻击性言论检测提供了一个平衡的框架。与纯数据驱动的方法相比,这种方法有助于模型处理方言变异性并提高可解释性。
该方法在覆盖突尼斯语、埃及语和黎巴嫩语的多方言阿拉伯语语料库上进行了评估(Badri, Kboubi, & Chaibi (2022)。为了进一步评估模型的鲁棒性和泛化能力,还考虑了两个额外的数据集:阿尔及利亚方言侮辱性评论(Mazari & Kheddar (2023)和阿拉伯语YouTube评论(Alakrot et al. (2018)。在跨领域(在Tun-EL上训练)和领域内设置中都进行了评估,以测试所提出的MultiView+FuzzyRules框架在不同阿拉伯方言和社交媒体环境中的适应性。这些评估证明了模型对跨方言变异性、不平衡类别和复杂语言模式的鲁棒性,支持可解释的攻击性语言检测。
为了评估所提出的混合方法的有效性,研究了以下研究问题:
  • RQ1:将模糊规则集成到MultiView模型中对二元攻击性语言检测的影响与基线方法相比如何?
  • RQ2:将模糊规则集成到MultiView模型中对多类攻击性语言检测的影响与基线方法相比如何?
  • RQ3:MultiView+FuzzyRules混合模型在领域内和跨领域评估设置中与文献中报道的最先进模型相比在多类攻击性语言检测方面的表现如何?
  • 本文的主要贡献包括:
    • 引入了MultiView+FuzzyRules
      ,这是一个新颖的混合神经符号框架,它结合了来自不同阿拉伯方言的多视图嵌入和基于模糊规则的特征层,实现了准确且可解释的攻击性语言检测。据我们所知,这是首次将混合神经符号方法应用于阿拉伯语攻击性语言检测,为语言复杂的语言领域的NLP研究做出了新的贡献。
    • 设计和整合了领域驱动的模糊逻辑规则,以捕捉攻击性强度和粗俗语言等语言特征,提供可解释的指导并确保语义一致性。
    • 在涵盖突尼斯语、埃及语和黎巴嫩语的多方言阿拉伯语语料库上进行了广泛的实验,与强大的基线进行了比较分析,包括二元和多类分类设置。
    • 在两个额外数据集(阿尔及利亚方言侮辱性评论和阿拉伯语YouTube评论)上进行了评估,涵盖了跨领域和领域内设置,分析了模型对未见过的方言和社交媒体环境的鲁棒性和泛化能力。
    • 详细分析了模型在攻击性内容上的表现、跨方言的改进以及在文化意识强的审核决策中的可解释性。
    本文的结构如下:第2节回顾了NLP中关于攻击性言论检测和神经符号方法的相关工作。第3节介绍了MultiView+FuzzyRules架构,详细介绍了多视图嵌入提取、基于模糊规则的特征层和训练过程。第4节描述了数据集、评估指标和实验设置。第5节报告并讨论了实验结果,包括二元和多类分类分析、跨领域和领域内评估,以及与最先进基线的比较。第6节指出了当前方法的局限性,并概述了未来工作的方向。最后,第7节总结了本文。

    相关研究

    相关工作

    本节回顾了仇恨言论检测的研究,重点关注阿拉伯语特有的挑战以及启发我们混合方法的神经符号方法,以促进更安全的在线空间。

    提出的方法

    本节介绍了MultiView+FuzzyRules框架,旨在稳健地检测不适当或攻击性的阿拉伯语内容。该架构结合了多视图神经表示和可解释的基于模糊规则的特征层,编码了从攻击性得分、粗俗语言符号和基于词汇的比率中得出的语言驱动的约束。该方法适用于二元分类(攻击性 vs. 非攻击性)和多类分类(例如

    研究设置

    本节介绍了数据集、评估指标和实验设置的详细信息。

    结果与讨论

    本节展示了所提出的MultiView+FuzzyRules框架相对于研究问题的评估结果。

    局限性与未来工作

    尽管所提出的MultiView+FuzzyRules框架表现出有希望的性能和可解释性,但它也存在某些局限性,这为未来的工作指明了方向。
    公平性与偏见缓解 方言分析揭示了任务依赖的效应。在二元分类中,埃及语的改进(+7.9% F1)远超过黎巴嫩语(+1.0%)和突尼斯语(+1.3%),加剧了方言间的差异。在多类分类中,表现较差的方言的改进幅度略大于埃及语。

    结论

    本研究提出了MultiView+FuzzyRules,这是一种用于阿拉伯语社交媒体中攻击性语言检测的混合神经符号架构。通过结合多种嵌入视图和基于模糊逻辑的特征层,该方法捕捉了语义的丰富性和可解释的符号线索,以应对阿拉伯语的形态学复杂性和方言多样性。
    该模型在涵盖突尼斯语、埃及语和黎巴嫩语的多方言语料库上进行了评估,包括二元

    作者声明

    Rim Mahouachi构思并设计了这项研究,实现了模型,进行了实验,分析了结果,并撰写了手稿。作者已阅读并批准了手稿的最终版本。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号