《Computer Speech & Language》：Artificial protozoa lotus effect algorithm enabled cognitive brain optimal model for sentiment analysis utilizing multimodal data
编辑推荐：
多模态情感分析模型APLEA_CBO融合音频特征提取（MFCC等）与文本特征（TF-IDF、Word2Vec）并采用RD-LSTM架构，通过人工原生生物优化算法与认知脑优化模型协同训练，在实验中取得92.76%召回率和90.62%精确度的显著提升。
Sanjeevkumar Angadi|Saili Hemant Sable|Tejaswini Zope|Rajani Amol Hemade|Vaibhavi Umesh Avachat
印度马哈拉施特拉邦浦那市Nutan马哈拉施特拉工程与技术学院计算机科学与工程系，邮编410507
摘要
理解从在线数据中提取的公众情绪是一个具有众多应用价值的挑战性研究问题，包括对特定事件的情境分析和意见评估。传统上，情感分析主要集中在单一模式上，如文本或图像。然而，利用图像、文本和音频等多模态信息可以提高模型的准确性。尽管有这一优势，但结合视觉和文本特征往往会导致性能下降。这主要是由于模型无法有效捕捉不同模式之间的复杂关系。为应对这些挑战，开发了一种名为“人工原生动物莲花效应算法_认知大脑最优模型（APLEA_CBO）”的新技术，用于多模态数据的情感分析。首先对音频数据进行特征提取以获得特征向量结果-1；同样，对输入文本进行特征提取以提取合适的特征，作为结果-2。然后使用认知大脑最优模型（CBOM）对这两个特征集进行处理，该模型采用了循环去噪长短期记忆（RD-LSTM）技术。CBOM是通过人工原生动物莲花效应算法（APLEA）进行训练的，该算法是人工原生动物优化（APO）和莲花效应算法（LEA）的结合体。研究表明，APLEA_CBO模型的准确率为90.60%，召回率为92.76%，精确率为90.62%，FPR为7.17%。
引言
人机交互技术的快速发展极大地扩展了多模态数据的应用，并推动了多模态情感分析（MSA）的进步（Poria等人，2020年）。MSA旨在分析和解释通过语音、视频、视觉和音频信号等多种感官渠道表达的人类情绪。通过整合多模态信息，研究人员可以更深入地理解人类情绪状态，从而增强人机交互中的情感联系。MSA在理解产品评论和社交媒体互动中的消费者意见方面也起着关键作用。通过对多模态数据的全面探索，研究人员成功识别出了文本、视频和音频中的情感线索，如面部表情、语调差异和肢体语言（Zadeh等人，2017年；Rodrigues等人，2024年）。机器学习（ML）方法经常被集成到这些系统中，以自动识别情绪状态。MSA的研究主要集中在文本、音频和视频模式上，有两个主要目标：研究跨模态交互以揭示更深层次的语义洞察，并开发新的数据融合方法来创建有效且富有表现力的数据表示（Gandhi等人，2023年）。这些表示显著提高了情感分析的准确性和有效性（Xie等人，2024年）。
MSA过程通常包括几个阶段：数据收集、注释、单模态特征提取、多模态特征融合和情感分析。其中，多模态特征融合起着至关重要的作用，因为它整合了来自不同模式的多种情感相关元素，从而提高了准确性和鲁棒性。然而，现有的MSA方法往往强调各模式之间的统一性；它们严重依赖对齐或转换机制来提取共享信息，这可能限制了它们处理复杂模态关系的能力。
情感分析是自然语言处理（NLP）中的一个重要领域，其主要关注评估数据中传达的意见，主要是识别对特定实体的积极、消极或中立态度（Liu等人，2024a）。传统上，情感分析主要依赖于文本数据。然而，社交媒体的快速发展使得人们开始使用文本和图像来表达意见，这使得MSA成为一种越来越有吸引力的方法（Ye等人，2022年）。MSA作为情感分析的一个重要子集，整合了来自文本、音频和视频等多种模式的数据。这种整合使得对情感的理解更加完整和精确，使其在产品服务、医疗保健、情感计算等多个领域具有广泛的应用性（Liu等人，2024b）。
从大量在线生成的多模态内容中提取有意义的情感数据对于理解公众对个人、产品、事件和政策措施的情绪至关重要（Barnes等人，2022年）。例如，政府可以利用MSA来评估公众对其政策的情绪反应。同样，组织可以监测公众对特定事件的情绪变化，从而及早发现负面反应并采取积极的危机管理措施（Dudek等人，2021年；Kirange等人，2014年；Weng等人，2024年）。
近年来，深度学习（DL）的出现显著推动了MSA的发展，提高了人类情绪的检测能力（Li等人，2021年）。DL显著改进了情感分析，使得对文本中情感基调的解读更加精确和细致（Hussein等人，2024年；Al-Amri等人，2024年）。重要的方法包括先进的文本表示技术，如Word2Vec和GloVe，以及复杂的神经网络结构，如卷积神经网络（CNNs）、循环神经网络（RNNs），尤其是BERT和GPT等变换器方法（Islam等人，2019年）。目前，CNN在句子分类这一关键任务上取得了出色的性能（Zhang和Wallace，2015年；Johnson和Zhang，2014年；Kalchbrenner等人，2014年；Hassan和Mahmood，2017年）。
尽管这些模型取得了成功，但它们通常需要专家知识来配置架构和微调超参数（如滤波器大小）。尽管如此，它们在理解语言的上下文和含义方面仍然非常有用（Ahmed等人，2025年）。通常，该过程从收集和准备数据开始，然后将文本转换为数字以用于模型训练。迁移学习（TL）通过允许研究人员利用特定数据库调整预训练的技术来发挥重要作用，从而提高模型的性能（Weng等人，2024年）。此外，DL主要利用深度神经网络从数据中识别复杂特征，几乎不需要人工干预。这些技术可以轻松适应并自动学习新的、复杂的特征。然而，DL的一个缺点是它需要大量的数据才能高效运行。与传统ML方法相比，DL更重视拥有足够的数据和自动提取特征的能力（Pandian，2021年）。
主要目标是开发一种使用多模态数据的情感分析APLEA_CBO模型。首先，输入音频数据进行特征提取。特征提取的目的是为了获得有用的特征，如梅尔频率倒谱系数（MFCC）、频谱扩散、线谱频率（LSF）、线性预测倒谱系数（LPCC）和对数带功率，从而得到特征向量结果-1。同时，输入文本也进行特征提取，提取术语频率-逆文档频率（TF-IDF）、Word2Vec、长词和标点符号等特征，得到特征文本结果-2。然后使用CBOM对这两个结果进行情感分析。这种新的CBOM是通过RD-LSTM开发的，其中CBOM使用了APLEA进行训练，APLEA是APO和LEA的结合体。
APLEA_CBO模型的关键作用如下：
?利用多模态数据的情感分析APLEA_CBO模型：开发了一种新的MSA技术，称为APLEA_CBO。在这里，使用CBOM模型进行多模态数据的情感分析，其中超参数由APLEA进行训练。APLEA通过结合APO和LEA来实现。
APLEA_CBO模型的其余部分如下所述：第2节阐述了传统的MSA方法。第3节介绍了APLEA_CBO模型的方法和结构。第4节和第5节分别解释了APLEA_CBO模型的结果和未来的工作方向。
部分摘录
动机
MSA旨在通过整合多种形式的数据或模态来评估情感。不同的模态可能具有不同的数据格式、结构和表示方式，这使得将它们整合到一个连贯的分析框架中变得困难。这促使人们通过分析先前的方法及其面临的挑战来设计新的方法。
提出的利用多模态数据的情感分析人工原生动物莲花效应算法_认知大脑最优模型
MSA通过整合视频中的文本、视觉和音频细节来理解人类情绪状态。智能设备的普及使得获取多模态数据变得更加容易，这些数据可以用于各种应用。虽然MSA的大部分研究集中在不同模态之间的交互上，但训练能够有效学习跨模态信息的网络仍然是一个挑战。这种困难源于
结果与讨论
下面小节简要介绍了所提出的APLEA_CBO模型的结果
结论
MSA通过整合来自多个来源的信息来更深入地理解人类情绪和情感。它通过整合非语言线索（如语调和面部表情）改进了传统的情感分析，这些因素可以极大地影响情感解读。然而，几个挑战影响了其有效性。一个主要挑战是数据对齐问题，因为同步不同的模态可能很复杂，尤其是在它们分别记录或在不同时间记录的情况下
CRediT作者贡献声明
Sanjeevkumar Angadi：概念化、方法论、软件开发、验证、形式分析、调查、资源管理、数据整理、初稿撰写、审稿与编辑、项目管理。
Saili Hemant Sable：概念化、方法论、软件开发。
Tejaswini Zope：验证、形式分析、调查。
Rajani Amol Hemade：资源管理、数据整理、初稿撰写。
Vaibhavi Umesh Avachat：审稿与编辑、项目管理。
