《Biomedical Signal Processing and Control》：ViSO-TGBLM: COVID tweet sentiment analysis model using optimized transformer-based distributed deep learning model
编辑推荐：
针对COVID-19信息危机与公众情绪分析，传统方法存在数据不足、情感类型区分难、长句处理差等问题。本文提出ViSO-TGBLM模型，融合Transformer架构、分布式双向GRU及ViSO优化算法，通过语义关系捕捉与长文本分析提升情感分类精度，在灵敏度、准确率、特异性指标上分别达97.05%、97.44%、98.07%，较现有模型提升1.44%-9.02%。
Rushali Patil|Arunkumar Molapalayam Sekar
计算机科学与工程系，Vel Tech Rangarajan Dr. Sagunthala 科学与技术研究开发研究所，Avadi，Chennai，Tamil Nadu 600062，印度
摘要
在2019年全球冠状病毒病（COVID-19）大流行期间，迫切需要解决并更好地理解COVID-19的信息危机，评估公众情绪，以便做出明智的决策并实施有效的干预措施。然而，由于缺乏大规模数据集以及难以区分不同类型的情绪，以及在长句中识别情绪，各种用于情绪分类的策略在提高分类准确性方面遇到了困难。因此，本研究开发了一种基于分布式门控循环单元和双向长短期记忆（Bi-directional Long Short-Term Memory）的Transformer优化模型——ViSO-TGBLM。该模型利用Transformer框架的优势，能够更准确地分析长句中的情绪。此外，还实施了Viral Survivor优化（ViSO）算法来微调模型的超参数。ViSO算法的灵感来源于原生动物的生存特性和病毒宿主细胞的搜索模式，这种机制提供了一种独特而高效的方法来应对优化问题的复杂性。所提出方法的性能评估包括关键指标：敏感性、准确性和特异性，分别为97.05%、97.44%和98.07%。此外，该模型在准确性方面表现优异，比现有的APO-TGBLM模型高出1.44%，比Deep Biaffine CNN模型高出9.02%。最终，该模型展示了出色的情绪分类性能和较高的鲁棒性及可靠性。
引言
2019年冠状病毒病（COVID-19）的蔓延促使世界卫生组织（WHO）于2020年3月12日着手开发有效的决策方法和干预措施[1]。多位研究人员报告称，首例COVID-19感染病例出现在2019年的中国武汉。为了控制疾病的进一步传播并减轻其后果，建议采取佩戴口罩、保持社交距离和手部消毒等预防措施。在COVID-19最严重的时期，跨国旅行被暂停，教育机构关闭，大型集会也被禁止[2]、[3]、[4]、[5]。随着疫情的发展，在线社交媒体的使用在全球范围内变得普遍，社交媒体平台促进了关于疫情的全球新闻分享和更新，同时也促进了社交互动，尤其是在实施封锁和隔离期间[1]。在线社交网络使人们能够通过各种数字媒体形式进行交流、分享信息并建立联系。在COVID-19爆发之前，绝大多数用户（占三分之二）就已经使用社交媒体平台，这导致了社交媒体使用率的上升。此外，由于新冠病毒通过报纸传播，报纸供应量的减少也是社交媒体平台普及的原因之一[6]。
在大流行的最初几周内，人们意识到接种疫苗是应对COVID-19的唯一可行方案。社区对疫苗接种的支持显得至关重要；同时，了解人们对疫苗的看法及其接种意愿对于推进疫苗接种进程也至关重要[7]、[1]。Twitter是互联网上用于信息交流的主要平台之一。用户利用这一平台实时传播事件信息，并分享他们对COVID-19、猴痘和其他流行病的看法[8]、[9]、[10]。特别是在Twitter数据的文本分析中，研究人员可以研究大量用户群体中的模式和观点，从而支持主动决策和及时响应。在COVID-19期间，Twitter网络积累了大量与疫情相关的数据[11]。为了从Twitter数据中获取这些相关信息，需要基于机器学习（ML）的方法，因为数据中包含大量的词汇和上下文组合[12]、[10]。疫情常常引发社交媒体上的公众舆论热潮，可能导致社会不稳定和负面情绪。为了解决这些问题，许多研究人员采用了情感分析技术，从文本数据中自动提取情绪。此外，将机器学习（ML）与自然语言处理（NLP）机制结合应用于情感分析（也称为意见挖掘），可以自动检测和分类文本中表达的情绪或态度。通过分析紧急情况下的在线公众意见，应急管理团队可以深入了解公众情绪的变化，从而主动调整危机应对策略并改善整体管理效果；然而，传统的情感分析方法在提取文本中的明确情绪时面临挑战[13]。虽然机器学习（ML）算法运行速度快，但其预测能力往往不够精确，而深度学习（DL）机制在需要大量高质量标注数据时存在困难，这对训练有效可靠的模型至关重要。此外，为了解决过拟合问题（即模型过度适应训练数据），采用正则化和数据增强等创新技术对于确保模型在不同数据集上的泛化性能至关重要[14]。此外，大多数现有方法无法捕捉语义关系和上下文信息，导致性能不佳。因此，所提出的模型结合了双线性注意力（biaffine attention）和卷积网络（convolutional networks）的先进功能，以捕捉语义关系和上下文信息，显著提高了文本特征的解读和提取能力。通过应用双线性注意力机制，该模型能够有效地探索细微特征，捕捉术语和情感表达，从而提高了灵活性和性能。
在COVID推文情感分析的背景下，主要问题在于用于提高模型检测效率的决策机制或优化技术。通常，优化算法用于根据优化问题选择最佳解决方案。近年来，元启发式算法（metaheuristic algorithms）受到更多关注，以解决优化问题。然而，传统优化方法的主要缺点是由于探索和利用能力不足而陷入局部最优解。例如，粒子群优化（Particle Swarm Optimization, PSO）、遗传算法（Genetic Algorithm, GA）和灰狼优化器（Grey Wolf Optimizer, GWO）在处理复杂和高维搜索空间时表现不佳，虽然利用能力较强但探索能力较弱。因此，开发了多种混合优化算法来平衡利用和探索。具体来说，这些混合算法结合了两种元启发式算法，从而有可能生成更准确的解决方案。然而，Jelly Search优化器（JSO）的探索能力较弱，限制了其应用范围。另一方面，鱼群优化（Fish Swarm Optimization）的收敛速度较慢，需要改进以提高效率。因此，ASSO算法结合了水母（jellyfish）的集体特性和鱼类的觅食特性[15]，在探索大规模解决方案空间的不同区域时找到全局最优解。
受现有方法挑战的启发，本研究开发了ViSO-TGBLM方法进行情感分析，该方法融合了分布式BLSTM模型、BERT模型以及GRU和Viral Survivor优化算法，具体细节如下。此外，还实现了Multi-N-gram快速文本嵌入方法，将原始文本转换为结构化格式，以提取文本中的整体情感或情绪。总体而言，该模型实现了更高的分类准确性，提供了更快、更准确的结果，从而提高了情感分类的可靠性。
Viral Survivor Optimization (ViSO)： 在所提出的方法中，ViSO优化器结合了病毒的传播行为和原生动物的繁殖能力。此外，使用ViSO算法调整超参数，从而限制了过拟合问题，并通过关注关键数据特征，帮助在新数据上进行稳健的情感分析。
基于分布式门控循环单元和双向长短期记忆的病毒生存优化Transformer (VISO-TGBLM)： ViSO-TGBLM模型能够准确分类长文本句子中的情绪，以及单词在其上下文中的语义角色，并生成基于渐进文本结构的情感标签。
研究结果的组织结构在第2节中进行了规范，包括与情感分析相关的工作和问题陈述。第3节概述了所提出方法的设计。第4节讨论了模型的发现和结果，第5节提出了结论和未来发展方向。
节选内容
文献综述
COVID-19大流行期间用于情感分析的传统方法及其关键特征和效果，以及这些传统方法面临的挑战在表1中进行了说明。
Ainapure, B.S.等人[6]实现了BiLSTM-GRU模型，用于有效的情感分析。该方法为医疗保健提供者和政府机构提供了有关公众对疾病焦虑程度的宝贵见解，使他们能够
提出的基于分布式门控循环单元和双向长短期记忆的病毒生存优化Transformer
本研究的主要目的是设计ViSO-TGBLM框架，以评估医疗通信中表达的情绪。在初始阶段，通过COVID-19推文情感分析数据集[25]收集输入数据，然后进行预处理和特征提取。文本预处理包括去除陈述中的无关内容，为特征提取做好准备。
结果与讨论
接下来将讨论所提出的ViSO-TGBLM框架在情感分析中的实验结果、性能分析及比较讨论。结论
本研究提出了ViSO-TGBLM模型，通过识别文本中的复杂语义关系和微妙情绪来提升情感分析能力。ViSO-TGBLM框架通过集成SHO（Self-Hidden Optimization）实现了超参数的自动调整和实时特征加权，显著提高了处理速度和准确性，即使是在大规模数据库中也是如此。这些优化措施有效简化了资源分配，减少了过拟合现象，并提高了模型的泛化能力
CRediT作者贡献声明
Rushali Patil： 数据整理。Arunkumar Molapalayam Sekar： 数据整理。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文的研究结果。
