《Expert Systems with Applications》：RCA-Net: A Context-Aware Relational Network for Sentiment Analysis in the Metaverse
编辑推荐：
针对多维虚拟环境中复杂文本分析的挑战，提出RCA-Net框架。集成情景嵌入、分层特征建模和知识引导关系推理，有效捕捉语义、情感及时间依赖。实验表明，RCA-Net在文本生成任务中准确率达0.93，较基线提升4%，适用于情感推荐、上下文分类等场景。
朴 Woo Hyun | 胡斯娜·穆塔希拉（Husna Mutahira）| 申东烈（Dong Ryeol Shin）
韩国水原市Jangan-gu区Seobu-ro 2066号，成均馆大学电气与计算机工程系，邮编16419
摘要
多维虚拟环境的日益复杂性要求智能模型具备上下文适应能力和关系学习能力。传统的基于图神经网络（GNN）的文本分析方法难以在异构且不断演变的环境中模拟语义多样性和时间依赖性。为了解决这些限制，我们提出了RCA-Net（关系与上下文感知网络，Relational and Context-Aware Network），这是一个集成场景驱动的嵌入、分层特征建模和知识引导的关系推理的统一框架。RCA-Net融合了语义、情感和时间表示，并引入了基于场景的注意力机制以及一致性引导的关系学习，从而实现了比现有GNN方法更适应性和更敏感于上下文的建模。该框架还结合了基于注意力的特征权重和场景驱动的关系推理，以增强依赖性建模并提高上下文对齐性。实验结果显示，与竞争基线相比，RCA-Net的性能提升了4%，在语义-情感-时间文本生成任务中的准确率达到0.93。
引言
在当今数据丰富的环境中，先进的文本模式识别和分类技术在医疗保健、情感分析和社交媒体挖掘等领域至关重要。尽管自然语言处理（NLP）和深度学习取得了进展，但传统的模型（如支持向量机（SVM）、卷积神经网络（CNN）、循环神经网络（RNN）和门控循环单元（GRU）在处理非结构化、异构和时间动态的文本数据时仍面临困难（Rao, Verma, Bhatia, 2023; Samaras et al., 2023; Taye, 2023; Zhang et al., 2021; Zong et al., 2024）。这些条件继续挑战模型的泛化能力，尤其是在涉及演变和上下文依赖的文本结构的任务中（Park et al., 2022b）。一个典型的例子是新兴的多维虚拟环境，如元宇宙，在这些环境中，有效的模式识别必须考虑多样化的用户交互、变化的上下文和松散结构的数据。虽然基于图的模型在处理关系数据方面有所改进，但它们在捕捉上下文依赖性和场景驱动的变化方面仍然有限。这些局限性在基于图的网络模型（如图神经网络GNN）中尤为明显，这些模型通常难以在动态环境中（如元宇宙）捕捉语义多样性和时间依赖性。为了解决这些挑战，我们提出了一个新颖的框架RCA-Net（关系与上下文感知网络），该框架能够同时适应主题聚类的语义，通过基于注意力的图学习融入关系推理，并动态地对齐情感-主题模式。RCA-Net的创新之处在于它整合了场景驱动的嵌入、分层特征建模和知识引导的关系推理，使得学习更加连贯和适应性强。
虽然RCA-Net包含了标准的深度学习组件，如CNN、RNN和注意力层来进行基础特征提取，但这些模块仅作为辅助机制，而非定义框架的核心创新点。RCA-Net的独特贡献在于其基于场景的注意力机制，该机制能够根据上下文线索动态调整关系的重要性；其统一的语义-情感-时间融合策略实现了多维表示学习；以及其一致性引导的关系推理模块，能够保持情感和主题结构之间的对齐。这些创新使RCA-Net区别于现有的基于GNN的混合文本分析模型，后者通常依赖于静态相似性假设、统一的参数化和有限的时间上下文化。重要的是，RCA-Net在模拟语义-情感-时间依赖性方面表现出大约4%的量化性能提升，凸显了其有效性。我们的目标是通过将主题感知的图建模与CNN和RNN等深度神经架构相结合，实现非结构化多方面文本数据的强大且上下文感知的分析。所提出的RCA-Net增强了上下文完整性，支持基于场景的关系学习，并通过图节点间的语义结构提取构建连贯的表示。
在这项研究中，我们将元宇宙定义为结合了真实环境和数字环境的用户交互式虚拟空间。为了实际建模，我们专注于基于文本的情感反应，特别是电影评论，作为此类环境中情感-主题动态的代表性案例。这种背景使得可以对语义-情感-时间文本交互进行场景驱动的分析。本研究的贡献如下：
•我们提出了一种新颖的关系与上下文感知网络（RCA-Net）架构，通过捕捉复杂文本环境中的关键知识结构和复杂依赖关系来增强基于文本的模式识别。
•我们通过多层嵌入和场景驱动的学习策略提高了处理非均匀和非结构化文本的鲁棒性，从而提高了情感准确性和主题连贯性。
•我们证明了RCA-Net能够有效地与现有的模式识别方法集成，通过特定于场景的关系建模，实现了平均4%的性能提升，超越了强大的基线和最先进的模型。
在本研究中，“3D”一词指的是捕捉文本内容的语义、情感和时间层次的概念轴，而非物理空间维度。RCA-Net通过结合多层图组件和场景感知的关系推理来建模这种结构。如图1所示，该模型将多层嵌入、场景条件和关系GNN推理整合到一个统一的架构中。完整的技术公式在第2节中呈现。
部分摘录
在非均匀和场景驱动的文本结构下的模式识别
在非均匀和异构环境中进行模式识别面临着结构、表示和上下文依赖性变化的重大挑战。传统模型难以适应分布不均匀、语义不一致和结构不一致的数据。这些挑战在多维环境中尤为明显，其中领域特定的偏见限制了模型的泛化能力（Khemani, Patil, Kotecha, Tanwar, 2024; Luan, Hua, Lu, Ma,
动机
本研究将元宇宙定义为一种交互式虚拟空间，在其中真实和数字体验由用户生成的文本内容塑造。我们关注电影评论作为代表性的媒介，因为它们具有深厚的情感和叙事结构，反映了用户观点的演变。这些评论被视为动态且上下文敏感的，其中情感和主题关联会随时间变化。
为了建模这种复杂性，我们将用户反馈结构化为语义-情感-时间
方法论
RCA-Net基于三个核心组件构建：一个场景驱动的嵌入模块，用于构建语义-情感-时间表示；一个关系GNN模块，配备基于注意力的消息传递机制，用于建模上下文和结构依赖性；以及一个分层特征集成模块，结合CNN、RNN和注释驱动的推理来生成精细的序列表示。图1展示了整体架构和模块间的信息流。
实验与评估
我们使用了来自社交网络数据集（Sholanbayev, 2016）的约50,000条电影评论、来自UCI数据库（Sousa, Pedronette, & Papa, 2021）的6,000条短信、Twitter数据（Nugroho, Paris, Nepal, Yang, & Zhao, 2020），以及精选的莎士比亚作品（Park et al., 2022a）。包含莎士比亚作品的语料库用于训练RCA-Net，以学习其中复杂的情感和语言注释转换模式，利用其作品中多样的语言风格。
讨论
尽管RCA-Net在关系和上下文感知的文本分析任务中表现出强大的性能，但仍有一些因素需要考虑，这些因素可能会指导模型的未来扩展。一个限制是多层上下文和关系建模所带来的额外计算成本，这可能会限制其在资源有限环境中的部署。此外，当训练过程中存在多样化的场景模式时，模型受益最大；在上下文
结论
本研究介绍了RCA-Net，这是一种用于在动态环境中建模复杂文本数据的关系与上下文感知学习框架。与传统的深度学习模型不同，后者常常难以处理元宇宙应用中的非均匀数据分布和上下文变化，RCA-Net通过多层嵌入、场景驱动的学习和元学习策略来应对这些挑战。这些组件共同作用，以捕捉关系依赖性
CRediT作者贡献声明
朴Woo Hyun：概念化、方法论、数据策划、调查、撰写 - 原始草稿、软件、可视化、资源、撰写 - 审稿与编辑、监督、项目管理、资金获取、撰写-审稿与编辑。申东烈（DongRyeol Shin）：数据策划、资源、调查、概念化、形式分析、资金获取、监督、原始草稿准备。胡斯娜·穆塔希拉（Husna Mutahira）：数据策划、可视化、资源、调查、撰写-
资金来源
本研究得到了成均馆大学和BK21 FOUR（研究生院创新项目）的支持，该项目由韩国教育部（MOE）和韩国国家研究基金会（NRF）资助。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能会影响本文报告的工作。
