HLCN：一种用于增强多模态情感分析的超图拉普拉斯对比网络

《Pattern Recognition Letters》：HLCN: A Hypergraph Laplace Contrastive Network for Enhanced Multimodal Sentiment Analysis

多模态情感分析中提出基于超图和对比学习的HLCN框架，通过HMRL模块捕捉跨样本高阶依赖并增强模态间结构一致性，结合SCLM模块对齐同一样本内多模态特征，有效提升情感表征的离散性和可分性，在MOSI、MOSEI等数据集上验证优于传统方法。

　　

成倩|张若天|毛颖|曹继武|龙飞|桑俊

重庆大学大数据与软件工程学院，中国重庆，401331

摘要

传统的多模态情感分析（MSA）方法在建模多模态样本之间的高阶关系时往往存在不足，这主要是由于它们依赖于传统的深度学习架构。为了解决这一限制，我们提出了超图拉普拉斯对比网络（HLCN），该框架包含两个核心组件：基于超图的多模态表示学习（HMRL）模块和样本对比学习模块（SCLM）。HMRL模块利用超图结构来捕捉复杂的样本间依赖关系，而拉普拉斯正则化项则促进了不同模态之间的结构一致性。同时，SCLM采用对比学习来增强不同模态之间的特征对齐。通过联合利用这些机制，HLCN能够生成更具表现力和一致性的多模态情感表示。在包括MOSI、MOSEI和CH-SIMS在内的多个基准数据集上的广泛实验表明了HLCN的有效性，证明了其在推进MSA研究方面的潜力。

引言

多模态情感分析（MSA）已成为一个重要的研究领域，旨在通过文本、语音和视觉线索等多种数据形式来理解人类情感[1]。与单模态方法不同，MSA整合了多种数据源，提供了对情感状态更丰富和全面的洞察。这种整合对于人机交互[2]和社交媒体分析[3]应用至关重要。

MSA的最新进展主要集中在两个方向：表示学习和多模态融合。前者旨在提取编码丰富情感线索的模态特定特征，而后者则专注于将这些特征整合到一个统一的表示中进行联合推理。然而，大多数方法仍然独立处理样本，忽略了对于理解情感丰富上下文至关重要的高阶样本间依赖关系。

为了解决这一限制，我们提出了超图拉普拉斯对比网络（HLCN），它由两个组件组成：基于超图的多模态表示学习（HMRL）模块和样本对比学习模块（SCLM）。

之前基于超图的MSA方法，如MDH[4]和MHG-CL[5]，主要构建样本内的超图来捕捉单个样本内模态之间的高阶依赖关系，并适用于单样本推理。相比之下，我们的工作是互补的：HLCN通过HMRL显式地建模样本间的高阶关系，在训练过程中利用超图拉普拉斯编码样本间的结构信息，同时避免了推理时的超图构建。同时，SCLM通过在对齐同一样本的不同模态在潜在空间中的表示来捕捉样本内交互，提高了跨模态一致性和语义对齐。

通过加权融合的方式联合优化这两个模块和分类损失，HLCN有效地学习了解耦且具有情感意识的嵌入。这种设计不仅防止了情感相似样本的分离，还促进了潜在表示空间中的更紧凑和更具区分性的聚类。

我们的主要贡献总结如下：

•

我们提出了一个新颖的HMRL模块，使用超边来建模样本间的高阶依赖关系，增强了跨模态的情感表示。

•

我们设计了SCLM模块来对齐同一样本内的不同模态，增强了样本内的一致性和特征可分性。

•

我们引入了HLCN框架，将HMRL和SCLM作为辅助训练任务。这种设计实现了强大且高效的情感分析，而不会引入额外的推理时间复杂性。

相关工作

相关工作

在本节中，我们回顾了之前的工作：多模态情感分析、超图建模和对比学习。

动机

最近基于超图的方法，如MDH[14]和MHG-CL[15]，通过每个样本的超图来捕捉样本内的高阶依赖关系。虽然这些方法对于模态融合和单样本推理有效，但它们忽略了样本间的语义相似性以及有助于泛化的全局关系结构。相比之下，样本间超图学习捕捉了数据中的上下文模式和潜在簇，提供了互补的视角。

对比学习提供了

训练设置

在所有实验中，我们将SCLM模块中的温度参数τ设置为0.07。损失权重η和γ分别经验性地设置为0.001和0.0001，以平衡每个损失组分的贡献。对于分类任务，我们采用均方误差（MSE）损失$L_{cl}$，并使用AdamW优化器进行优化，学习率为$1\times {10}^{}$，权重衰减为$1\times {10}^{}$。所有模型都在单个NVIDIA RTX 4090 GPU上训练了200个周期，批量大小为64。

局限性与未来工作

尽管HLCN取得了良好的性能，但它也存在一些局限性。首先，它依赖于k-均值进行超图构建，这使得模型对k的选择非常敏感，需要针对具体数据集进行调整。其次，它假设所有模态都存在，而MDH[4]中已经讨论了缺失模态的鲁棒性问题。最后，我们采用了基于简单聚类的方案来隔离我们模块的效果，没有探索基于相似性（MDH[4]）或基于标签（MHG-CL[5]）的策略。

结论

我们提出了HLCN，这是一个仅用于训练的框架，它将基于超图的多模态表示学习（HMRL）模块与样本对比学习模块（SCLM）结合起来，共同捕捉多模态情感分析中的样本间结构和样本内对齐。通过在不同模态之间施加超图拉普拉斯正则化器，并通过对比目标对齐模态特定的嵌入，HLCN学习了具有情感意识且解耦的表示，而不会增加

未引用的参考文献

缺失的参考文献：算法1

CRediT作者贡献声明

成倩：撰写——原始草稿、软件、方法论、概念化。张若天：撰写——原始草稿、形式分析、数据整理。毛颖：撰写——原始草稿、验证、方法论。曹继武：撰写——审阅与编辑、可视化、调查。龙飞：撰写——审阅与编辑、验证。桑俊：撰写——审阅与编辑、监督、项目管理。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。