R2G 3 Net：一种新型的层次化时空神经网络，具备区域到全局的融合机制，用于多模态情感识别

多模态生理信号融合与人口统计学整合提升情感识别性能，提出R2G Net框架，采用BiLSTM-GNN提取脑电信号时空特征，结合PNS信号跨模态融合，并利用HGNN整合人口数据构建动态社交网络，实验验证其优于现有方法。

　　

摘要：

随着情感识别技术的快速发展，多模态生理信号因其丰富的情感表达能力而受到了越来越多的研究关注。然而，不同生理模态之间的显著异质性给有效的多模态融合带来了巨大挑战，限制了当前情感识别系统的性能。此外，尽管人口统计信息本身包含了宝贵的情感线索，但将其系统地整合到情感识别中仍然是一个未充分探索的领域。为了解决这些挑战，我们提出了R2G网络，这是一个用于多模态情感识别的新型层次化框架。我们的模型采用了三层架构：1) 区域到全局的脑特征提取：一个BiLSTM-GNN混合网络层次化地编码EEG信号，从局部脑区捕获时空模式到全局功能连接；2) 区域到全局的跨模态融合：提取周围神经系统（PNS）信号并与脑特征融合，以增强生理表达的学习；3) 区域到全局的社会情境感知建模：一个超图神经网络（HGNN）整合人口统计数据来构建动态社会网络，揭示更高层次的情感交互，从而提高模型的可解释性。在三个基准数据集上的广泛实验表明，R2G网络在联合时空特征学习和社会情境感知情感识别方面具有优势。消融研究和视觉分析进一步验证了我们的融合表示在区分能力和模型透明度方面均优于现有最先进方法。