编辑推荐：
情绪识别通过融合EEG和眼动数据的模态特异性与共享特征实现，采用分层融合模块平衡多源数据并抑制噪声，在SEED、SEED-IV和SEED-V数据集上验证，Spearman相关系数达0.2578。
李瑞鼎|王云生|甘凯宇|张建华|尹忠
教育部光学仪器与系统工程研究中心，上海科技大学现代光学系统重点实验室，中国上海 200093
摘要
情感识别使计算机和机器能够更好地理解人类的情绪状态。然而，大多数现有研究主要关注单一模态方法，并且对捕捉个体即时、实时的情绪波动重视不足。在多模态情感识别中，直接组合特征往往无法解释生理信号（如脑电图（EEG）和眼动）特征领域的异质性。我们开发了多模态回归网络（MRFCP-Net），用于融合共性和私有性生理表征，通过整合EEG和眼动数据来估计情绪强度。MRFCP-Net在每种模态内独立学习情感表征，同时捕捉EEG和眼动数据之间的共享时间表征。它利用瞬时情感标签来跟踪情绪强度的变化。在SEED数据集上，MRFCP-Net在跨主体范式中获得了最高的平均Spearman相关系数0.2254。在SEED-IV的两个范式中，它分别获得了最高的平均Spearman相关系数0.2358和0.2578，在SEED-V的跨主体范式中获得了0.2561。此外，在SEED和SEED-IV的特定主体范式中，它分别获得了第二高的平均Spearman相关系数0.1831和0.2084。与其他情绪相比，预测“中性”和“恐惧”情绪的情绪强度更具挑战性。MRFCP-Net在SEED、SEED-IV和SEED-V数据集上的表现具有竞争力。MRFCP-Net的源代码和收集的情绪强度数据可在
https://github.com/CFSRgroup/MRFCP-Net公开获取。
引言
情绪状态是人类行为和决策的重要驱动力，在理解不同情境下个体的情绪反应和心理状态方面起着关键作用[1]。随着人工智能技术的进步，通过情绪状态检测技术可以及时识别和解决焦虑和抑郁等情绪问题[2]。此外，情绪状态检测可以应用于智能医疗[3]和个性化推荐[4]等领域，以促进情感人机交互。
目前基于监督学习的情感识别研究通常使用固定的情绪标签来训练情感分类器，以处理长时间的生理数据记录[[5],[6],[7],[8],[9]]。然而，实际的情绪变化是动态的，而不是恒定的[10]。当受试者持续暴露于情绪刺激下时，情绪状态的表达可能在不同的阶段（如开始、波动和消退）发生变化[11]。使用固定的情绪标签会阻止情感分类器捕捉个体情绪强度的动态变化。
当前的情绪状态检测方法通常依赖于自我评估和行为数据[12]。然而，个体可能会有意或无意地隐藏他们的真实情绪状态，这使得这些诊断方法容易受到社会期望偏差的影响[13]。作为更客观的情绪指标，可以使用生理信号，如脑电图（EEG）[14]、眼动[15]和皮肤电反应（GSR）[16]。在最近的研究中，深度学习方法被用来从生理信号中解码情绪信息[[17],[18],[19]]。然而，它们在单一数据模态上的表现可能会受到模内干扰源的显著影响[20],[21]。
多项研究表明，识别动态情绪变化可以为预测情感状态提供有价值的见解[10],[22],[23],[[24],[25],[26]]。然而，传统的动态标记方法通常依赖于主观评分[27]。尽管这些方法提供了信息，但可能会限制捕捉瞬时情绪标签的时间分辨率。为了克服这一限制，我们采用了一个新颖的框架，利用即时点击记录系统（ICRS），能够在每秒级别精确注释情绪强度标签。
为了有效估计多模态生理特征中的瞬态情绪波动，提出了多模态回归网络（MRFCP-Net），该网络基于三个主要选择，解决了生理特征粒度、跨模态不平衡和鲁棒整合的挑战。
首先，与直接融合所有模内特征的传统方法不同[28]，我们的模型首先以结构化的方式处理特定模态的特征。我们使用并行的、基于自注意力的Transformer编码器，分别对EEG的不同皮层区域和眼动数据的不同特征域进行操作。这种方法将关于数据时空结构的先验知识直接嵌入到学习过程中。通过采用这种分而治之的策略，模型可以学习更细致的情感模式，并以更低的计算成本更有效地捕捉瞬态情绪波动。
其次，我们解决了时间融合中特征不平衡的常见问题，即EEG的丰富特征集可能会轻易主导眼动数据[28]。为了提取共享时间模式的平衡表示，我们引入了一种受联邦学习原理启发的解码器结构。它由特定模态的“局部”模型和一个“全局”模型组成，所有模型都具有相同的架构。全局模型的权重是从训练有素的局部模型的平均值中得出的，这种机制确保每种模态都能公平地为最终的共享情感信息表示做出贡献。
最后，这些不同的特征流使用分层融合模块进行整合。该模块的第一层使用交叉注意力分别聚合共性时间模式和私有情感模式。第二层然后使用残差连接和进一步的交叉注意力操作智能地结合这些精炼的表示。这种分层过程旨在区分共享信息和私有信息，从而增强模型抑制特定模态噪声和无关情绪波动的能力，从而在每个时间点获得更鲁棒和准确的情绪强度估计。
基于上述动机，本工作的主要贡献如下：
(1)为了以更高的时间分辨率预测个体情绪强度的变化，我们获取了瞬时情感标签，以捕捉特定情绪类别内的个体情绪波动。我们招募了20名志愿者在三个公共数据集上标注这些标签。
(2)MRFCP-Net被提出用于从EEG和眼动特征中学习特定模态和共享模态的信息。它整合了多模态生理信息，通过准确估计连续的情绪强度来提高信噪比并实现更好的时间性能。
(3)为了评估瞬时情感标签的有效性和MRFCP-Net的泛化能力，我们使用了公开可用的SEED、SEED-IV和SEED-V数据集。为了评估模型的鲁棒性，采用了特定主体和跨主体验证方法。
本文的结构如下：第2节回顾了现有研究。第3节介绍了标记方法和数据预处理。第4节评估了MRFCP-Net的性能。第5节讨论了主要发现，第6节总结了本文。
相关工作
情感计算和脑机接口（BCI）的最新进展得益于深度学习方法的采用[[28],[29],[30],[31],[32]]。例如，基于注意力的多尺度卷积神经网络（CNN）已被证明可以有效检测驾驶疲劳[33]。研究人员应用了混合模型，如图卷积胶囊网络和多尺度CNN，分别用于解码运动想象[34]和P300信号[35]。
数据集和数据预处理描述
在这项研究中，我们使用了三个公开可用的数据集：SEED [7]、SEED-IV [41]和SEED-V [49]，这些数据集由上海交通大学提供。这些数据集包含了健康成年人在观看带有预定义情绪标签的电影片段时的EEG和眼动数据。
所有三个数据集中的EEG信号都使用了62个通道进行记录。提取了各种眼动特征，如瞳孔直径、注视点、扫视和眨眼，并将其分割成4秒的片段
验证方法和实验实现
情绪强度估计模型的泛化能力通过两种验证策略进行评估。第一种是特定主体（SS）范式，在这种范式中，估计模型在带有单一参与者瞬时情绪状态的EEG和眼动数据上进行训练和测试。为每个参与者构建单独的个性化模型，模型数量与情绪数量相对应。由于每个参与者完成了三个实验
瞬时情感标签的有效性
为了获得连续的、高时间分辨率的主观情绪强度标签，我们采用了NfPE协议。在这种范式中，独立评估者在观看每个刺激时实时按下按钮来指示目标情绪的瞬时强度。选择这种方法是因为传统的试验后自我评估问卷无法捕捉到情感体验的细微动态。
一个关键的设计选择是使用不同的队列
结论
在本文中，我们提出了MRFCP-Net框架，用于整合EEG和眼动特征，并使用这些瞬时情感标签来估计情绪强度。该网络采用私有性相互特征解码器和共性相互特征解码器，从双模态生理特征中学习特定模态和共享模态的信息。这些解码器从每个参数内的不同皮层区域和眼动指标中提取私有EEG表示
CRediT作者贡献声明
李瑞鼎：撰写——原始草稿、可视化、软件、方法论、调查、数据管理、概念化。王云生：撰写——审稿与编辑、软件、数据管理。甘凯宇：撰写——审稿与编辑、软件、数据管理、概念化。张建华：撰写——审稿与编辑、监督、资金获取。尹忠：撰写——审稿与编辑、可视化、验证、监督、资源管理、项目管理、资金获取，
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。
致谢
本工作得到了上海自然科学基金（项目编号25ZR1401270）、教育部人文社会科学项目（项目编号24YJCZH443）、国家自然科学基金（项目编号61703277）和上海帆船计划（项目编号17YF1427000）的资助。
