通过特征解耦和知识转移实现行为与生理信号的多模态融合，以提升情绪识别能力

《IEEE Transactions on Big Data》：Multimodal Fusion of Behavioral and Physiological Signals for Enhanced Emotion Recognition via Feature Decoupling and Knowledge Transfer

多模态情感识别中提出模态解耦知识蒸馏框架，分离共享与特定特征，利用可学习图结构增强跨模态知识迁移，在MAHNOB-HCI和DEAP数据集上验证效果最优且统计显著，提供可解释的模态关系可视化。

　　

摘要：

多模态情感识别作为一种有前景的方向，通过整合生理和行为信号来捕捉人类情感状态的复杂性。然而，在处理特征冗余、模态异质性以及跨模态监督不足方面仍存在挑战。在本文中，我们提出了一种新颖的多模态解耦知识蒸馏框架，该框架能够明确区分模态共享特征和模态特定特征，并通过基于图的蒸馏模块增强跨模态知识传递。具体来说，我们引入了一种双流表示学习架构，用于分离不同模态之间的共同特征和独特特征。为了促进有效的信息交互，我们设计了一个有向且可学习的模态图，其中每条边代表从一种模态到另一种模态的语义传递强度。我们在两个基准数据集MAHNOB-HCI和DEAP上验证了我们的方法，这些数据集涵盖了回归和分类任务，并采用了受试者依赖和不受试者依赖的实验协议。实验结果表明，我们的方法达到了最先进的性能水平，其统计显著性通过配对双尾t检验得到了确认。此外，对学习到的模态图和t-SNE嵌入的定性分析进一步证明了我们的特征解耦和动态知识传递设计的有效性。这项工作为多模态情感理解提供了一个统一、可解释且稳健的框架，为现实世界中的人机交互场景中的情感计算奠定了基础。

引言

在人机交互（HCI）领域，智能系统的快速发展凸显了情感识别技术的重要性。准确识别人类情感可以显著提高计算机操作的精确度和效率。在过去的二十年里，众多研究机构和行业领导者投入了大量资源来开发改进用户体验的算法[1]。随着基于传感器的物联网技术的不断发展，对情感识别的需求在心理健康监测、驾驶员状态监测和可穿戴设备等应用中日益增长[2]。