解耦分层蒸馏技术在多模态情感识别中的应用

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：Decoupled Hierarchical Distillation for Multimodal Emotion Recognition

多模态情感识别研究提出解耦分层蒸馏框架，通过自回归机制分离同质与异质特征，采用图蒸馏单元和跨模态字典匹配进行两阶段知识蒸馏，显著提升CMU数据集性能。

　　

摘要：

人类多模态情感识别（MER）旨在通过整合语言、视觉和听觉模态的信息来推断人类情感。尽管现有的MER方法已经取得了有希望的结果，但它们仍然难以克服多模态之间的固有异质性以及不同模态之间的贡献差异。为了解决这些挑战，我们提出了一种新的框架——解耦分层多模态蒸馏（DHMD）。DHMD利用自回归机制将每种模态的特征分解为与模态无关的（同质）部分和与模态相关的（异质）部分。该框架采用了两阶段知识蒸馏（KD）策略：（1）通过图蒸馏单元（GD-Unit）在每个解耦的特征空间中进行粗粒度KD，动态图有助于实现模态间的自适应蒸馏；（2）通过跨模态字典匹配机制进行细粒度KD，使不同模态之间的语义粒度对齐，从而产生更具区分性的MER表示。这种分层蒸馏方法实现了灵活的知识转移，并有效提高了跨模态特征的对齐性。实验结果表明，DHMD在CMU-MOSI/CMU-MOSEI数据集上的性能始终优于现有最先进的方法，相对改进幅度分别为1.3%/2.4%（准确率）、1.3%/1.9%（准确率）和1.9%/1.8%（F1分数）。同时，可视化结果显示，DHMD中的图边和字典激活在与模态无关/相关的特征空间中都表现出有意义的分布模式。