基于深度学习的情感识别：使用单模态面部表情或生理信号的研究综述

《Knowledge-Based Systems》：Deep Learning-Based Emotion Recognition Using Unimodal Facial Expressions or Physiological Signals: A Review

　　

Mohsen Golafrouz|Houshyar Asadi|Anwar Hosen|Mohammad Reza Chalak Qazani|Amin Khatami|Mojgan Fayyazi|李张（Li Zhang）|Siamak Pedrammehr|雷伟（Lei Wei）|C P Lim|Saeid Nahavandi

摘要

情感识别已成为智能系统的关键组成部分，它促进了医疗保健、教育和机器人技术等领域中人机交互的改进。通过利用面部表情和生理信号（尤其是脑电图（EEG）和心电图（ECG），并在深度学习技术的支持下，取得了显著进展。

本文全面回顾了基于面部表情或生理信号的单模态情感识别方法，分别分析了每种模态的信号特性和建模策略。除了常见的模态外，该综述还涵盖了其他生理信号，如皮肤电反应（GSR）、光电容积描记法（PPG）、眼电图（EOG）、肌电图（EMG）、呼吸频率（RR）、皮肤温度（SKT）以及功能性近红外光谱（fNIRS）。

综述重点介绍了深度学习架构的设计与评估，包括卷积神经网络（CNNs）、循环神经网络（RNNs）、长短期记忆网络（LSTM）、门控循环单元（GRU），以及基于Transformer的模型、视觉Transformer（ViTs）和迁移学习技术等新兴方法。研究分析采用了结构化的评估框架，考虑了模型设计、预处理策略、数据集、评估协议和性能等方面。与现有调查不同，本文对以往的研究进行了批判性分析，指出了其优势、局限性和权衡因素，特别强调了泛化能力和评估策略。同时，综述指出了数据划分不当所带来的风险，例如数据泄露可能导致性能被高估。主要挑战包括数据集规模有限、缺乏标准化的评估协议以及性能报告的不一致性。

本研究系统地梳理了当前的研究趋势，并为开发更加稳健、可靠和泛化能力强的情感识别系统指明了未来方向。