Koopman Visual-Dynamics Spectrum：一种基于物理特性的微表情识别光谱特征

《IEEE Signal Processing Letters》：Koopman Visual-Dynamics Spectrum: A Physics-Aware Spectral Signature for Micro-Expression Recognition

微表情分析中提出基于Koopman算子的KVDS方法，通过动态模式分解和2-6Hz光谱筛抑制噪声和宏观运动，实现高效计算（12ms样本/片，CPU），较传统光流快10倍，适用于边缘应用。

　　

摘要：

微表情是短暂、强度较低的面部动作，其瞬态动态容易受到噪声和光照变化的影响而变得难以识别，这对传统的光流算法和基于学习的方法构成了重大挑战。本文介绍了Koopman视觉动力学谱（KVDS），这是一种基于Koopman算子理论得出的可解释的光谱特征。通过动态模态分解（Dynamic Mode Decomposition）来近似面部运动，KVDS利用一个基于物理的“光谱过滤器”在2^-6 Hz的频率范围内分离出瞬态动态。这种无监督方法能够有效抑制光照伪影和宏观运动。在CASME II和SMIC数据集上的实验表明，KVDS在高斯噪声环境下仍具有很强的鲁棒性，而光流方法则会受到影响。值得注意的是，该方法的推理时间仅为约12毫秒/样本（在CPU上），比标准的光流算法快10倍，同时对于边缘检测应用来说计算效率仍然很高。该框架为微表情分析提供了一种严谨的实时信号处理方法。