融合时序与频谱特征的双分支深度学习框架在脑电信号情绪识别中的创新应用

【字体: 时间:2026年03月12日 来源:Scientific Reports 3.9

编辑推荐:

  为解决传统脑电(EEG)情绪识别方法过度依赖人工特征、泛化性差、计算复杂等问题,Debam Saha等人开展了一项关于双分支深度学习框架的研究。该研究提出了一个新颖的混合双分支架构,集成LSTM和CNN,分别从原始EEG信号和MFCC表示中提取时序与空间特征,并通过跨模态增强机制实现双向特征学习。模型在Brainwave EEG、WESAD和SWELL三个基准数据集上取得了96.49%至99.99%的优异准确率,在WESAD和SWELL上达到了完美的精度、召回率和F1分数,为心理健康监测和情感计算的实际应用提供了强大潜力。

  
在数字化浪潮席卷全球的今天,如何精准、无创地洞察人类的内心情绪,正成为连接医学、心理学与计算机科学的前沿交叉课题。情绪,作为人类心理状态的核心维度,其有效识别对于心理健康早期预警、个性化医疗乃至更自然的人机交互都至关重要。传统上,基于脑电图(EEG)的情绪识别技术被视为一扇窥探大脑活动的“窗口”,因为它能直接记录大脑皮层的电生理活动,具有时间分辨率高、便携性较好等优势。然而,这条探索之路并非坦途。长期以来,研究者们受困于几个棘手的难题:首先,脑电信号极其微弱且充满噪声,传统方法严重依赖研究者的经验进行繁琐的“手工”特征工程,过程既耗时又难以保证最优;其次,不同个体、不同实验环境下采集的脑电数据差异巨大,导致训练出的模型常常“水土不服”,从一个数据集迁移到另一个时性能骤降,泛化能力成为瓶颈;最后,许多复杂模型虽然精度尚可,但计算开销巨大,犹如“高塔上的花园”,难以在现实世界的可穿戴设备或移动终端上部署,限制了其走向实际应用的可能。这些挑战如同横亘在理想与现实之间的沟壑,呼唤着一种既能深入挖掘脑电信号丰富内涵,又能轻装简行、高效实用的新方法。为此,一项发表在《Scientific Reports》上的研究带来了令人振奋的突破。
为了攻克上述难题,研究人员创造性地设计并验证了一种全新的混合双分支深度学习架构。该研究在三个公开的基准脑电数据集(Brainwave EEG, WESAD, SWELL)上进行了系统评估。其核心方法在于并行处理信号的时序与频谱信息:一个分支利用长短期记忆网络(LSTM) 直接从原始脑电信号中捕捉动态的时序依赖关系;另一个分支则先将信号转换为梅尔频率倒谱系数(MFCC) ——这是一种在语音识别中广泛使用的、能较好反映听觉特性的频谱表示,然后利用卷积神经网络(CNN) 从中提取具有判别性的空间特征。尤为巧妙的是,框架内部引入了创新的跨模态增强机制,包括逆MFCC计算和LSTM到MFCC的投影,这使得时序和频谱两个分支的信息能够双向流动、相互增强。最后,通过元素级相乘和拼接的方式进行特征融合,并由一个人工神经网络(ANN) 完成最终的分类任务。
研究结果
  • 模型整体性能卓越
    该双分支框架在三个数据集上均取得了突破性的分类准确率。具体而言,在Brainwave EEG数据集上准确率达到96.49%,在WESAD和SWELL数据集上更是达到了惊人的99.99%准确率。更为突出的是,在WESAD和SWELL上,模型的精确度(Precision)、召回率(Recall)和F1分数(F1-score)均达到1.0(即100%),实现了完美的分类效果,为相关领域树立了新的性能标杆。
  • 超越现有方法
    通过与一系列传统的机器学习方法(如支持向量机SVM、随机森林)及其他深度学习模型进行对比实验,结果表明,本研究提出的框架在所有数据集上均显著优于这些基线方法。这证明了其架构设计在有效融合多维度特征方面的优越性,不仅识别精度更高,而且鲁棒性更强。
  • 兼顾效率,支持实时应用
    尽管模型性能强大,但分析表明其计算复杂度得到了有效控制。与一些计算密集型的深度模型相比,该框架在保持高精度的同时,具有更高的计算效率,这为其在未来集成到嵌入式系统或移动设备中,实现实时的情绪监测与分析奠定了可行性基础。
结论与意义
本研究成功开发并验证了一个用于脑电信号情绪识别的双分支深度学习框架。该框架的核心贡献在于,它通过LSTM和CNN的双路径设计,协同挖掘了脑电信号的时序动态特性与频谱空间特征,并借助创新的跨模态交互机制,实现了两类信息的高效融合与互补增强。这种方法避免了对复杂手工特征工程的依赖,直接从原始或轻度预处理的信号中学习,极大地提升了方法的自动化程度与泛化能力。
该研究的成功具有多重重要意义。在学术上,它为解决脑电信号分析中特征提取与模型泛化的经典难题提供了一种新颖而有效的范式,所获得的近乎完美的分类结果在多个标准数据集上刷新了纪录,推动了情感计算与心理健康计算领域的技术前沿。在实际应用层面,框架展现出的高精度与高效率相结合的特点,使其非常有望应用于真实的心理健康监测场景。例如,集成到可穿戴设备中,用于长期、无扰地追踪个体的情绪波动,为抑郁症、焦虑症等精神健康问题的早期发现和干预提供客观、量化的工具;亦可应用于自适应人机交互系统,使机器能更精准地理解用户的情感状态,从而提供更具共情能力的反馈与服务。论文公开的源代码也将进一步促进该领域的可重复研究与后续开发。总之,这项研究为构建下一代高效、实用的生理信号情感识别技术迈出了关键一步,架起了从实验室算法创新到现实世界健康应用的桥梁。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号