基于K-means++的多视图CNN结合通道注意力机制，用于脑电图（EEG）情绪识别

《Brain Organoid and Systems Neuroscience Journal》：K-means++ guided multi-view CNN with channel attention for EEG emotion recognition

EEG情绪识别、多视角深度学习、通道注意力机制、残差块结构、K-means++聚类|

　　

周毅|江瑞文|张静翔

江南大学理学院，中国江苏省无锡市

摘要

利用人工智能进行情感识别是提升人机交互效果的焦点。近年来，深度学习在情感识别研究中得到了广泛应用。然而，如何准确识别情感仍然面临巨大挑战。我们提出了一种基于通道注意力（MVACNN）的多视图深度卷积神经网络（CNN）用于脑电图（EEG）情感识别。MVACNN首先对通道进行聚类，并将相似度高的通道划分到同一个视图中。同一视图内的通道具有高度相似的神经活动模式，这能够更有效地提取特定脑区的协同特征，并减少无关噪声的干扰。为了提取更具区分性的特征，MVACNN将通道注意力集成到每个视图中。通道注意力为不同通道赋予不同的权重，以有效学习各通道的重要性。此外，MVACNN使用残差块来学习残差变化，从而更好地表示输入和输出之间的关系。实验结果表明，MVACNN在不同数据集上均取得了良好的效果。

引言

情感是人们在受到外部世界或自身刺激时产生的心理反应，在人工智能、医疗护理、教育等领域有着广泛的应用背景。情感识别主要基于面部表情（Savchenko等人，2022年）、身体动作（Ahmed等人，2020年）、心电图（ECG）（Fan等人，2023年）、脑电图（EEG）（Song等人，2020年；Liu等人，2022年）等指标数据。目前，对于快速有效的情感识别方法仍存在很大需求。

机器学习包括三个步骤：预处理、特征提取和分类。Jie等人（2014年）提取了EEG的样本熵特征，并将其输入到支持向量机（SVM）中以实现情感识别。Sarma等人（2021年）研究了功率谱密度（PSD）和小波变换（CWT）特性，并使用kNN、SVM和随机森林（RF）分类器进行情感识别。为了找出最能区分情感的特征，Nawaz等人（2020年）提取了五类特征，并使用SVM、kNN和决策树（DT）验证了特征的有效性。Pane等人（2019年）提取了三域混合特征，并在RF、SVM和LDA中验证了分类性能，结果显示RF的准确率最高为75.60%，SVM为69.80%，LDA为60.40%。

近年来，深度学习在许多领域超越了机器学习，例如计算机视觉（Voulodimos等人，2018年）、自然语言处理（Otter等人，2021年）和生物医学信号处理（Alnaanah等人，2023年；Pourbabaee等人，2018年）。一方面，深度学习模型可以被视为特征提取后的分类器。Shen等人（2020年）将不同通道的DE特征转换为四维结构来训练深度学习模型。Hwang等人（2020年）提取了DE特征，然后使用CNN进行情感识别。另一方面，许多深度学习模型是数据驱动的，不需要手动特征提取。Yildirim等人（2020年）提出了一种端到端的1D CNN模型，无需提取特征即可对EEG进行分类。考虑到CNN和LSTM在特征提取方面的优势，Song等人（2022年）将两者结合，设计了一个用于EEG抑郁检测的端到端模型。端到端的深度学习模型通过自动学习数据中的特征，大大减少了特征提取的工作量。然而，对于EEG的情感识别来说，提取更多特征仍然是一个挑战。

在许多实际任务中，多视图CNN（MVCNN）比单视图模型表现出更高的性能和准确性。在训练过程中，来自不同视图的特征可以相互补充和强化，使模型能够学习更深层次的表情。Zhang和Li（2023年）对EEG进行了带通滤波，基于脑电节律生成多频子带信号，并将整个频带和过滤后的子带信号输入到MVCNN中以捕获时间和空间特征。Liu等人（2019年）将时间和频率域作为MVCNN的两个视图。Einizade等人（2023年）将EEG、WPD和手工设计的特征作为三个关键视图。然而，这些视图划分方法往往忽略了不同通道之间的相关性。Guo等人（2022年）提出了一种基于电极功能区域划分固定区域的方法，代表了基于先验神经生理学知识的经典空间建模方法。这种固定区域划分策略的主要优势在于其可解释性和计算效率。复杂的认知任务可能依赖于跨越传统额叶和顶叶边界的协调网络。我们提出了一种基于K-means++的视图划分方法，该方法通过挖掘EEG通道的内部结构和规则，自动将相似度高的通道划分为一个视图。这种视角划分方法使模型能够更好地捕捉大脑响应中与任务相关的动态功能协作模式。

为了提取更具区分性的特征，一些方法采用通道选择来选择更相关的通道（Al Shiam等人，2024年；Qu等人，2024年），而通道注意力通过改变不同通道的权重来提取重要信息（Tang等人，2023年；Li等人，2022年）。通道注意力采用自适应通道机制，将视图中的通道转换为概率分布作为权重，并根据转换后的权重重新编码EEG。传统的深度学习模型经常遇到梯度消失的问题，这使得训练深度模型变得困难，而ResNet被提出来解决这些问题。一些论文（Hasan等人，2020年；Alshaya和Hussain，2023年）通过采用ResNet提高了模型的性能。

我们提出了一种基于通道注意力的多视图深度CNN（MVACNN）用于EEG情感识别。基于K-means++聚类，MVACNN将相似度高的EEG通道划分为一个视图，充分利用了多通道EEG的不同通道特征多样性。此外，通道注意力可以学习不同视图中通道的重要性，并捕获更多具有区分性的特征。通过引入残差块，不仅保留了原始特征，还解决了梯度消失问题，进一步提高了MVACNN的准确率和泛化能力。我们的主要贡献总结如下：

1.

我们提出了一种基于K-means++的视图划分方法，充分考虑了EEG通道之间的关系，并将相似度高的通道划分为一个视图。

2.

在每个视图中，MVACNN使用通道注意力来适应不同通道权重的分配，并学习不同通道的重要性。

3.

MVACNN使用残差块来学习残差变化，更好地表示输入和输出之间的关系，并有效解决了梯度消失问题。

本文的其余部分组织如下：第2节描述相关工作，第3节描述MVACNN的构建，第4节通过实验验证MVACNN的有效性，第5节对本文进行讨论，第6节进行总结。

章节片段

EEG情感识别的一般流程

EEG情感识别技术通过分析大脑的电活动提供了一种实时、客观的情感检测方法。这项技术在心理健康、人机交互和教育等领域具有巨大应用潜力，可以显著提高工作效率。EEG情感识别框架流程如下：

1.

数据收集：使用EEG设备收集原始EEG数据。

2.

数据预处理：去除噪声和伪迹，对信号进行滤波

MVACNN的预处理

EEG预处理是情感识别过程中的关键步骤，因为原始EEG通常包含各种噪声和伪迹，这些可能会影响后续的特征提取。预处理的目标是提高EEG的质量，使其更适合情感识别分析。典型的带通滤波器设置在4–45?Hz之间，以保留主要成分。对于长时间采集的EEG数据，下采样到128?Hz可以提高效率

数据集

为了验证MVACNN的性能，我们在DEAP（Koelstra等人，2012年）和SEED（Zheng和Lu，2015年）数据集上进行了实验。在这些实验中，使用EEG进行情感识别。每个受试者观看了40段1分钟的视频，并被要求对每段视频进行1到9分的反馈。预处理后的EEG数据包括60?s的试验数据和3?s的基线数据。详细信息见表1。

与DEAP的标签评分机制不同，SEED在

消融实验

为了验证MVACNN每个组件的效果，进行了消融实验。在表4中，MVCNN1保留了Resnet并忽略了通道注意力，以研究通道注意力对MVACNN的影响；MVCNN2保留了通道注意力并忽略了Resnet，以研究Resnet对MVACNN的影响。结果显示，与MVCNN1相比，MVACNN在DEAP上的平均准确率提高了1.97%和2.34%，在SEED上提高了1.75%。通道注意力可以学习通道的重要性

结论

我们提出了一种端到端的深度学习模型（MVACNN），该模型使用K-means++将相似度高的通道划分为同一个视图。同时，MVACNN考虑了通道间的重要性，将通道注意力集成到每个视图中，并通过通道注意力自适应地分配不同通道的权重来学习各通道的重要性。通过引入跳跃连接，ResNet可以有效缓解深度网络中的梯度消失现象

CRediT作者贡献声明

周毅：撰写 – 审稿与编辑，撰写 – 原稿，软件实现，方法论，概念构建。江瑞文：软件实现，方法论。张静翔：撰写 – 审稿与编辑，概念构建。

资助

本工作得到了关键技术研究与发展计划（CN）（编号：2024YFF0618301）的支持。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

周毅出生于2000年11月20日，中国江苏省。他目前在中国江苏省江南大学理学院攻读硕士学位。他的研究兴趣包括深度学习、模式识别和医学信号处理。