基于脑电（EEG）信号的实时情感识别，采用混合批处理-流式架构

《Neural Networks》：Real-time emotion recognition based on EEG signals using a hybrid batch-stream architecture

　　

Mohammad Hosein Houshmand | Boshra Pishgoo

摘要

近年来，使用脑机接口（BCI）系统进行情感识别受到了广泛关注。现有的模型通常以离线（批量）或在线（流式）模式实现。虽然批量处理方法通常能够获得更高的分类准确性，但其处理速度较慢。相比之下，流式处理方法能够实现实时性能，但往往会牺牲准确性。为了解决这一权衡问题，我们提出了一个结合了两种方法优点的混合批量-流式框架，同时减轻了它们的局限性。该架构包含一个概率智能切换机制，该机制根据流式模块的历史性能来估计其可靠性。这一可靠性指标动态决定了从批量单元还是流式单元选择输出的概率。在三个基准数据集（DEAP、AMIGOS 和 SEED）上对所提出的框架进行了评估，分别获得了 85%、94% 和 74% 的分类准确性。此外，还进行了实验来研究切换机制的性能以及系统组件对概念漂移的抵抗能力。实验结果表明，我们的方法有效地平衡了分类准确性和计算效率。预计未来这类混合方法将在基于反馈的系统中得到广泛应用。

引言

作为一门跨学科科学，神经科学专注于研究大脑和神经系统的结构和功能，旨在理解人类行为的复杂性。人工智能在这一领域的进步使研究人员能够发现神经信号中的隐藏模式，尤其是在情感识别方面。

情感是人类生活不可或缺的一部分，情感识别在商业和电子商务中得到了广泛应用。例如，已有大量研究专注于探讨产品的感受和满意度水平（Liu 等人，2024 年）。

脑电图（EEG）信号分类研究中学习模型的发展通常分为两种主要方法：流式学习和批量学习。每种方法都有其优势和挑战。在批量学习中，分类模型使用全部可用训练数据集进行训练。当数据完全可获取且不需要持续模型更新时，通常会使用这种方法。因此，通常需要一个缓冲区来存储最新数据。通过利用这种方法并利用所有缓冲的数据，模型可以学习更复杂的模式并提高准确性。此外，由于模型是在整个缓冲数据上训练的，它对噪声和异常值的敏感度较低（Gomes 等人，2019 年）。

然而，这种方法也有一定的缺点。例如，用全部数据集训练模型可能耗时且需要大量的计算资源。此外，当有新的数据可用时，必须重新训练模型，这既昂贵又耗时。另外，由于这些模型需要大量内存，存储和维护它们通常成本较高（Gomes 等人，2019 年）。

在流式学习中，模型随着每个新样本的到来而逐步更新。这种方法非常适合数据持续生成和实时处理的系统。它使模型能够保持高度灵活性，迅速适应新数据并随之更新。此外，在数据分布随时间变化的场景中，这种方法表现更好，可以有效解决概念漂移问题（Gomes 等人，2019 年）。

不过，流式方法的缺点也不能忽视。例如，在流式学习中调整和获得最佳参数具有挑战性。此外，由于其学习能力有限，其性能通常不如批量方法（Hoi 等人，2021 年；Lin 和 Zhou，2018 年；Dekel 和 Singer，2009 年）。为了进行更准确的比较，可以参考表 1。

由于 EEG 信号在医学等常见领域有特定应用，因此长期以来没有特别需要流式处理。多年来，大多数模型都是离线训练的，并取得了显著的准确性（Moontaha 等人，2023 年）。然而，随着便携式 EEG 设备的出现，实时分类的应用（特别是在机器人技术和情感识别中）变得重要。因此，系统越来越依赖于 EEG 信号的实时学习和处理。到目前为止，研究实时 EEG 学习和分类系统的相对较少。近年来提出的基于流式的方法虽然能够实现实时学习和分类，但仍存在准确性问题。这促使人们引入了混合在线-批量处理方法（Moontaha 等人，2023 年；Nandi 等人，2021 年；Blanco-Rios 等人，2024 年；Duan 等人，2024 年；Chen 等人，2025 年；Liu 等人，2025 年）。

在这方面，（Duan 等人，2024 年）介绍了一种基于内存的在线处理方法，用于机器人技术中的 EEG 解码。为了解决实时学习中的灾难性遗忘问题，该研究采用了一种特殊的内存缓冲区，旨在保留在线学习过程中的历史信息，从而防止在线解码器的遗忘（Duan 等人，2024 年）。尽管采用了基于内存的机制，解码器的准确性仍有提高的空间。另一个挑战是处理概念漂移问题，这可能导致新模式的出现并增加分类复杂性。概念漂移问题会降低批量模型的准确性；因此，必须使用基于流的解决方案来更新模型并减轻分类准确性的下降。

在本文中，我们提出了一种基于混合批量-流式架构的 EEG 信号分类新方法。该混合架构旨在同时提高分类准确性和处理速度。该架构包含一个概率智能开关，能够动态地在适当的时间从流式单元或批量单元选择输出。

所提出的方法在三个基准数据集上进行了评估：DEAP（Koelstra 等人，2012 年）、SEED（Liu 等人，2021 年）和 AMIGOS（Miranda-Correa 等人，2018 年）。仿真结果表明，所提出的方法在保持可接受处理速度的同时，实现了高分类准确性。此外，系统对抗概念漂移的总体性能也是可接受的。

本文的主要贡献如下：

• 1.
  提出了一种基于 EEG 的情感识别的混合处理架构。
• 2.
  通过混合架构解决速度和准确性之间的权衡问题。
• 3.
  利用概率智能开关充分利用流式和批量处理能力。

本文的其余部分安排如下：第 2 节回顾了与本研究目标相关的先前研究，重点是机器学习和深度学习方法，以及情感识别的批量和流式方法。第 3 节介绍了用于平衡准确性和处理速度的混合架构。第 4 节在基准数据集上评估了所提出的方法，并分析了其在准确性、执行时间和内存复杂性方面的表现。最后，第 5 节总结了本文的发现。

章节片段

相关工作

随着人工智能和机器学习先进方法的改进，已经开发出许多用于情感识别的有效方法。深度学习算法在从文本、听觉、视觉和自然生物信号（如 EEG）中识别情感方面表现出高效率（Pantic 和 Rothkrantz，2000 年 12 月；Goodfellow 等人，2013 年）。一般来说，EEG 分类模型的学习方法可以分为两大类：批量学习和流式学习。

提出的方法

在本研究中，采用了基于反馈的流式架构进行情感识别。如图 1 所示，所提出的架构具有混合结构，并且可以扩展到其他在线分类应用。在这个框架中，数据根据 EEG 设备中的输入通道数量被输入系统。这些数据以（3200 × 通道数量）的大小窗口格式连续输入，代表

评估和实验分析

在本节中，我们评估了所提出架构的性能。该架构在三个知名数据集上进行了测试，并从时间复杂性、准确性和内存复杂性方面进行了分析。最后，总结了该架构的优势和劣势。

结论

本文提出了一种基于 EEG 的学习系统。该方法采用了一种混合架构，同时整合了批量和流式模型进行情感分类。引入并使用了一个概率智能开关来解决准确性和速度之间的权衡问题。通过结合这两种方法，所提出的系统实现了稳定的处理速度和高分类准确性。此外，还比较了带有概率开关的所提出系统

CRediT 作者贡献声明

Mohammad Hosein Houshmand：撰写——原始草稿、可视化、软件开发、资源收集、数据分析、数据整理。Boshra Pishgoo：撰写——审稿与编辑、验证、项目管理、方法论设计、概念构建。

利益冲突声明

作者声明他们没有任何已知的会影响到本文所述工作的财务利益或个人关系。