CRIA：一种跨视图交互与实例自适应的预训练框架，用于生成具有泛化能力的脑电图（EEG）表示

《Pattern Recognition》：CRIA: A Cross-View Interaction and Instance-Adapted Pre-training Framework for Generalizable EEG Representations

EEG多视角预训练框架CRIA提出跨注意力机制与视图掩码策略，有效整合时序、频谱、空间特征，在睡眠分类和癫痫检测中准确率达78.12%和83.58%，验证跨数据集泛化与噪声鲁棒性。

　　

Puchun Liu|C. L. Philip Chen|Yubin He|Tong Zhang

华南理工大学计算机科学与工程学院，人工智能大模型与智能认知广东省重点实验室，中国广东省广州市外环东路382号，510006

摘要

提取深度脑电图（EEG）特征并整合来自多个视角的信息仍然具有挑战性，这阻碍了通用预训练框架的发展。然而，大多数现有的预训练方法仅依赖于单一视角的上下文语义，无法捕捉不同视角之间的复杂和协同作用，从而限制了学习表示的表达能力和泛化能力。为了解决这些问题，本文提出了CRIA，这是一个自适应框架，它利用可变长度和可变通道编码来实现跨不同数据集的EEG数据统一表示。在这项工作中，我们将跨视图信息定义为从EEG信号的时间、频谱和空间视角的交互中产生的综合表示。该模型采用跨注意力机制有效融合时间、频谱和空间特征，并结合了一种新颖的视图掩码预训练方案。在各种EEG数据集和不同任务上的实验结果表明，在相同的预训练条件下，CRIA的性能优于现有方法，睡眠阶段分类的准确率为78.12%，癫痫检测的准确率为83.58%，显示出其强大的泛化能力。

引言

脑电图（EEG）是一种非侵入性和时间精确的技术，用于捕捉大脑动态，广泛应用于癫痫监测[1]、[2]、睡眠分期[3]、情感计算[4]、[5]和脑机接口等领域。尽管深度学习和自我监督预训练已经推动了EEG表示的学习，但该领域仍面临三个主要挑战：（1）大多数框架忽略了时间、频谱和空间视角之间的协同作用；（2）EEG信号是非平稳且噪声较大的，基于重建的预训练不稳定；（3）数据异质性限制了跨数据集的泛化。包括BIOT[6]、LaBraM[7]和TFM-Tokenizer[8]在内的几个代表性框架仍然存在与这些挑战相关的问题。这些限制凸显了需要一个同时具备抗噪声性、视角协同性和数据集适应性的统一框架。

为了解决这些挑战，我们提出了CRIA，这是一个跨视图实例自适应的预训练框架，它联合建模时间、频谱和空间表示。CRIA采用非对称的跨视图交互设计以及简单的视图级掩码任务来促进互补特征学习并提高鲁棒性。此外，实例自适应编码器使CRIA能够处理长度和通道数不固定的EEG输入，支持跨异构数据集的训练。总体而言，CRIA为通用EEG表示学习提供了一个统一且灵活的数据基础模型。本文的主要贡献包括：

1.

本文介绍了CRIA框架，该框架引入了非对称的跨注意力设计。这种结构化的交互使得多视图特征能够更深入地整合，克服了现有单视图或串行多视图框架无法捕捉时间、频谱和空间视角之间协同依赖性的局限性。

2.

CRIA引入了视图级掩码策略，有效解决了基于重建或扰动的传统预训练在噪声较大且非平稳的EEG数据下的不稳定性问题。

3.

得益于预训练框架对下游任务微调的设计以及创新的视图掩码预训练策略，CRIA能够实现实例自适应编码，灵活处理不同长度和通道数的EEG数据。这种设计使CRIA能够在不同的数据集和任务中提供灵活的处理路径。

实验结果表明，CRIA在异常EEG检测和多类EEG事件分类等任务中的表现优于现有方法，突显了其在任务间的泛化能力。此外，在TUH语料库上进行预训练并转移到CHB-MIT、ISRUC和FACED数据集上的测试进一步验证了其跨数据集的泛化能力。最后，CRIA在缺乏预训练条件以及各种类型的噪声环境下也表现出强大的鲁棒性。

相关工作

相关工作

EEG表示学习在几个主要方向上取得了进展，包括基于信号处理的特征提取、深度神经架构、多视图融合和自我监督预训练。这些努力逐步改进了EEG建模，但在鲁棒性、跨视图整合和数据集适应性方面仍存在关键限制。本节回顾了代表性方法，并指出了激发我们工作的方法论差距。

方法论

本节介绍了CRIA的总体设计，包括数据预处理、多视图特征构建、基于跨注意力的交互以及预训练过程。我们首先描述了如何将原始EEG信号标准化并转换为时间、空间和频谱视图，然后介绍了用于增强跨视图特征学习的非对称跨注意力和表示净化方法。最后，我们概述了视图级掩码预训练策略和下游处理

实验

本节介绍了CRIA的实验验证。我们首先描述了数据集、基线模型和实验设置，包括数据划分、随机种子控制、统计测试和超参数配置。然后介绍了评估指标，并报告了在TUAB和TUEV上的标准基准测试结果，随后进行了跨数据集迁移实验以评估不同EEG任务上的泛化能力。此外，还包括从零开始训练的研究

结论

在本文中，我们提出了CRIA，这是一种用于EEG数据分析的新颖预训练框架，它引入了非对称的三视图交互机制，以实现不同视图之间的结构化和语义感知的融合。与现有的EEG预训练框架相比，CRIA在方法论上取得了三项进展：它通过新颖的视图级掩码策略重新定义了预训练任务，通过非对称的主导-辅助设计重构了多视图融合，并重新构建了跨数据集的

CRediT作者贡献声明

Puchun Liu：撰写——审阅与编辑、撰写——原始草稿、可视化、验证、监督、软件、资源、项目管理、方法论、研究、资金获取、形式分析、数据整理、概念化。C. L. Philip Chen：撰写——审阅与编辑、撰写——原始草稿、可视化、验证、监督、软件、资源、项目管理、方法论、研究、资金获取、形式分析、数据整理，

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。

致谢

本工作部分得到了中国国家自然科学基金（项目编号62222603）的资助，部分得到了中华人民共和国科学技术部STI2030重大项目（项目编号2021ZD0200700）的资助，部分得到了广东省重点领域研究与发展计划（项目编号2023B0303030001）的资助，部分得到了广东省引进创新和创业团队计划（2019ZT08X214）的资助，以及科学