基于跳跃式知识时空图的多模态时频特征融合睡眠分期方法

《Biomedical Signal Processing and Control》：Multimodal time-frequency feature fusion sleep staging based on jumping knowledge spatiotemporal graph

　　潘洁|张璐|邹晓宇|赵鹏军
中国矿业大学信息与控制工程学院，中国江苏省徐州市大学路1号，221116

摘要
睡眠质量对我们的健康至关重要，它影响着工作效率和精神健康。自动睡眠分期不仅能够评估睡眠质量，还能辅助治疗睡眠障碍。然而，基于多模态生理信号准确且自动地对各种睡眠阶段进行分类存在挑战，特别是在有效整合多模态数据以及建立时空依赖性方面。在本文中，我们提出了一种基于跳跃知识时空图的多模态时频特征融合方法用于睡眠分期。首先，采用多域卷积模块从四种类型的生物电信号中同步提取时域和频域特征，并引入多模态通道注意力机制来动态分配通道权重，以实现跨模态特征优化。其次，构建了一个全连接的时空图神经网络架构，该架构利用图结构同时描述了多模态信号在三个层次上的依赖关系：时间维度、空间电极分布和跨模态交互。特别采用跳跃知识结构可以有效缓解传统GCN在深度网络中的梯度消失问题，并增强区分多个节点异构特征的能力。在ISRUC-S1和ISRUC-S3数据集上的实验结果表明，所提出的基于跳跃知识的时空图多模态时频特征融合方法（MJKGrapeNet）的准确率分别为81.26%和82.52%，宏观平均F1分数分别为78.50%和80.79%。该方法在各种有效性和稳定性评估指标上表现出色，优于当前的主流模型。

引言
随着现代生活节奏的加快和各种压力的增加，与睡眠相关的问题变得越来越普遍。统计数据显示，全球约有33%的人口患有失眠症状[1]。睡眠分期和评估对于辅助诊断睡眠障碍（如睡眠周期紊乱）至关重要。多导睡眠图（PSG）是监测脑活动的主要方法，包括各种生理指标，如脑电图（EEG）、肌电图（EMG）、眼电图（EOG）、气流和血氧水平。根据美国睡眠医学学会（AASM）[2]制定的标准，专家将睡眠阶段分为：清醒（W）、快速眼动（REM）和非快速眼动（non-REM），其中non-REM进一步分为N1、N2和N3阶段。在临床实践中，睡眠分期基于AASM标准，并依赖于专家的手动注释，这一过程耗时且容易标记错误。开发有效的自动睡眠分期方法是诊断睡眠相关问题的关键步骤。

在自动睡眠分期的研究过程中，广泛使用了两种方法。一些研究人员在手动特征提取后使用传统的机器学习方法，如支持向量机[3]、随机森林[4]和隐马尔可夫模型[5]进行睡眠分期。然而，机器学习模型通常需要数据简化步骤，例如在处理PSG记录之前手动提取代表性的EEG特征，以避免过拟合。这个过程涉及将高维向量转换为低维向量，可能会导致信息丢失。此外，机器学习模型的可迁移性较差，容易受到主观因素的影响。因此，一些研究人员使用深度学习进行自动睡眠分类。卷积神经网络（CNN）[6]是一个重要的特征提取工具，调整卷积核的大小可以学习不同频率范围的特征信息，这是EEG分类的有效方法[7]、[8]。循环神经网络（RNN）和长短期记忆网络（LSTM）可以自动从不同的生理信号中学习时间信息，并用于捕捉生理信号的时间相关性[10]、[11]。然而，CNN和RNN需要将数据处理成规则像素网格等结构化数据，对非欧几里得数据结构的适应能力有限。因此，图神经网络[12]在解决非欧几里得数据生成方面受到了相当多的关注。对于多通道生理信号，它们通常使用非侵入性电极进行采集和记录。例如，电极的不同采样区域代表不同的脑区。图神经网络将每个通道建模为一个节点，并根据节点距离、互相关或各种功能连接构建邻接矩阵[13]。通过图卷积操作可以学习节点的空间特征。

当前的睡眠分期方法通常使用单通道EEG[14]、[15]作为输入，研究信号的特定波形与睡眠阶段之间的潜在关系，同时忽视了不同脑区和模态之间的协同作用。大脑是人体中最活跃的器官，其EEG信号携带着丰富的生理和神经活动信息[16]。在睡眠期间，大脑中的不同节律传递不同的信息，例如α波和δ波分别对应清醒和N3状态。睡眠纺锤波和K复合波常用于N2阶段的特定波形[2]。对不同睡眠阶段的EEG分析表明，能量的空间分布也不同。例如，在清醒期间，α波和β波的能量主要集中在额叶和中央区域，尤其是在与注意力和认知任务相关的脑区。在N3阶段，低频δ波能量集中在枕叶和顶叶区域，反映了大脑在此阶段正在进行深度恢复活动。贾等人[17]、[18]结合了EEG和EOG来丰富模态信息。EOG在REM睡眠期间显示出明显的快速眼动波形，这为区分REM睡眠和非REM睡眠提供了重要线索。睡眠期间的肌肉松弛状态变化也可以作为分类标准。EMG在非清醒状态下显示低水平的肌肉活动，这与清醒状态明显不同。在非快速眼动期间，ECG通常显示心率减慢的趋势，交感神经系统活动逐渐减弱，副交感神经系统活动开始增加，直到达到N3阶段。上述多模态模型为我们提供了来自时频域的丰富信息。为了使四种模态互相补充，需要有效地融合多模态特征。考虑到每种模态和脑区特征的贡献不同，简单的串联融合策略无法满足上述要求。基于注意力机制的特征融合已在多模态表示学习中得到广泛应用[19]、[20]。现有的使用注意力机制融合策略的研究大多应用于单一模态，如EEG或EOG，侧重于调整模态内的特征。与模态内注意力不同，模态间注意力有助于揭示不同模态之间的互补信息，从而实现更全面和准确的特征融合。对于多模态任务，模态间注意力融合更有利于提高模型性能。

在睡眠的不同阶段，左右半球和大脑的不同区域表现出独特的空间活动模式。在深度睡眠期间，慢波活动主要产生于大脑皮层后部，而在REM睡眠期间，高频活动出现在大脑的额叶和颞叶等区域。随着睡眠时间的推进，各种生理信号的周期性变化反映了它们的时间特性。时空依赖性体现在不同时间点来自不同脑区的生理信号的相互作用上，并随时间表现出一定的模式和变化。如果我们能够从多个角度分析生理信号并探索时空依赖性，可以提高我们对睡眠健康的全面理解。将图神经网络与时序编码器[21]结合使用，可以同时学习信号的空间和时间特性。陈等人[22]构建了一个时间信息处理模块和一个动态图卷积模块，分别提取时间和空间依赖性。贾等人[23]将时空注意力集成到图卷积网络中，以提高时空信息的利用效率。然而，上述研究忽略了不同时间点不同通道之间的相关性。使用多模态图数据进行睡眠分期涉及数据类型和节点数量的增加，需要更复杂的深度学习模型。然而，随着网络深度的增加，复杂模型容易出现梯度消失[24]和多个节点之间的特征收敛问题。

深度学习自动睡眠分期仍面临挑战，如如何有效提取和融合多模态异构特征，如何同时构建多模态数据的模态间和模态内时空依赖性，以及如何解决深度网络架构中的梯度消失和特征收敛等问题。我们提出了一种基于跳跃知识时空图的多模态时频特征融合睡眠分期方法，设计了一个端到端的逻辑链来系统地解决这些挑战。主要贡献总结如下：
- 为了解決多模态生理信号的异质性问题，提出了一个时频域特征融合部分。多域CNN以时频域双分支作为其核心架构，每个分支专注于相应领域的多模态信号处理。多模态通道注意力作用于多模态通道维度，实现跨模态特征的重校准。
- 为了表示不同时间点和不同电极通道的模态间和模态内依赖性，采用了一个全连接的时空图来同时模拟多模态关系交互。在此基础上，将跳跃知识机制嵌入到定制的图结构中。通过融合不同深度卷积层的特征表示，不仅解决了复杂图网络中的梯度消失问题，还保留了多模态节点的异构特征区分能力。
- 在两个公开可用的数据集ISRUC-S1和ISRUC-S3上进行了实验，准确率分别为81.26%和82.52%，宏观平均F1分数分别为78.50%和80.79%。实验结果表明，所提出的方法在睡眠分期方面优于先进技术。

章节片段
多通道数据表示
生理信号通常通过外部或内置设备进行监测。除非另有说明，通道指的是采样电极。多通道生理信号包括由至少两种模态组成的多通道单模态和多模态数据。在数据解码之前，适当的 数据表示是一个必要的步骤。通常，数据表示类型分为三类：二维时间序列、二维图像数据和图形。

整体睡眠分期模型
本文提出的睡眠分期方法的总体框架如图1所示。输入数据包括两个EOG通道、六个EEG通道、一个EMG通道和一个ECG通道。上述生理信号通过并行分支特征提取模块进行处理，以提取时间和频域特征。该结构可以提取嵌入在不同类型生理信号中的动态时间特征以及它们的丰富节律。

数据集
我们的评估实验基于ISRUC-S1和ISRUC-S3数据集[34]，这些数据集是ISRUC睡眠数据库的子集。ISRUC-S1和ISRUC-S3分别包含100名受试者（55名男性和45名女性）和10名受试者（9名男性和1名女性）的夜间PSG记录。S1数据集中的受试者为患有各种睡眠障碍的患者，而S3数据集中的受试者为健康个体。所有多导睡眠图（PSG）信号包括EOG、EEG、EMG、ECG、打鼾和身体位置数据。

结论
我们提出了一种新的MJKGraphNet模型用于睡眠阶段自动分类，以解决多模态生物信号的特征融合和时空依赖性建模问题。多域卷积模块同时从多模态信号中提取时间动态特征和频域能量分布特征。结合特别设计的多模态通道注意力模块，可以有效抑制模态内冗余信息。

CRediT作者贡献声明
潘洁：撰写——原始草稿、资金获取、数据管理、概念化。
张璐：撰写——原始草稿、软件开发、方法论。
邹晓宇：撰写——审阅与编辑、验证、调查、资金获取。赵鹏军：负责项目监管、行政管理及资金筹措。
利益冲突声明
作者声明：他们不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。
致谢
本研究部分得到了国家自然科学基金（项目编号：62176258、62273349）的支持；部分得到了中央高校基本科研业务费（项目编号：2021YCPY0111）的资助；部分得到了杨浦区卫生委员会（项目编号：YPYG202303）的资助；部分得到了江苏省高等学校优势学科建设工程（项目编号：PAPD）的支持；此外还得到了杨浦区十东医院重点学科建设基金（项目编号：YJZD04）的资助。