基于注意力增强多分支残差网络的自我知识蒸馏方法,用于12导联心电图心律失常分类

《Digital Signal Processing》:Self-Knowledge Distillation from Attention-Enhanced Multi-branch Residual Network for 12-Lead Electrocardiogram Arrhythmia Classification

【字体: 时间:2026年03月07日 来源:Digital Signal Processing 3

编辑推荐:

  针对多导联心电图分类中特征提取不足的问题,本文提出SKD-AMBRNet模型,通过多分支残差网络提取多层次特征,结合自知识蒸馏与注意力增强机制优化监督信号,显著提升宏F1分数。

  
陈龙乾|孙战全|王超丽|田恩刚|胡新平
上海科技大学光电与计算机工程学院,中国上海200082

摘要

心律失常是一种由心脏传导系统异常引起的心跳不规则的状况,对患者构成重大健康风险。然而,分析心电图(ECG)信号并提取关键信息对于心脏病专家来说既耗时又费力。尽管各种深度学习方法提高了分析和特征提取的效率,但ECG记录的准确分类仍然具有挑战性,因为特定心脏状况的关键区分信息提取不足。为了解决这个问题,我们提出了SKD-AMBRNet,这是一种基于注意力增强多分支残差网络的自我知识蒸馏方法。该网络包括一个学生网络和一个辅助网络。学生网络(称为AMBRNet)处理ECG信号,从残差分支的不同深度提取多级特征。在此基础上,我们构建了一个辅助的自教师网络,利用学生网络各层次的特征进一步丰富提取的特征。特别设计的注意力增强模块能够捕捉ECG信号在空间和通道维度上的信息。在三个公开的多导联ECG数据集(CPSC2018、PTB-XL和G12EC)上进行评估时,SKD-AMBRNet在宏观F1分数上始终优于现有方法,显示出在多导联ECG心律失常分类任务中的优越性能和鲁棒性。

引言

心血管疾病仍然是全球主要的死亡原因之一。ECG是检测心脏异常的标准工具,自动化识别ECG信号中的异常可以促进心血管疾病的早期发现、诊断和预防[1]。在临床实践中,ECG解读高度依赖经验丰富的心脏病专家;然而,这种方法耗时且容易出错。传统的机器学习方法,如支持向量机(SVM)[2]和随机森林[3],已被用于心律失常检测。然而,这些技术对数据质量非常敏感,尤其是在噪声较大的ECG信号中,需要仔细的预处理和手动特征工程才能获得可靠的性能。
为了克服这些限制并减少计算需求,深度学习模型作为提高ECG可解释性和诊断准确性的有效辅助工具应运而生。它们的分层架构能够直接从原始信号中自动提取高级特征,无需人工设计的特征[4]。例如,Cai等人[5]提出了一个双分支框架,结合多尺度卷积进行时间波形提取,并使用基于余弦相似性的图卷积来模拟空间导联依赖性。Zhu等人[6]引入了一个多尺度、多视图融合网络,通过整合辅助信息来提高准确性和可解释性。为了处理标签依赖性,Ge等人[7]开发了MLC-CNN,该网络通过多标签相关性分层融合特征,并使用多样化的感受野进行更丰富的表示。Liu等人[8]提出了WResHDual-ViT,一种结合分层双注意力视觉变换器和深度残差网络的多模态架构,以捕获细粒度的时空和频域特征。最近,Tchinda等人[9]提出了一种混合方法,使用模式适应的小波变换和双向LSTM网络进行精细的心律失常分类。
然而,提高ECG分类准确性仍然是一个挑战。近年来,Sepahvand等人[10]采用知识蒸馏(KD)来缩小使用多导联ECG信号的心律失常分类模型与依赖单导联ECG信号的模型之间的性能差距,从而缓解了性能下降。Yang等人[11]还研究了从多视图到单视图网络的暗知识蒸馏,以减少网络规模。这些研究表明,KD能够有效地将知识从复杂模型转移到较小模型中,同时保持高分类准确性,同时降低模型复杂性。然而,准备教师网络通常需要大量的计算资源。
最近的研究提出了自我知识蒸馏(SKD)作为一种替代方法,其中指导信息来自与学生网络具有相同架构的网络,无需单独预训练的教师[12]。在SKD中,学生网络通过独立训练逐步完善其内在知识[13,14]。与传统KD不同,SKD通过利用模型的固有能力并提供更丰富的监督信号来减少计算开销。这使其成为ECG分类的一种稳健优化策略。
尽管在ECG分析的深度学习方面取得了显著进展,现有方法在现实世界的临床应用中仍面临关键限制。许多基于CNN和Transformer的模型能够有效捕捉时间动态,但往往忽略导联间的依赖性,从而未能充分利用互补的多导联信息。传统的ECG分类知识蒸馏技术通常依赖于资源密集型的教师网络,导致高计算成本和长训练时间,且性能提升不稳定。自我知识蒸馏(SKD)避免了外部教师的需求,但大多数现有的SKD框架仅传输深层特征或使用基本的自我监督预训练,缺乏注意力机制或多分支设计。例如,TAKD[14]在教师-学生框架中应用时间注意力进行高效的多导联ECG诊断,但仍需要单独的教师。同样,基于SSL的自蒸馏方法,如Phan等人[15],在多模态预训练中整合自我知识蒸馏用于多导联心律失常分类,但缺乏明确的注意力引导监督和结构化的多分支耦合。这些方法限制了自教师在导联间相关性、多尺度模式和通道特定显著特征方面的精确指导能力。
我们的多分支特征提取结合注意力引导的自我知识蒸馏与现代雷达调制识别流程在概念上有相似之处,后者通常使用多尺度分支和结构化特征融合在噪声环境中进行稳健的信号分类。例如,Chen等人[16]提出了一个深度度量学习框架,结合多尺度孔径卷积和注意力机制来增强雷达信号表示和区分能力。虽然这两种方法都利用多分支架构和注意力进行特征增强,但雷达专注的方法主要针对低信噪比条件下的频域可分性。相比之下,我们的SKD-AMBRNet针对多导联ECG信号的独特挑战,包括导联间依赖性、时空相关性和临床可解释性。通过整合无教师的辅助自教师和专用的注意力增强模块,我们的设计实现了跨多分支表示的明确、注意力引导的知识转移,更有效地利用了ECG数据中的通道、空间和全局信息。
为了解决这些差距,我们提出了一种新颖的架构,紧密整合了自我知识蒸馏、注意力增强和多分支特征提取——完全不需要外部教师。与之前的注意力增强蒸馏(例如TAKD)或现有的SKD方法(例如基于SSL的自SKD)不同,我们的SKD设计特点是一个增加了专用注意力增强(AE)模块的辅助自教师网络。AE模块生成专注于通道、空间和全局相关性的监督信号,使得在多分支学生骨干中实现更细粒度的、注意力引导的知识转移。这种整合更有效地利用了多导联ECG信号中的时空、通道级和导联间信息。
因此,我们提出了SKD-AMBRNet,一种基于自我知识蒸馏增强的多分支残差网络,用于稳健的多导联ECG心律失常分类。该模型通过其多分支骨干捕获通道、空间和全局表示,并通过辅助SKD模块完善传输的知识。通过结合多尺度特征提取和注意力增强学习,SKD-AMBRNet提供了比传统深度学习方法更具区分性和鲁棒性的表示。本工作的主要贡献如下:
(1). 我们提出了SKD-AMBRNet,一种基于注意力增强多分支残差网络的新型自我知识蒸馏框架,用于多导联ECG分类。辅助网络和注意力机制增强了捕捉独特导联间和心跳内特征的能力。
  • (2). 我们引入了一种新的注意力增强模块,该模块利用通道和空间相关性,使自教师网络能够关注临床信息丰富的区域,并产生更具区分性的特征表示,以指导学生网络。
  • (3). 在三个公开可用的ECG数据集上的广泛实验表明,所提出的方法始终优于现有方法,验证了其有效性和鲁棒性。
  • 本文的其余部分组织如下:第2节回顾相关工作;第3节介绍所提出的SKD-AMBRNet和AE模块;第4节介绍数据集和评估指标;第5节讨论实验结果;第6节总结本文。

    相关研究

    相关研究

    以往关于ECG心律失常分类的研究主要依赖于手工特征提取,其中利用领域专业知识手动识别关键特征,如心率变异性、P波、QRS复合波和T波形态。例如,Nasiri等人[17]将支持向量机(SVM)与遗传算法结合,以优化特征子集并提高心律失常模式的分类器泛化能力。Saini等人[18]采用了k最近邻(KNN)

    方法论

    在本部分,我们介绍了SKD-AMBRNet模型。鉴于ECG信号的时间和空间复杂性以及患者间的个体差异,根据ECG信号的波形特征准确分类不同类型的心律失常至关重要。为了解决这一挑战,本研究整合了SKD和注意力机制来提高模型的整体分类准确性。

    实验

    本节提供了本研究中使用的数据集和实验设置的全面描述。在临床实践中,单个ECG通常对应于多个疾病标签。为了验证我们的方法在单张ECG记录中分类各种心律失常的能力,选择了三个广泛使用的ECG数据集。此外,还全面考虑了训练环境和先进方法以进行比较。

    CPSC2018的结果

    表1展示了我们的方法在CPSC2018数据集上的评估结果。该模型将数据集分为九个类别,并为每个类别计算了几项性能指标。其中,F1分数被用作平衡召回率和精确度的综合指标。网络的总体性能由所有九个类别的平均F1分数表示。此外,为了进一步评估模型的有效性,还报告了汉明损失指标。

    结论

    ECG捕捉并分析了整个心动周期产生的电活动。虽然心脏病专家接受了这种数据的解读培训,但他们的培训资源密集,导致专家短缺。此外,准确解读复杂的ECG数据需要丰富的专业知识。因此,利用计算机辅助工具来支持心脏病专家的诊断至关重要。
    在本文中,我们采用了SKD方法,通过SKD-AMBRNet实现

    CRediT作者贡献声明

    陈龙乾:概念化、方法论、撰写——原始草稿。孙战全:资金获取、撰写——审稿与编辑。王超丽:监督。田恩刚:监督。胡新平:可视化、验证。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号