《Scientific Reports》：Toward robust automated cardiovascular arrhythmia detection using self-supervised learning and 1-dimensional vision transformers
编辑推荐：
本研究聚焦于心血管疾病的早期诊断难题。为解决心律失常检测中标注数据稀缺、类别不平衡及噪声敏感等问题，研究人员开展了利用大规模无标签心电图（ECG）进行自监督学习的研究。他们提出了Masked Patch Modelling（MPM）自监督预训练方法，并构建了名为PatchECG的一维Transformer模型。该模型在多个标准数据集上达到了最优性能，包括PTB-XL多标签分类，并在迄今最大、最高质量的多标签数据集上设立了新基准。结果表明，PatchECG不仅计算效率是现有方法的5倍，模型容量还提升了14倍，且在处理类别不平衡、标签噪声和过参数化方面性能提升2%。这项工作验证了自监督学习在推进自动化心律失常检测方面的巨大潜力。
心血管疾病是全球范围内的头号健康杀手，其中，心律失常是常见且危险的表现形式。幸运的是，随着心电图（Electrocardiogram, ECG）设备的日益普及，对心律进行被动、持续的监测已成为可能，这为早期发现心脏异常打开了希望之门。然而，通往精准、自动化的心律失常检测之路并非坦途。现有的方法往往严重依赖海量、高质量的标注数据来训练模型，但获取这样的医疗数据成本高昂、过程繁琐，且涉及隐私伦理问题。更棘手的是，真实世界的心电图数据常常面临“类别不平衡”的困扰——即正常心搏的数据远多于异常心搏，这容易导致模型“偏科”，对多数类过度拟合而对少数类（即我们需要检测的异常）识别能力低下。此外，心电图信号中的噪声（如肌电干扰、基线漂移）也像迷雾一样，干扰着模型的判断。这些难题如同拦路虎，阻碍着可靠、稳健的自动化检测系统的落地。
为了攻克这些挑战，一项发表在《Scientific Reports》上的研究另辟蹊径，将目光投向了“自监督学习”（Self-Supervised Learning, SSL）这片沃土。研究人员思考，既然标注数据难得，何不充分利用海量易得的、未经标注的原始心电图数据，让模型自己从中学习有用的表征呢？基于这一思路，他们开展了一项开创性的研究，旨在开发一个既强大又高效的模型，以提升心律失常检测的准确性和稳健性。
研究人员采用的核心技术方法主要包括：首先，提出了一种名为掩码片段建模（Masked Patch Modelling, MPM）的自监督预训练策略，利用820万条无标签的心电图数据对模型进行训练，让模型学习预测被随机掩盖的心电图片段，从而掌握心电图的内在结构和规律。其次，构建了一个专为一维时序信号（心电图）设计的新型神经网络架构——PatchECG，这是一个基于Transformer的一维视觉模型。该模型可以接收原始心电图信号，并将其分割成多个片段（Patch）进行处理，充分捕捉信号的长程依赖关系。预训练完成后，PatchECG可以通过“微调”（Fine-tuning）快速适配到不同的具体心电图分析任务中，如心律失常分类。
模型架构与预训练
研究人员详细介绍了PatchECG模型的设计。它将一维心电图信号分割成重叠的片段，并通过线性投影转换为嵌入向量，再输入到标准的Transformer编码器中。通过MPM任务在820万无标签心电图上进行预训练，模型学会了丰富的心电生理表征。
在标准数据集上的性能评估
研究团队在多个公开的心电图基准数据集上评估了PatchECG。在PTB-XL数据集上进行多标签分类任务时，PatchECG取得了最先进（State-of-the-Art）的结果。更重要的是，在一个被描述为迄今最大、最高质量的多标签心电图数据集上，PatchECG设立了新的性能基准，证明了其处理复杂、细粒度分类任务的能力。
计算效率与模型容量分析
与现有的先进方法进行对比发现，PatchECG在取得卓越性能的同时，其计算效率提升了5倍。这意味着完成同样的推理任务，PatchECG所需的计算资源更少、速度更快。与此同时，PatchECG的模型容量（即可训练参数规模）相比对比方法增大了14倍，表明其具有更强的表达能力和学习潜力。
与先进二维模型的对比
为了凸显其架构优势，研究人员将一维的PatchECG与一个先进的二维视觉Transformer模型HeartBEiT（该模型需先将一维心电图转换为二维频谱图）进行了直接比较。结果明确显示，专门为 一维信号设计的PatchECG性能显著优于基于二维转换的方法，这表明直接处理原始一维信号能保留更多有效信息，路径更为高效。
消融实验与稳健性验证
通过系统的消融研究，研究人员深入分析了各技术组件的作用。结果揭示，采用自监督学习预训练的PatchECG，在处理实际应用中常见的挑战——如类别不平衡、带噪声的标签以及模型过参数化（Over-parameterization）时，带来了约2%的性能提升。这2%的提升在医疗诊断场景中可能至关重要，它直接体现了模型稳健性（Robustness）的增强。
综合以上研究结果，可以得出结论：本研究成功开发并验证了基于自监督学习和一维Transformer的PatchECG模型。该模型通过利用大规模无标签心电图进行预训练，显著提升了下游心律失常检测任务的性能。它不仅在最权威的公开数据集上达到了顶尖水平，还在更大规模的数据集上创造了新纪录。PatchECG在架构上展现出了双重优势：一方面，其针对一维信号的设计使其性能优于需要二维转换的模型；另一方面，它在计算效率上大幅领先，而模型容量却成倍增长，实现了“既好又快”。最为关键的是，消融实验证实了自监督学习策略有效增强了模型面对类别不平衡、标签噪声等现实困境时的稳健性，性能提升了2%。这些发现共同证明了，自监督学习是突破高质量标注数据瓶颈、推动自动化心血管疾病检测走向更可靠、更实用阶段的关键技术路径。这项工作为未来开发更低成本、更高性能的心脏健康监测工具奠定了坚实的基础。
