利用迁移学习整合心电图（ECG）、心音信号和基线数据的多模态深度特征，用于冠状动脉疾病的检测

《Biomedical Signal Processing and Control》：Integrating multi-modal deep features of electrocardiogram, heart sound signals and baseline data for coronary artery disease detection using transfer learning

冠心病多模态数据融合诊断模型研究提出层次化协同网络（HMSN）整合心音信号、ECG及基线数据，结合迁移学习解决小样本问题，诊断准确率达90.00%，较单模态提升3.3%-8.5%。

　　

戴云飞|刘鹏飞|侯文清|哈利穆拉蒂·迈迈提|凯赛尔江·卡迪尔|穆正阳|陈佩佩|臧璐|马翔|戴建国

新疆政法大学信息网络安全学院，中国新疆吐鲁木舒克843802

摘要

冠状动脉疾病（CAD）仍然是全球主要的死亡原因之一。其发病机制涉及动脉壁内的斑块积聚，导致心肌缺血，如果不加以治疗，可能会引发猝死。早期诊断CAD对于指导及时治疗干预和显著提高患者生存率至关重要。心音信号反映了瓣膜运动和血流动力学变化，心电图（ECG）记录了心脏的电活动，而基线数据提供了年龄、性别和病史等人口统计和临床信息。然而，单一模式的诊断方法往往无法提供全面的临床图像，从而限制了诊断的准确性。为了解决这一限制，本研究探讨了一种深度融合方法，整合了心音信号、12导联动态心电图和基线数据，并提出了一个称为分层多模态协同网络（HMSN）的多模态CAD诊断模型。此外，还采用了迁移学习来提高模型在小样本数据集上的性能，从而实现准确且无创的CAD诊断。实验结果表明，HMSN通过心电图和心音特征的互补整合以及基于基线数据的临床风险校正，有效缓解了单一模式数据的局限性，如信号质量波动和信息有限等问题。该模型的诊断准确率达到90.00%，比单一模式模型提高了3.3%–8.5%。

引言

冠状动脉疾病（CAD）作为心血管疾病（CVD）的一种亚型，已成为全球主要的健康问题。根据世界卫生组织的最新报告，CVD的患病率和死亡率都在上升，其中CAD占了相当大的比例[1]。CAD由动脉粥样硬化引起，通过渐进性的血管狭窄导致心肌缺血，如果不能及早发现，可能会导致严重并发症，如心肌梗死[2]。因此，早期诊断CAD对于防止其发展为更严重的CVD形式至关重要。目前，CAD的临床诊断方法通常分为侵入性和非侵入性方法。冠状动脉造影（CAG）被视为诊断的“金标准”[3]，但由于其侵入性、高成本和相关患者风险，在大规模筛查中受到限制。因此，非侵入性诊断技术越来越被视为更实用和理想的替代方案。

心电图（ECG）可以捕捉电生理变化，心音信号反映了心脏的机械活动[4]，基线数据提供了关于传统心血管风险因素的信息。然而，心音诊断严重依赖于主观专家的解释，不同临床医生的听诊结果可能存在显著差异。虽然ECG信号可以反映心脏电活动的变化，但它们对早期CAD的敏感性较低[5]，需要经验丰富的专业人士进行准确的形态学分析。尽管基线数据可能有助于初步的疾病筛查[6]，但其可靠性和准确性常常受到数据质量的限制。因此，基于单一模式的诊断方法往往无法满足高准确性和早期检测的临床需求。

近年来，计算机辅助诊断技术取得了快速进展，尤其是在医疗保健领域深度学习的广泛应用。这些技术在疾病检测方面展示了高效率和准确性。自动化数据处理可以显著提高分析效率，而深度学习算法利用多层非线性模型从复杂的医疗数据集中提取关键特征，为准确诊断疾病提供了有力支持。尽管不断有努力整合各种类型的数据以检测心脏异常[7][8]，但大多数现有研究仅限于双模态数据融合，未能充分利用不同模态之间的互补信息，从而限制了提高CAD诊断准确性的潜力。此外，医疗数据常常面临样本量小、数据稀缺和类别不平衡等挑战，这些因素严重阻碍了深度学习模型的有效训练。为了解决这些问题，本研究做出了以下贡献：

1. 我们提出了一种时空自适应神经网络（STANN）用于CAD诊断，该网络从空间和时间维度提取ECG信号的局部结构和动态变化特征。模型能够自适应地调整特征权重，以强调相关信息并抑制无关或噪声信号，从而优化特征表示并提高分类性能。
2. 我们还引入了一个多输入CAD诊断模型——分层多模态协同网络（HMSN），该模型充分利用并整合了多模态数据的互补信息以提高诊断准确性。实验结果表明，该框架在区分CAD和非CAD个体方面表现出色，显示出在实际临床应用中的巨大潜力。
3. 本研究基于从147名参与者同步收集的多模态数据，包括心音信号、12导联动态心电图和基线数据。我们系统评估了三模态HMSN模型的性能，并研究了迁移学习的影响。结果表明，未经迁移学习时，单模态、双模态和HMSN模型的最高准确率分别为80.00%、82.28%和83.33%。应用迁移学习后，三模态HMSN模型的准确率显著提高至90.00%。总之，所提出的方法通过多模态融合有效整合了心音信号、ECG数据和基线数据的互补信息，并通过迁移学习进一步提高了小数据集上的模型性能。这显著提升了CAD检测的准确性和泛化能力。作为一种有效且无创的诊断工具，该方法特别适用于资源不足的地区或不适合进行侵入性程序的患者，具有广泛的实际应用价值。

相关工作

冠状动脉疾病（CAD）检测中ECG信号的应用最初依赖于传统的手工特征提取方法。这些方法将信号分解为时域、频域或时频特征，然后使用传统的机器学习算法进行分类。例如，Deng等人[9]通过使用统计方法从ECG信号中提取ST段特征，实现了84.6%的准确率。Kaveh等人[10]提取了...

数据采集

本研究严格遵循《赫尔辛基宣言》及其修正案的伦理原则，并得到了新疆医科大学伦理委员会的批准。所有参与者均来自新疆医科大学第一附属医院的胸痛中心，在入组前均获得了书面知情同意。纳入标准是那些在4月1日至...

单模态数据分析

本研究还评估了基于心音、ECG信号和基线数据的单模态模型的性能。每个模型分别在其对应的数据模式下进行训练，结果显示所有单模态模型在CAD检测方面都取得了令人满意的性能。为了进一步提高整体检测性能，将这些单模态模型的主干权重转移到了多模态模型的相应分支中...

我们的方法学贡献

CAD的病理生理机制涉及心肌缺血和异常的心脏机械活动，这两者都通过多模态数据从不同维度得到反映。心音信号捕捉了瓣膜运动和血流动力学变化的动态：当冠状动脉狭窄引起心肌缺血时，心肌收缩力的下降可能导致延迟或异步收缩，而血液流经狭窄血管时产生的湍流...

总结

在这项研究中，我们提出了一种基于多模态数据融合的无创CAD检测方法，其中HMSN框架整合了心音信号、心电图（ECG）信号和基线数据以实现高精度诊断。从147名受试者那里收集了多模态数据。一维心音信号通过MSARN-MDF模型进行处理以提取心脏机械活动特征，12导联ECG信号使用STANN编码以捕捉时空动态...

声明

在准备这项工作时，作者使用了deepseek工具来提高手稿的可读性和语言表达。使用该工具/服务后，作者根据需要审查和编辑了内容，并对发表文章的内容负全责。

伦理声明

本研究遵守了《赫尔辛基宣言》的规定，并得到了新疆医科大学第一附属医院伦理委员会的批准（伦理批准编号：K202108-19）。参与者在参与研究前均给予了知情同意。

CRediT作者贡献声明

戴云飞：撰写——初稿。 刘鹏飞：撰写——审阅与编辑。 侯文清：撰写——审阅与编辑。 哈利穆拉蒂·迈迈提：验证、方法学。 凯赛尔江·卡迪尔：方法学、数据管理。 穆正阳：方法学。 陈佩佩：撰写——审阅与编辑。 臧璐：方法学、调查。 马翔：撰写——审阅与编辑、方法学、概念化。 戴建国：撰写——审阅与编辑、验证、方法学、调查。

资助

本研究得到了“新疆维吾尔自治区关于心血管疾病个性化精准诊断和治疗系统关键技术及优化策略的研究”（编号2022B03022-3）的关键研发任务的支持。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

作者感谢导管实验室的所有技术专业人员对冠状动脉造影收集工作的协助。