《Patterns》：Hierarchical fusion of electrocardiogram and phonocardiogram data improves heart failure detection
编辑推荐：
本研究针对HFrEF早期筛查成本高、可及性差的临床难题，开发了名为LGC2-Net的局部到全局分层注意力融合网络。该网络创新性地融合了多通道ECG和PCG信号，在自建数据集上平均准确率达91.36%，较现有方法提升7.42%，为基层医疗提供了一种准确、非侵入、可扩展的HFrEF筛查工具。
心力衰竭（Heart Failure, HF）是全球范围内导致死亡和残疾的主要原因之一，影响着至少6400万人的生活。其中，射血分数降低的心力衰竭（Heart Failure with Reduced Ejection Fraction, HFrEF）作为一种常见的临床综合征，具有高发病率和高死亡率的特点。然而，HFrEF在早期往往难以被发现，直到症状变得严重时才被诊断，错失了最佳干预时机。
目前，诊断HFrEF的“金标准”方法，如经胸超声心动图或心脏磁共振成像，虽然准确，但成本高昂且并非随处可用，尤其是在初级保健和社区医疗环境中。此外，B型利钠肽及其N末端前体等血液标志物虽然可用于心衰的早期检测，但需要侵入性采血，并且其水平受肥胖、年龄等多种因素影响。因此，临床迫切需要一种准确、经济、非侵入且能在床旁进行的筛查方法，以及时识别HFrEF患者。
心电图因其便捷、低成本而已广泛用于心律失常、心肌梗死等多种心血管疾病的筛查，并在HFrEF的早期检测中显示出良好潜力。同样，心音图能够反映心脏机械运动的信息，常用于瓣膜病和冠心病等疾病的早期检测。近年来，能够同步记录心电图和心音图的数字听诊器吸引了越来越多研究者的关注，因为它可以相对全面地评估心脏的电活动和机械运动。
然而，现有的多模态融合方法主要采用单层次特征融合来结合心电图和心音图的浅层细节特征或深层语义特征，这不足以充分利用不同模态间的互补信息。同时，由于不同模态特征表征的侧重点不同，现有方法采用简单的直接融合（如拼接）无法充分学习不同模态特征间的相关性，从而削弱了互补信息带来的益处。在多通道融合方面，现有方法要么通过单流网络将多通道信号编码到通道共享空间，降低了不同通道特征的独特性；要么通过多流网络分别提取不同通道信号的通道特异性特征，但在特征提取过程中未能充分考虑不同通道间的相关性。
为了解决上述挑战，研究人员开发了一种名为LGC2-Net的局部到全局分层注意力跨模态跨通道融合网络。该网络旨在同时利用多通道心电图和心音图的模态间和通道间（即采集位置间）互补性，以提高HFrEF的检测性能。与此同时，研究团队构建了一个新的多通道心电图和心音图数据集，该数据集包含HFrEF患者和非HFrEF患者，使用数字听诊器在每位患者胸部的四个标准听诊位置采集。
LGC2-Net的核心创新在于其通道特异与共享结构，该结构由四个通道特异性分支和一个通道共享分支组成。在每个通道特异性分支中，研究团队开发了一种基于卷积操作和自注意力机制的局部到全局分层注意力机制，以有效融合每个通道不同模态的浅层细节特征和深层语义特征。在浅层融合阶段，设计了一个基于局部模式的跨模态多尺度融合模块，充分利用卷积操作在局部特征提取方面的优势，在充分学习不同模态详细特征复杂关系并评估其贡献的基础上，实现不同模态多尺度详细特征的分层融合。在深层融合阶段，提出了一个基于全局依赖的跨模态多尺度融合模块，充分利用自注意力机制建模长距离特征依赖的能力，通过捕获一个模态中每个特征与另一个模态中所有特征的相关性，实现不同模态多尺度语义特征的全局跨注意力交互与整合。
除了通道特异性分支，研究还构建了一个通道共享分支，将不同通道信号的特征映射到一个公共空间中，以学习通道共享的表征。这种通道特异与共享结构可以在学习不同通道特征相关性的同时，保留通道特异性特征的独特性。此外，研究采用了通道特异性和通道共享分支的特征-决策双层次融合，以整合通道间的互补信息，获得稳健的结果。
本研究构建了包含来自500名受试者的2000对同步心电图和心音图记录的数据集，并进行了严格的五折交叉验证。结果表明，LGC2-Net在HFrEF检测的所有评估指标上均优于现有方法，平均准确率达到91.36%，总体准确率为92.40%，曲线下面积（AUC）为0.960。与现有最佳性能的多通道心电图方法相比，LGC2-Net将平均准确率和总体准确率分别提高了9.96%和7.40%，AUC从0.913提升至0.960。此外，在社区场景内部测试集和公开的PhysioNet CinC Challenge 2016数据集上的外部验证进一步证明了该模型的强大预测能力和泛化能力。
关键技术方法
本研究的关键技术方法主要包括：1）构建了首个使用数字听诊器采集的多通道心电图和心音图数据集，数据来源于同济医院，包含500名受试者（60名HFrEF，440名非HFrEF）在四个标准听诊点（二尖瓣、三尖瓣、肺动脉瓣、主动脉瓣）的同步记录；2）设计了LGC2-Net神经网络架构，其核心是局部到全局分层注意力机制，结合了卷积网络局部特征提取和自注意力机制全局依赖建模的优势；3）采用了通道特异与共享分支结构，同时学习通道特异性特征和通道间相关性；4）实施了特征-决策双层次融合策略，充分整合多源信息。
研究结果
模型性能显著优于现有方法
实验结果显示，LGC2-Net在HFrEF检测方面超越了所有对比方法。与现有最佳性能的多通道心电图方法相比，LGC2-Net将平均准确率和总体准确率分别提高了9.96%和7.40%。特别值得注意的是，基于单通道心电图和心音图信号的LGC2-Net简化模型（LGC2-Net-SC）在公开数据集PhysioNet CinC Challenge 2016的子集A上也表现出色，准确率达到96.29%，AUC为0.981，优于其他基线方法，证明了该架构的灵活性和适应性。
有效利用模态间和通道间互补性
通过将LGC2-Net与多通道单模态模型（LGC2-Net-SM）和单通道多模态模型（LGC2-Net-SC）进行比较，证实了LGC2-Net能够有效挖掘模态间和通道间的互补信息。结果显示，完整模型比单模态或单通道变体性能更优，表明同时利用心电图和心音图的互补生理信息以及来自不同听诊位置的空间信息，能够显著增强模型的判别能力。
分层注意力机制优化融合效果
对局部到全局分层注意力机制的分析表明，完全基于局部卷积模块或完全基于全局自注意力模块的融合机制性能均不如二者结合的LGC2-Net。最优结构（L5G4，即5个局部卷积模块接4个全局自注意力模块）能够有效结合卷积操作在局部特征提取和自注意力机制在长距离依赖建模方面的各自优势，实现更高性能的多模态特征融合。
外部验证证实临床适用性
在社区场景测试集（120名受试者，含5名HFrEF患者）上的外部验证显示，完整模型达到了100%的敏感性和92.52%的特异性，AUC为0.990，表明该模型在真实世界场景中具有良好的泛化能力和临床应用潜力。
研究结论与意义
本研究表明，LGC2-Net通过创新性地融合多通道心电图和心音图信号，并采用局部到全局分层注意力机制，显著提高了HFrEF的检测性能。这项工作不仅提出了一个高效的HFrEF筛查框架，还为多信号点式护理筛查提供了一个可推广的蓝图。
该研究的临床意义在于，将LGC2-Net与数字听诊器结合，可以形成一种低成本、实时、非侵入的HFrEF早期筛查方案，适用于常规体检、门诊或急诊场景。这种医生加人工智能的工作流程可以帮助临床医生排除低风险患者，将高级影像检查资源集中在最可能受益的人群身上，从而降低专科护理的门槛，减少不必要的影像检查，实现更早、更公平的全球心血管疾病预防。
尽管LGC2-Net表现出色，研究者也指出了当前工作的局限性，包括缺乏更大规模的多中心验证数据。未来工作将包括在前瞻性临床试验中验证这一框架，并将其扩展到整合超声心动图图像等多模态数据，同时探索模型压缩技术以适应可穿戴设备等资源受限环境的部署需求。总体而言，这项研究为心血管疾病的智能辅助诊断提供了重要技术支撑，推动了人工智能在临床医疗中的落地应用。
