《Scientific Reports》：A multimodal feature fusion with deep representation learning approach for polycystic ovary syndrome diagnosis using ultrasound images
编辑推荐：
本研究提出了一种名为MMFEDL-DPCOS的深度学习模型，旨在解决传统方法自动化诊断多囊卵巢综合征（PCOS）准确率较低的问题。该模型融合了InceptionResNetv2、EfficientNetV2B3等多种深度神经网络进行特征提取，并利用正则化堆叠自编码器（RSAE）进行分类，最终在PCOS数据集上取得了98.68%的优异准确率，为PCOS的精准、自动化辅助诊断提供了强有力的新工具。
对于许多育龄期女性而言，多囊卵巢综合征（PCOS）是一个恼人且影响深远的健康问题。作为一种因激素失衡而导致的常见内分泌紊乱，它不仅可能引发月经不调、多毛等症状，更是导致女性不孕的首要原因之一。因此，实现PCOS的早期、精准诊断至关重要。目前，临床上诊断PCOS主要依赖鹿特丹标准，结合高雄激素、排卵障碍以及卵巢在超声下的形态学特征来综合判断。其中，卵巢超声检查是至关重要的一环，医生需要手动识别图像中的卵泡并计数、测量其大小，这个过程高度依赖经验，主观性强且耗时耗力，是PCOS诊断中的主要挑战。尽管有研究者尝试用计算机辅助方法来应对这一挑战，但传统方法往往依赖于复杂的图像预处理步骤结合经典机器学习算法，流程繁琐且诊断性能有限。随着人工智能技术的蓬勃发展，深度学习（DL）为医学影像的智能化分析带来了曙光。在此背景下，一项题为《A multimodal feature fusion with deep representation learning approach for polycystic ovary syndrome diagnosis using ultrasound images》的研究，探索了如何利用先进的深度学习模型，从卵巢超声图像中自动、精准地识别PCOS的迹象。
为了攻克PCOS自动化诊断的难题，研究人员设计并构建了一个名为“多模型特征工程与深度学习用于多囊卵巢综合征诊断模型”（Multi-Model Feature Engineering and Deep Learning for Diagnosis of Polycystic Ovary Syndrome, MMFEDL-DPCOS）。该模型首先采用高斯滤波（GF）技术对输入的卵巢超声图像进行预处理，以降低图像噪声、提升图像质量。随后，研究团队创造性地融合了五个性能卓越的深度卷积神经网络——InceptionResNetv2、EfficientNetV2B3、VGG16、ResNet-50和Inception-V3，共同从预处理后的图像中提取多层次、互补性的深度特征。最后，这些融合后的丰富特征被送入一个正则化堆叠自编码器（Regularized Stacked Autoencoder, RSAE）模型中进行分类，最终输出是否为PCOS的诊断结果。
一、模型性能评估
为了验证MMFEDL-DPCOS模型的有效性，研究团队在一个专门的PCOS超声图像数据集上进行了严格的测试，并与一系列现有的先进模型进行了性能对比。结果显示，MMFEDL-DPCOS模型展现出了卓越的诊断能力。其准确率（Accuracy）达到了98.68%，这一数值显著超越了所有参与对比的现有模型。此外，该模型在精确率（Precision）、召回率（Recall）和F1分数（F1-Score）等其他关键评价指标上也均取得了最优或接近最优的表现。这表明，通过多模型特征融合与深度表征学习，该模型能够从复杂的超声图像中高效、准确地捕获与PCOS相关的关键诊断信息，有效减少了误诊和漏诊。
二、消融实验分析
为了深入理解模型中各个组成部分的贡献，研究人员还进行了消融实验。他们分别测试了仅使用单一特征提取网络（如仅用VGG16或仅用ResNet-50）以及未使用正则化堆叠自编码器（RSAE）分类器的简化版模型性能。实验结果表明，任何一个单一网络的表现均不及多网络融合的完整模型。同时，使用RSAE作为分类器相比使用其他常规分类器（如支持向量机SVM或全连接神经网络）能够带来显著的性能提升。这些消融实验有力地证明了本研究提出的多模型融合策略以及RSAE分类器设计的合理性与必要性，它们共同构成了模型高性能的基础。
三、特征可视化与可解释性探索
尽管深度学习模型常被认为是“黑箱”，但本研究尝试通过特征可视化的方式来增强模型的可解释性。研究人员利用梯度加权类激活映射（Grad-CAM）等技术，生成了模型在做出诊断决策时所关注图像区域的“热力图”。可视化结果清晰地显示，MMFEDL-DPCOS模型在分析图像时，其“注意力”高度集中在卵巢区域内卵泡分布密集的区域以及卵巢的轮廓边界上，这与临床医生在手动诊断时关注的关键区域高度吻合。这一发现不仅增强了医生对模型诊断结果的信任度，也为理解深度学习模型在医学图像分析中的“思考”过程提供了直观的线索。
本研究成功开发并验证了MMFEDL-DPCOS这一基于多模态特征融合与深度表征学习的PCOS超声图像诊断模型。该模型通过集成多个先进的深度神经网络进行特征提取，并利用正则化堆叠自编码器进行高效分类，最终在PCOS数据集上实现了高达98.68%的诊断准确率，性能显著优于现有方法。更重要的是，特征可视化结果表明模型的学习聚焦于临床相关的关键解剖结构，这提升了其决策过程的透明度和可信度。该研究的结论表明，深度融合多种深度学习模型的特征，能够更全面、鲁棒地捕捉医学影像中的复杂模式，是提升计算机辅助诊断性能的有效途径。此项工作为解决PCOS传统诊断方法中依赖人工、主观性强、效率低的痛点提供了创新的技术方案，为开发临床实用的、高精度的PCOS智能辅助诊断工具奠定了坚实的技术基础，有望未来辅助生殖科和超声科医生，实现更早期、更客观、更高效的PCOS筛查与诊断，具有重要的临床转化潜力。
