《npj Digital Medicine》：Melan-Dx: a knowledge-enhanced vision-language framework improves differential diagnosis of melanocytic neoplasm pathology
编辑推荐：
本研究针对黑色素细胞肿瘤病理诊断中存在的误诊率高、亚型鉴别困难等临床挑战，开发了名为Melan-Dx的知识增强视觉语言框架。该研究构建了包含2,893张高质量病理图像和1,102个知识条目的结构化数据库，通过双路径架构整合视觉特征与医学知识，在40类分类任务中达到0.699的Top-1准确率，在WSI分类中ROC AUC达0.915，显著优于现有基础模型。该框架无需微调视觉编码器即可实现诊断性能提升，为数字病理领域的精准医疗提供了新范式。
黑色素瘤作为皮肤癌中最致命的类型之一，在临床诊断中面临着巨大挑战。据统计，仅2024年就有超过10万新发病例，导致8,290人死亡。更令人担忧的是，误诊现象相当普遍——近50%的黑色素瘤存在过度诊断问题。即使对经验丰富的病理医生来说，区分四十多种黑色素细胞肿瘤亚型也绝非易事，这种诊断不确定性可能导致治疗延误或不必要的侵入性 procedures。
传统上，病理医生通过显微镜观察组织切片进行诊断，但这种方法高度依赖个人经验，存在较强的主观性。特别是在医疗资源匮乏地区，专科医生的稀缺更加剧了诊断困境。近年来，虽然人工智能在医学影像分析领域取得显著进展，但现有模型在黑色素细胞肿瘤这种需要精细鉴别的任务中仍表现不足。它们往往缺乏专业的医学知识融入，且需要大量计算资源进行微调，限制了在临床环境中的实用价值。
针对这些挑战，宾夕法尼亚大学的研究团队在《npj Digital Medicine》上发表了题为"Melan-Dx: a knowledge-enhanced vision-language framework improves differential diagnosis of melanocytic neoplasm pathology"的研究论文。该研究创新性地提出了一个知识增强的视觉语言框架，通过模拟皮肤病理医生的诊断推理过程，显著提升了黑色素细胞肿瘤的鉴别诊断能力。
研究人员首先构建了名为"Penn Melan-Dx知识图谱"的专业数据库，包含2,893张经专家标注的病理图像，覆盖44种黑色素细胞肿瘤亚型，并按照WHO分类标准构建了三级层次结构。更重要的是，团队为每种疾病类别整理了包括组织学特征、诊断标准和鉴别诊断要点在内的结构化知识库。
Melan-Dx框架采用双路径架构设计，包含图像路径和知识路径。图像路径通过类别特定的专家模块从知识库中检索视觉上相似的参考图像，而知识路径则执行跨模态检索，获取相关的医学知识描述。两个路径分别通过8层Transformer模块进行信息融合，最终通过知识增强的对比学习策略对齐视觉和文本表征。
关键技术方法
研究采用四种病理视觉语言基础模型(PLIP、PathGen、CONCH、MUSK)作为视觉编码器，构建包含2,893张图像的专业数据库。通过基于注意力的多示例学习(ABMIL)进行全切片图像(WSI)分析，使用HISTAI皮肤数据集（1,000张WSI）和SOPHIE数据集进行外部验证。采用局部和全局对比损失函数优化模型，在NVIDIA A100 GPU上完成训练。
研究结果
提升图像块级别诊断性能
在二分类任务（黑色素瘤vs非黑色素瘤）中，Melan-Dx在所有基础模型上均表现出色。以MUSK为基础模型时，Melan-Dx达到0.869的准确率，显著优于完全微调(0.853)、线性探测(0.761)和零样本(0.639)方法。在更具挑战性的40类分类任务中，Melan-Dx的Top-1准确率达到0.699，比最佳基线方法提升4.8%。特别是在衡量临床实用性的层次准确率指标上，Melan-Dx达到0.729，表明其错误更多发生在同一诊断家族内，而非跨越大类别的误诊，这更符合临床实际需求。
显著提升训练效率
Melan-Dx框架的一个突出优势是其卓越的训练效率。由于无需微调视觉编码器，在二分类任务中，平均训练时间从119.53分钟减少到3.89分钟，降幅达96.7%；在40类分类任务中，从118.92分钟减少到12.62分钟，降幅达89.4%。这种效率提升使得该框架在资源受限的环境中更具应用价值。
增强模型可解释性
如图4e所示，Melan-Dx提供了透明的诊断证据。对于每个查询图像，系统会检索最相似的参考图像和相关医学知识，并附置信度评分。例如，在正确诊断"交界痣、复合痣和真皮痣"的案例中，系统检索到的两张参考图像得分分别为0.5602和0.4398，同时提供了关于"色素沉着变化和形态学外观"的相关知识描述。这种证据展示方式使临床医生能够理解模型的诊断依据，增强了系统的可信度。
全切片图像分析表现优异
在WSI级别的评估中，Melan-Dx在少样本和全监督学习设置下均表现优异。在少样本学习中，MUSK+Melan-Dx在96个样本时达到峰值性能：ROC AUC为0.915，准确率为0.840，AUPRC为0.929，F1分数为0.840。在全监督学习中，Melan-Dx+TITAN组合在MUSK骨干网络上达到0.925的AUPRC。值得注意的是，Melan-Dx的少样本性能甚至超过了基线模型的完全监督性能，证明了其在小样本场景下的强大泛化能力。
消融研究验证各组件贡献
通过系统性的消融实验，研究人员验证了框架中各组件的重要性。当使用单一专家模块代替类别特定专家时，性能从0.869降至0.841；仅使用局部对比损失时降至0.851；仅使用全局对比损失时性能下降最为明显（0.621）。这证明多专家架构和双重监督策略对框架性能都至关重要。
研究结论与意义
该研究开发的Melan-Dx框架代表了黑色素细胞病变AI辅助诊断的重要进展。通过将领域特定知识显式集成到视觉语言模型中，该框架在不改变预训练视觉编码器的情况下显著提升了诊断性能。这种方法不仅提高了准确性，还通过检索机制提供可解释的诊断证据，支持医生理解AI的决策过程。
研究的成功实践表明，在专业医疗领域，单纯依靠大规模预训练模型可能不足，需要针对特定疾病构建精心策划的知识库。Melan-Dx的轻量级设计（在A100 GPU上推理100个ROI样本仅需0.35秒）使其能够集成到常规临床工作流程中，有望改善诊断一致性并提高效率。
未来工作可扩展该框架至其他病理亚专业，并进一步优化融合模块架构。同时，需要开展用户研究比较"专家+AI"、纯专家和纯AI设置的诊断性能，以深入探索人机协作的最佳模式。这项研究为开发临床相关的知识增强AI诊断工具提供了可借鉴的模板，推动了数字病理向更精准、可解释的方向发展。
