TF-VSF：一种新型的无监督视觉-语义融合方法，用于评估罕见医学疾病——晨光综合征（Morning Glory Syndrome）的病情严重程度

《Journal of Imaging Informatics in Medicine》：TF-VSF: A Novel Training-Free Visual–Semantic Fusion Rare Medical Morning Glory Syndrome Diseases Severity Assessment Method

针对医学早春花综合征（MGS）数据不足的问题，提出训练-free的TF-VSF方法，整合预训练模型SAM和CLIP知识，通过CVR模块生成粗略分割掩码并优化特征，结合SLP模块控制边缘能量，最终经ICA降维和密度约束聚类实现高效分级诊断，准确率达95.87%。

　　

摘要

医学牵牛花综合征（Medical Morning Glory Syndrome，MGS）是一种罕见的先天性疾病。大约50%的MGS患者会出现视网膜脱离。广泛筛查MGS有助于早期发现，但这给医疗专业人员带来了相当大的负担。近年来，人工智能辅助的诊断方法取得了显著进展，并实现了令人满意的准确率。然而，当前的人工智能辅助方法严重依赖于大型数据集来促进特征学习。由于缺乏MGS相关数据，优化模型参数成为了一个挑战。为了解决这一限制，我们提出了一种无需训练的方法，称为TF-VSF，该方法利用基础模型的先验知识以及MGS特有的病理结构，生成低维、精炼的特征表示，用于诊断分级任务。具体而言，基于通道的视觉重新校准（Channel-Based Visual Recalibration，CVR）模块引入了来自SAM的预训练先验知识，生成一个粗略的分割掩膜，然后通过金字塔校准模块对其进行细化，以无参数的方式过滤高维语义结构。接下来，基于语义的位置感知（Semantic-Based Location Perception，SLP）模块利用预训练的对比语言-图像预训练（Contrastive Language-Image Pretraining，CLIP）先验知识生成具有边缘能量控制的语义隐式特征表示，这些特征随后与CVR模块中的精炼特征融合。最后，通过独立成分分析（Independent Component Analysis，ICA）特征降维和密度约束聚类来实现分级结果。我们开发了一个包含1016张MGS眼底图像的数据集。与自监督方法和完全训练的方法相比，TF-VSF的准确率为95.87%，F1分数为93.50%，超越了通用图像领域以及医学图像领域中的自监督方法、完全训练方法和无需训练的方法。TF-VSF代表了一种新的框架，填补了罕见疾病人工智能辅助诊断技术中的空白。