Cervi-LLM：用于实时阴道镜病变检测及可解释性诊断的深度学习模型

《Scientific Reports》：Cervi-LLM for real time colposcopy lesion detection and interpretable diagnosis

　　

摘要

阴道镜检查是针对TCT或HPV检测结果异常的患者进行宫颈癌筛查的关键程序，需要经过广泛的培训才能实现准确诊断，但不同地区的诊断效果存在显著差异。本研究提出了Cervi-LLM，这是一个多模态的MoE框架，旨在通过提供精确的病变定位和分层诊断来辅助阴道镜检查。该数据集包含126例宫颈癌病例、692例HSIL病例、306例LSIL病例以及999例正常病例。Cervi-LLM整合了三个核心组件：1) YOLOMed，用于对三种染色方式（生理盐水、醋酸、碘）进行实时、多尺度的分割；2) 使用LoRA和渐进式解冻技术对图像特征和临床文本进行联合微调；3) 一个两级MoE架构，通过动态门控融合基于规则和数据驱动的专家输出，并根据临床规则进行校准，以提供可解释的诊断结果（正常/LSIL/HSIL+）。在分割任务中，Cervi-LLM的准确率（PA）达到94.51%，平均IoU为78.23%，优于U-Net（91.83%，72.76%）和Polyp-PVT（93.69%，75.34%）。在三类分类任务中，其总体准确率（ACC）达到91.52%，超过了初级医生（65.88%）和高级医生（76.57%）的水平。在检测HSIL+病例时，其灵敏度为95.96%，特异性为94.17%，而高级医生的相应指标分别为67.58%和81.67%。该系统处理图像的速度约为30帧/秒，并在0.30±0.05分钟内给出最终诊断结果。Cervi-LLM有效克服了传统阴道镜检查的局限性，为宫颈癌病变筛查和活检指导提供了一种准确、实时的智能工具。