基于Pyramid Vision Transformer的COVID-19检测方法：利用自监督学习和对胸部X光图像的预训练

《Coronaviruses》：Pyramid Vision Transformer-based COVID-19 Detection Using Self-supervised Learning and Pretraining on Chest X-ray Images

基于Pyramid Vision Transformer的COVID-19胸片智能检测系统，通过自监督预训练和注意力可视化技术，在36,116例胸片数据集上验证了其临床适用性，准确率提升至94%，检测速度优化至3.8秒，并实现病灶区域的可视化解释。

　　

摘要

引言：COVID-19仍然是一种公共卫生紧急事件，需要快速准确的诊断技术。胸部X光成像是一种低成本且广泛使用的COVID-19检测方法，但人工解读这种图像既费时又容易出错。在这项研究中，我们提出了一种利用金字塔视觉变换器（PVT）模型结合自监督学习（SSL）、预训练和注意力图可视化技术来自动检测胸部X光片中的COVID-19的方法。该方法具有更高的准确性、可解释性和效率，因此更适合临床应用。

材料与方法：本研究使用了Kaggle上的COVID-19胸部X光数据库，该数据库包含36,116张图像，分别被分类为正常、病毒性肺炎和COVID-19。为了提高模型的泛化能力，我们对图像进行了大规模的预处理操作，包括调整大小、归一化和数据增强。PVT模型的预训练和微调采用了SSL、dropout正则化和注意力机制。评估的主要指标包括肺部严重程度评分（LSS）、分割准确性、严重程度检测精度（SDP）、不透明度检测敏感性（ODS）、从发现症状到确诊的时间（TSD）以及焦点AUC-ROC分数。

结果：对PVT模型进行微调后，多个指标的性能都有显著提升。LSS从预训练时的15%提高到了微调后的17%，分割准确性从88%提高到了91%。dropout正则化将LSS略微降低到了16%，但提高了SDP（从80%提高到90%）和ODS（从78%提高到85%）。从发现症状到确诊的时间从4.5秒缩短到了3.8秒，检测速度得到了提升。焦点AUC-ROC分数通过微调和dropout处理从0.92提高到了0.95，同时误分类可视化分数（MVS）从0.85提高到了0.91，降低了误分类率。数据增强进一步提高了准确性（从88%提高到94%）、精确度（从85%提高到91%）和召回率（从83%提高到90%）。

讨论：本研究证明了SSL预训练、dropout正则化和数据增强在提高COVID-19检测性能方面的有效性。精确度、召回率和鲁棒性的显著提升凸显了该模型在临床应用中的潜力。注意力图可视化进一步增强了模型的可信度和可解释性，因为它展示了模型关注的关键肺部区域，从而确保了决策过程的透明度。

结论：基于PVT的模型，结合SSL、微调和注意力机制，为从胸部X光图像中检测COVID-19提供了一种可靠、可解释且高效的解决方案。研究结果验证了该模型在实际临床应用中的潜力，提高了诊断准确性，减少了误分类情况，并加快了检测速度。

关键词： 金字塔视觉变换器、COVID-19检测、胸部X光成像、自监督学习、数据增强、模型可解释性