牙医与ChatGPT在颌骨病变诊断准确性方面的比较

《BMC Oral Health》：Comparison of the diagnostic accuracy of dentists and ChatGPT in jawbone lesions

　　

摘要

背景/目标

人工智能（AI）正在引领医学成像和诊断科学领域的重大范式转变。特别是，基于预训练Transformer的聊天模型（ChatGPT）由于其生成临床结果的能力，在诊断过程中得到了越来越多的应用。本研究旨在评估ChatGPT对颌骨病变的诊断准确性，并将其与口腔颌面放射科医生（OMFR）、口腔颌面外科医生（OMFS）以及普通牙医的诊断准确性进行比较。

材料与方法

选取了30例具有颌骨病变的病例，这些病例配备了临床信息、全景X光片和组织病理学诊断结果。研究人员制作了一份问卷，其中包含了参与者（OMFR、OMFS和普通牙医）的 demographic 信息、病例的临床表现及全景X光片内容，并通过电子渠道进行了分发。随后将这些病例输入ChatGPT-4系统中，要求其生成初步诊断结果。数据采用Wilcoxon符号秩检验、Mann–Whitney U检验和Kruskal–Wallis检验进行统计分析，显著性水平设为 p < 0.05。

结果

总体而言，ChatGPT的诊断准确率为46.67%，而OMFR组（67.71%）和OMFS组（58.96%）的诊断成功率显著高于ChatGPT（p < 0.05）。在大多数亚组（性别、年龄、工作场所、专业经验）中，普通牙医的诊断准确率低于或与ChatGPT相当。

结论

ChatGPT表现出中等的诊断准确性。尽管OMFR和OMFS参与者的诊断准确率显著高于ChatGPT，但ChatGPT的整体表现优于普通牙医。这些结果表明，此类AI系统无法替代专业临床医生，但可以作为辅助工具，为诊断提供有价值的支持。