用于临床决策支持的检索增强语言模型，在先天性免疫缺陷分类中的应用

《Journal of Clinical Immunology》：Retrieval-Augmented Language Models for Clinical Decision Support in the Classification of Inborn Errors of Immunity

　　

摘要

先天性免疫缺陷（IEIs）的早期诊断可以改善患者的治疗效果，甚至降低医疗成本。然而，仍有一些挑战需要克服，例如临床复杂性、公众认知度低以及资源有限。生成式人工智能在医学领域引起了全球的广泛关注，尤其是在集成到临床决策支持系统（CDSS）中时，因为它有助于数据解释、临床推理以及知识资源的最佳利用。初步研究探讨了大型语言模型（LLMs）在各种信息检索任务中的潜力，但尚未对带有或不带有检索机制的LLMs在IEI分类方面的效果进行系统评估。我们评估并比较了四个开源和闭源LLMs在基线形式以及使用增强数据的情况下，针对169份IEI患者记录生成的回答的有效性和可靠性，采用了两种输入场景和四种提示模板。主要发现是这些模型在可靠性和性能上存在差异。最可靠的模型是Gemini-1.5-Pro和Llama-3.1-8B-Instruct（κ = 0.98），而未使用数据增强时表现最好的模型是Gemini，其F1得分为43.39% ± 0.10%。结果还表明，检索策略提高了所有模型的平均分类性能，F1得分从34%提升到了53%。DeepSeek-R1通过整合质量优化和结构化检索对检索到的信息进行推理，获得了最高的加权F1得分66.94% ± 1.19%。该研究强调了生成式AI和增强检索模型的有效性，可作为IEI分类的决策支持工具。然而，将检索系统纳入临床决策过程需要适当的输入、有效的提示设计以及检索策略的采用。