《npj Digital Medicine》：Towards accurate and interpretable competency-based assessment: enhancing clinical competency assessment through multimodal AI and anomaly detection
编辑推荐：
本研究针对医学教育中临床胜任力评估存在主观性强、资源消耗大等问题，开发了一种融合视频、音频和患者监护数据的多模态AI框架。通过建立理想表现基准并采用异常检测模型（MEMTO），研究实现了对麻醉住院医师临床操作的量化评估，其评估结果与专家评分高度一致（Spearman’s ρ=0.78；ICC=0.75），并通过SHAP分析揭示沟通能力和对监护设备的关注度是评估变异性的关键因素。该研究为模拟医学教育提供了公平、可靠且可解释的评估新范式。
在医学教育领域，如何客观、公正地评估医学生的临床胜任力一直是个棘手难题。传统的评估方式主要依赖专家主观观察，不仅存在评分标准不统一的问题，还需要大量人力物力投入。特别是在麻醉学这类高风险专科，住院医师的临床操作能力直接关系到患者安全，但现有评估方法难以精准捕捉操作过程中的细微差异。这种评估困境使得培训效果大打折扣，也阻碍了医学教育质量的提升。
为破解这一难题，研究团队在《npj Digital Medicine》发表了一项创新研究，通过多模态人工智能（AI）技术为临床胜任力评估带来了突破性进展。该研究构建了一个整合视频、音频和患者监护数据的AI框架，旨在实现对临床操作的客观量化评估。
研究团队采用了三个关键技术方法：首先收集90名麻醉住院医师在模拟环境中的多模态操作数据建立理想表现基准；其次开发异常检测模型MEMTO来量化实际操作与基准的偏差；最后运用SHAP（SHapley Additive exPlanations）可解释性AI技术识别影响评估结果的关键因素。所有分析均基于模拟环境下的操作数据，无需真实临床场景介入。
建立理想表现基准
通过采集优秀住院医师在标准情境下的操作数据，研究团队构建了涵盖操作流程、沟通方式、设备使用等维度的理想表现基准。这个基准不仅包含技术操作标准，还纳入了非技术要素如医患沟通质量。
异常检测模型性能验证
MEMTO模型能够精准识别实际操作与理想基准的偏差，其生成的胜任力评分与专家评估结果高度吻合。统计显示该模型评估结果与专家评分的相关性系数达到Spearman’s ρ=0.78，组内相关系数ICC=0.75，证明AI评估具有与专家相当的判别能力。
评估结果可解释性分析
通过SHAP分析，研究发现沟通能力和对患者监护设备的关注度是导致评估结果变异的主要因素。这一发现不仅验证了AI模型的可解释性，还为改进临床培训提供了明确方向。
该研究的创新之处在于将先进的AI技术与临床教育需求深度融合，解决了传统评估方法的主观性局限。通过将异常检测与可解释性AI相结合，既保证了评估结果的准确性，又使评分过程透明可溯。这种评估范式特别适用于麻醉学等需要高度标准化操作的专科培训，为医学教育质量提升提供了技术支撑。
更重要的是，该框架具有良好的扩展性，可适应不同专科的培训需求。通过建立客观、统一的评估标准，不仅能够促进培训质量的公平比较，还能为个性化培训方案制定提供数据支持。随着医疗质量要求的不断提高，这种基于多模态AI的评估方法有望成为未来医学教育的重要组成部分，推动临床胜任力评估向数字化、智能化方向发展。
