《Scientific Reports》:Conformal selective prediction with cost aware deferral for safe clinical triage under distribution shift
编辑推荐:
为解决临床分诊中在分布偏移下保障患者安全与决策稳健性的难题,研究人员开展了结合保形预测与成本感知延迟的临床分诊选择性预测框架研究。该研究利用分组条件(Mondrian)保形预测与重要性加权方法构建预测集,通过最小化期望临床成本设定延迟阈值。结果表明,该框架能在保持高覆盖率(近90%)与强校准性的同时,显著降低保留病例的错误率(ID/OOD分别降低49.6%/46.7%),并在时间分布偏移下实现决策性能的优雅降级。
在医疗决策支持领域,如何让人工智能模型安全、可靠地辅助临床分诊,尤其是在患者数据分布随时间或人群发生变化(即分布偏移)时,始终是一个巨大挑战。传统的预测模型可能会在新环境下“失灵”,给出过于自信但错误的判断,这直接威胁到患者的生命安全。另一方面,临床决策并非追求100%的自动化,在模型“拿不准”的时候,将病例交由经验丰富的临床医生处理,往往是更安全的选择。但何时、以及基于何种准则进行这种“延迟”,才能最大化临床效益并控制风险,正是当前研究亟待解决的问题。为此,一篇发表于《Scientific Reports》的研究提出了一种创新框架,旨在为临床分诊筑起一道“安全护栏”。
该研究主要采用了以下几种关键方法:1. 保形预测,用于构建具有有限样本覆盖率保证的集合预测,核心是“拆分保形预测”方法;2. 分组条件(Mondrian)保形预测,特别针对性别进行分层,以保障不同亚组间的公平覆盖;3. 重要性加权保形预测,用于提升模型在分布偏移下的稳健性;4. 基于成本感知的延迟决策,通过在一个留出的校准集上最小化明确的期望临床成本,来选定单一的延迟阈值。研究使用的数据来自真实的早期脓毒症预测任务,并专门设置了时间上分离的分布内和分布外测试集以评估性能。
研究结果
选择性延迟实现了有利的风险-覆盖率权衡
在早期脓毒症预测任务中,采用选择性延迟策略后,系统在保持80%覆盖率的情况下,显著降低了模型自行处理病例的错误率。在分布内测试集上,错误率降低了49.6%,在更具挑战性的分布外测试集上也降低了46.7%。这表明,通过将低置信度病例延迟给医生,系统保留处理的病例其预测准确性得到了大幅提升。
系统在分布偏移下保持了低期望成本和强校准性
通过最小化期望临床成本来设定延迟阈值,该系统在两个测试集上都实现了较低的期望成本,并且在分布偏移下成本仅适度增加。同时,系统的校准性能非常出色,在两个测试集上都表现出较低的期望校准误差,意味着其预测的概率是可靠、可信的。
保形预测方法保障了覆盖率的稳健性与公平性
研究比较了不同保形预测方法。覆盖率在分布内测试集上始终接近预设的90%目标值,在分布外测试集上仅有轻微下降,其中重要性加权方法表现最为稳健。特别值得一提的是,采用Mondrian方法进行性别分层后,不同性别组间的覆盖率差距被缩小至仅1.4个百分点,显著提升了决策的公平性。
排除性能保守,具备高阴性预测值
在设定的高灵敏度目标(95%)下,系统的“排除”表现(即判定为阴性的病例)非常保守,达到了近乎完美的阴性预测值。这意味着当系统判断一个患者没有患病风险时,这个结论的可靠性极高,有助于减少不必要的医疗干预和患者焦虑。
结论与讨论
本研究成功地将校准概率建模、保形预测和成本感知延迟三者结合,构建了一个面向临床分诊的安全选择性预测框架。该框架的核心贡献在于,它不仅通过保形预测提供了具有统计保证的、透明的不确定性量化(以预测集的形式),还通过引入明确的临床成本函数,将“是否延迟给医生”这一决策优化问题进行了形式化。实验结果表明,这一框架能够在维持高覆盖率和高校准度的前提下,有效筛选出高置信度病例进行自动处理,从而大幅降低这部分病例的预测错误;同时,将不确定性高的病例交由人类专家,保障了整体系统的安全边界。更重要的是,通过Mondrian分组和重要性加权技术,该框架在应对现实世界中不可避免的时间分布偏移时,展现出了良好的稳健性和公平性,实现了性能的“优雅降级”。这项工作表明,基于保形推断的不确定性量化与成本敏感的决策理论相结合,能够为临床决策支持系统提供一种可解释、可信赖且安全的构建范式,推动人工智能在医疗领域朝着更负责任、更以患者安全为中心的方向发展。