编辑推荐:
本研究聚焦于机器学习(ML)在预测急性精神病患者攻击性风险时可能存在的算法不公问题。为弥补此领域研究的空白,研究团队基于17,703名患者的电子健康记录,训练了一个随机森林(RF)模型,并系统评估了模型在不同种族/民族、性别、入院模式、公民身份和住房状况等子群体中的预测公平性。结果显示,该模型尽管取得了ROC-AUC=0.81的预测性能,但在中东裔、黑人、男性、被警方送入急诊、住房不稳定等弱势群体中存在显著的假阳性率(FPR)和真阳性率(TPR)差异。这一研究揭示了ML模型在临床应用中可能放大现有社会不平等的重要风险,强调了在模型部署前评估和解决公平性问题的至关重要性。
在急性精神病护理环境中,患者的攻击性行为——包括辱骂、骚扰乃至肢体暴力——是一个严峻的挑战。它不仅威胁到医护人员和患者自身的安全,也影响到医疗质量和公众对精神健康的认知。为应对这一风险,临床上有时会使用药物(化学约束)或物理约束等手段,但这些强制干预措施本身也可能对患者造成创伤性体验。近年来,机器学习(ML)技术被寄予厚望,它能够利用复杂的临床数据,对患者未来的攻击风险进行个性化预测,从而为早期、精准的非强制干预提供可能,有望改变这一困境。然而,一个被忽视的关键问题是:这些看似“智能”的预测模型,真的对所有人都公平吗?会不会因为患者的种族、性别或社会经济背景,而产生带有偏见的预测?
这正是发表在《npj Mental Health Research》上的研究“Fairness analysis of machine learning predictions of aggression in acute psychiatric care”所要回答的核心问题。已有研究表明,在刑事司法再犯预测和医疗资源分配等领域,ML算法对黑人、低收入人群等边缘化群体存在不公平现象。在精神病学领域,用于评估攻击风险的数据(如警方非自愿送医记录、临床风险评估量表评分)本身就深深嵌入了社会结构性不平等。如果算法不加甄别地学习了这些带有偏见的数据模式,那么其预测结果很可能不是发现风险,而是复制和放大社会对特定群体的既有偏见。为了系统探究这一风险,一个研究团队开展了一项迄今为止在急性精神病护理领域最为全面的ML预测公平性评估。
研究人员为开展此项研究,主要运用了以下几项关键技术方法:首先,研究利用了加拿大成瘾与心理健康中心(CAMH)在2016年1月至2022年5月期间,17,703名急诊入院患者的电子健康记录(EHR),构建了一个包含42,719个观察日的大型、临床异质性数据集。其次,他们训练了一个随机森林(RF)机器学习模型,其预测任务是基于人口统计学、临床特征和情境因素,来预测患者在给定日期内是否会发生攻击事件或导致约束措施的使用。最后,也是本研究最核心的部分,是采用了基于“均衡几率”标准的公平性评估框架,重点分析了模型在不同种族/民族、性别、入院模式、公民身份和住房状况等敏感属性亚组中的假阳性率(FPR)和真阳性率(TPR)差异,并进一步进行了种族/性别交叉性公平分析。
模型性能与关键预测因子
研究训练出的最优模型是一个包含200个估计器的随机森林(RF)模型,其在独立测试集上取得了ROC-AUC(受试者工作特征曲线下面积)为0.81的良好预测性能。对模型特征重要性的分析显示,情境性攻击动态评估量表(DASA)的条目(特别是“易怒”项),以及患者在入院前是否发生过攻击事件或受到约束,是预测未来攻击行为最重要的特征。
公平性评估揭示显著差异
公平性分析表明,该模型的预测在不同亚组间存在显著的不公平现象,违反了“差异误处理”和“均衡几率”的公平准则。假阳性率(FPR)在中东裔和黑人患者、男性、被警方送入急诊的患者、加拿大公民以及住房不稳定或居住在支持性住房的患者中明显更高。例如,中东裔患者的FPR最高,其次是黑人患者;男性的FPR高于女性和性别多元者;被警方送医者的FPR远高于其他入院方式群体。
交叉性分析凸显复杂偏见
当同时考虑种族和性别时,不公平的模式更为复杂。中东裔男性的FPR在所有交叉组别中最高,并且存在显著的性别差异(中东裔男性的FPR远高于中东裔女性)。黑人男性和原住民男性的FPR也相对较高,并且他们的TPR也倾向于高于同种族的女性。在所有种族/民族中,男性的交叉性FPR均等于或高于女性。
结论与重要意义
这项研究得出的核心结论是:用于预测急性精神病护理中攻击行为的机器学习模型,如果不在开发与评估阶段充分考虑公平性,将极有可能对特定的社会弱势群体造成不公正的预测结果。这种算法不公并非技术缺陷的偶然,而是深层社会与结构性不平等在数据中的反映与放大。例如,黑人在获得门诊治疗方面的障碍、更高比例的非自愿入院,以及警方对种族边缘化和原住民群体更高频率的非自愿送医,这些社会现实都可能被编码进训练数据,进而导致模型对这些群体做出更多错误的危险预测(高FPR)。同样,不稳定的住房状况可能与一系列行为表现相关,这些表现在临床量表(如DASA)上被记录为攻击性前兆,从而推高了相关患者的风险预测分数。
该研究的重大意义在于,它首次在急性精神病学背景下,如此广泛而深入地评估了ML预测模型跨越多重社会人口属性(包括交叉性属性)的公平性。它有力地警示,在临床实施此类预测模型之前,进行严格的公平性评估不可或缺。否则,算法不仅无法成为普惠的工具,反而可能沦为加剧健康不平等的帮凶——一个针对弱势群体的假阳性预测,可能导致不必要的强制干预,破坏治疗关系,甚至可能引发原本不会发生的攻击事件。
研究同时指出,解决算法公平性问题不能仅靠技术性的“去偏见”方法,因为这些方法通常以现有的、可能已带有偏见的数据标签为“真实”标准。更深层次的挑战在于,我们需要首先从社会层面界定“一个公平的算法应该怎样行为”。这意味着,理解和解决ML的公平性问题,必须超越纯算法的范畴,将其置于更广阔的社会技术系统(Sociotechnical System)中,结合定性研究等方法,深入探究不公平现象背后的社会结构根源。因此,未来在精神病学及其他临床领域的机器学习研究中,应将公平性作为模型评价的核心维度,并在数据收集阶段就注重获取高质量、细致的人口统计学信息,为公平性分析和更公正的算法开发奠定基础。