《npj Digital Medicine》：Liver transplant donor-recipient matching with offline reinforcement learning
编辑推荐：
在肝移植领域，高等待名单死亡率、器官短缺和移植物失败风险等挑战长期存在。本研究针对何时为患者进行移植的难题，创新性地运用离线强化学习（RL）方法，将决策过程优化为等待、除名或移植的序列。通过分析SRTR数据库的等待名单轨迹，模型成功避免了73%导致移植物失败或死亡的配对，保留了93%的成功移植，并为47%在等待中死亡的患者找到了潜在合适供体。该研究展示了RL方法在模拟真实世界肝移植匹配决策中的优越性，为其作为临床辅助工具的潜力提供了有力证据。
肝脏移植（LT）被誉为终末期肝病患者的生命希望，但这条希望之路却布满荆棘。一边是日益增长的等待者名单，许多患者在苦苦等待中悄然逝去；另一边是极度稀缺的供体器官，每一个都无比珍贵。更棘手的是，即便幸运地获得了移植机会，移植物也可能发生排斥或功能衰竭，导致前功尽弃。传统的匹配方法往往侧重于静态预测哪些供体-受体组合可能成功，却难以在“现在移植，但风险未知”与“继续等待，但可能等不到”之间做出动态权衡。这就像一场与时间和概率的残酷赛跑，临床医生亟需更智能的“导航仪”来辅助决策。为此，一项发表于《npj Digital Medicine》的研究另辟蹊径，将强化学习（RL）——这一在游戏AI和机器人控制中大放异彩的技术——引入了医学决策的殿堂，试图为肝移植的匹配难题找到更优解。
为了回答上述问题，研究团队采用了离线强化学习（RL）这一方法。他们利用来自美国移植受者科学登记系统（SRTR）的国家级数据库，获取了大量肝移植候选者的等待名单轨迹数据。核心方法是建立一个决策优化模型，将每位候选者在不同时间点的状态（如病情、等待时间、可用供体特征等）作为输入，模型输出“等待”、“从名单中除名”或“进行移植”的序列化决策，目标是在长期尺度上优化患者的生存结局。这种方法不与环境（真实移植过程）在线交互，而是从已有的历史数据中学习最优决策策略。
模型构建与验证
研究人员利用SRTR的轨迹数据训练了离线RL模型。该模型将复杂的移植匹配问题框架为一个顺序决策过程，在每个决策点评估候选者的状态并给出建议。
模型性能评估
通过对历史数据的模拟验证，训练好的模型展现出了卓越的性能：它成功避开了历史数据中73%最终导致移植物失败或患者死亡的供体-受体配对。同时，模型保留了93%历史上取得成功的移植配对。更有希望的是，模型分析显示，对于那些最终在等待名单上去世的患者，有47%的人本有可能被匹配到合适的供体。
决策分析与特征洞察
研究进一步分析了模型的决策依据和患者移植后的生存情况。分析表明，模型并非“黑箱”，它能够从数据中自动学习到与成功移植结果相关的供体-受体配对特征，这些特征与临床经验有相通之处，增强了模型的可解释性。
该研究得出结论，基于离线强化学习的方法能够更真实地刻画肝移植中供受体匹配这一动态、序列化的决策过程。与静态预测模型相比，RL模型能综合考虑等待名单死亡率风险和移植后移植物失败风险的此消彼长，并在时间维度上进行优化。研究成果表明，这种人工智能方法能够有效识别高风险配对、保护成功配对，并为部分等待期间死亡的患者找到潜在的生存机会，展现了其作为未来临床辅助决策工具的巨大潜力。这项工作为将高级机器学习技术应用于复杂的医疗资源分配和精准医疗决策提供了重要范例。
