《Journal of Biomedical Informatics》：Enhancing adverse drug event extraction and summarization for cancer drugs through large language models
编辑推荐：
癌症治疗中副作用报道的准确性与效率亟待提升。本文提出MMPSF多模态药警戒总结框架，通过投影矩阵将图像嵌入文本潜在空间，结合视觉注意力机制生成图文融合的副作用总结，并引入直接偏好优化(DPO)对齐临床标准文本。基于MMCADRS数据集(1800篇副作用文本+500张症状图像)，实验表明该框架在ROUGE、BLEU等指标上优于基线，临床准确率达4.18分，遗漏率仅0.19，有效整合了视觉症状描述与文本分析。
Sofia Jamil|Sriparna Saha|Rajiv Misra
印度理工学院帕特纳分校，比哈尔邦比hta，801106，印度
摘要
目的：
化疗、靶向治疗和免疫疗法等癌症治疗方法能够有效对抗恶性细胞，但常常会因损害健康组织而引发严重的副作用。这凸显了建立强大的药物不良事件（ADE）报告和汇总框架的必要性，以提高患者安全性、支持临床决策并优化治疗结果。
方法：
在本文中，我们提出了多任务多模态药物警戒汇总框架（MMPSF），该框架使用学习到的投影矩阵将图像嵌入映射到文本潜在空间中，然后将图像和文本嵌入连接起来，生成癌症患者报告的药物不良事件的全面多模态汇总。该框架结合了直接偏好优化（DPO）技术，利用偏好感知损失函数使大语言模型（LLM）生成的汇总与人类编写的汇总保持一致。为了支持这一任务，我们引入了MMCADRS数据集，其中包含1800个与药物不良事件相关的叙述和500张捕捉可见症状的医学相关图像。
结果：
所提出的MMPSF框架超越了所有汇总基线。性能提升得益于视觉线索整合（0.20）、实体提取（0.190）和直接偏好优化（0.267）。人类评估确认了其临床准确性（4.18）、事实召回率（0.92）和遗漏率（0.19），证明了其在生成临床可靠汇总方面的有效性。
结论：
定量指标和人类评估证实了MMPSF在生成准确、关注癌症的多模态汇总方面的有效性。该框架是与英迪拉·甘地医学科学研究所合作开发的，对于癌症护理中的药物警戒实际应用具有重大潜力。
引言
药物警戒（PCV）是一门专注于检测、评估、理解和预防与医疗产品相关的不良影响的科学学科。传统上，PCV依赖于医学专家对手动报告的不良事件（AERs）进行评估，以识别新的安全信号，并为监管行动、临床指南和风险缓解策略提供信息。然而，预计到2050年全球癌症发病率将超过3500万例，治疗方案变得越来越复杂，导致药物不良反应（ADR）的数量和严重程度增加。在肿瘤学中，ADR往往严重影响患者的治疗期间及康复期的健康相关生活质量。许多癌症疗法会引起严重的副作用或加重原有疾病（例如，皮质类固醇会加重糖尿病）[1]，使得ADR成为癌症护理中几乎不可避免的一部分。
流行病学研究进一步强调了这一问题的严重性。在澳大利亚，大约11%的医院内ADR归因于抗肿瘤药物和免疫抑制药物，其中抗肿瘤药物是导致住院的最常见原因[2]、[3]。一项涉及患者访谈和审查临床记录的研究[4]显示，几乎所有肿瘤患者在住院期间至少经历了一次ADR，超过40%的患者经历了三次或更多次ADR，其中88%的ADR被认为是可预测的。
国家自愿报告系统是收集药物警戒数据的主要手段。然而，这些系统存在关键限制，包括报告不足和报告质量不一致，因为它们依赖于用户的自愿参与。近年来，患者越来越多地通过社交媒体平台和健康论坛分享治疗经历并寻求同行支持[5]、[6]、[7]。与此同时，对话式AI系统（如ChatGPT）的普及为个人提供了查询癌症药物及相关ADR的新途径[8]。鉴于ADR数量的迅速增加和用户生成的健康讨论的演变性质，迫切需要可扩展的、部分自动化的方法来有效处理和分析这些数据来源[9]。最近的努力强调了调整药物警戒框架以满足新的信息处理需求的重要性。在这种背景下，大型语言模型（LLMs）的出现提供了一个有前景的解决方案，因为它们能够生成癌症患者治疗期间经历的ADR的连贯汇总。
此外，大多数现有的ADR检测研究主要依赖于文本数据[10]、[11]、[12]，而多模态整合（尤其是文本和视觉信息的融合）尚未得到充分探索。这在癌症药物警戒中是一个重大限制，因为许多ADR是主观的，缺乏精确的文字描述。例如，皮疹、湿疹、脱皮和水疱等症状难以通过文本一致地表达，可能导致误解或报告不足。整合视觉模式（如患者上传的图像或面部表情）可以通过提供互补的、非冗余的线索来补充文本描述，从而提高ADR解释的准确性[13]。此外，许多患者难以准确用文字描述症状，这突显了多模态方法的重要性，其中视觉线索可以增强理解能力。基于此，我们的研究探讨了通过LLMs进行ADR汇总时多模态整合的作用。
我们的贡献如下：
- •
鉴于视觉信息在ADR分析中的重要作用，我们提出了多任务多模态药物警戒汇总框架（MMPSF）。我们的模型在解码器层中整合了图像交叉注意力机制，以生成基于视觉的汇总。虽然汇总是主要任务，但我们也纳入了与ADR相关的实体提取作为辅助任务。
- •
我们提出了多模态癌症不良药物反应和汇总（MMCADRS）数据集，其中包含了丰富的视觉线索注释。这些注释是由肿瘤学家、药理学家和癌症医学实习生共同手动完成的，专门识别与各种ADR相关的视觉指标。
- •
我们将直接偏好优化（DPO）整合到我们的多模态流程中，以使生成的汇总与临床相关目标保持一致。据我们所知，这是首次在多模态药物警戒环境中实施DPO的工作，展示了其在健康相关汇总任务中提高汇总质量的潜力（见表1）。
章节片段
医疗保健领域的大型语言模型（LLMs）
基于提示和指令的大型语言模型在临床领域最近获得了显著关注[14]、[15]。其中一个核心应用是临床文本汇总，旨在减少临床医生的工作负担，同时提高医疗信息的可访问性[16]、[17]、[18]。这些模型可以将复杂的临床发现简化为通俗易懂的汇总[19]、[20]，使患者能够更好地理解与其护理相关的治疗结果和医学文献。
数据集
本节概述了用于我们研究的数据集的整理过程。据我们所知，目前尚无公开的多模态癌症药物警戒数据集，能够将患者报告的情境与描绘ADR的相应医学图像结合起来。为填补这一空白，我们引入了一个新的多模态癌症不良药物反应和汇总（MMCADRS）语料库，其中包含500对图像-文本对，每对都标注了相关的医学信息，
方法
本节概述了生成药理学汇总的框架所基于的方法论和核心组成部分。
实验设置
本节介绍了实验框架，并使用一系列自动化和人类评估指标评估了所提出的MMPSF的有效性。我们的MMPSF框架基于仅解码器的语言模型构建，这些模型具有简单的架构、可扩展性和快速的推理能力，非常适合实时部署场景。对于汇总单元的自动评估，我们实现了ROUGE [55]、BLEU [56]、BERTScore [57]等评估方法。
结论
总之，本研究提出了MMPSF：多任务多模态药物警戒汇总框架，这是一个旨在生成癌症患者报告的ADR的全面多模态汇总的新系统。据我们所知，这是首次在该领域应用多模态汇总的方法，实现了文本和视觉信息的结合，从而提供了更全面的ADR报告。该框架整合了实体汇总模块和汇总生成模块
CRediT作者贡献声明
Sofia Jamil：撰写——原始草稿、方法论、数据整理。Sriparna Saha：监督。Rajiv Misra：监督。
伦理声明
我们在整个数据集整理过程中严格遵循了所有相关的法律、伦理和监管指南。整理后的数据集不包含任何个人可识别信息，如用户名或人口统计细节，以确保隐私和保密性。注释指南是与肿瘤学家和药理学家合作制定的，他们还进行了全面的数据集审查和验证，以确保准确性
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文所述的工作。
