迈向抗偏见的放射学报告生成：分层对比学习与自适应知识图谱集成

《Knowledge-Based Systems》：Toward Bias-Resilient Radiology Report Generation: Hierarchical Contrastive Learning and Adaptive Knowledge Graph Integration

放射学报告生成中存在数据偏差和知识静态化问题，本文提出知识图谱引导框架，通过层次化对比学习对齐图像、报告与RadGraph三元组，动态构建病例相关图谱上下文，结合自适应多模态融合模块，有效提升临床效果。

　　

王波|郭德明|杨飞阳|张洪达|滕佩红|阿德里亚诺·何塞·塔瓦雷斯|徐浩

吉林大学计算机科学与技术学院，长春，130012，吉林，中国

摘要

放射学报告生成（RRG）可以被视为一个知识驱动的决策支持问题，在这个问题中，图像观察结果必须在图编码的放射学先验下进行一致的解释，例如解剖结构与病理关系的发现以及位置约束。然而，现有的RRG模型常常受到疾病分布不平衡、患者群体异质性以及报告风格高度可变性的影响，导致视觉和文本偏见。而静态的医学知识图谱在整合特定案例的证据方面灵活性有限。在本文中，我们提出了一个基于知识图谱的放射学报告生成系统，以增强系统的抗偏见能力。该框架整合了三个紧密耦合的组件：首先，一个分层对比学习方案对齐图像与报告的表示；然后，利用从RadGraph派生的关系作为弱监督，将报告表示与知识图谱中的三元组对齐；接着，一个具有双向交叉注意力的自适应特征融合模块对视觉和知识表示进行精细化处理，并学习数据依赖的融合权重。此外，一种动态知识构建策略通过注入特定于报告的三元组（而不需要对基础图谱进行持久更新），从固定的基础放射学知识图谱中生成图像条件化的图谱上下文，从而缓解覆盖范围缺口和粒度不匹配的问题。这些组件的结合实现了临床图像解释中的自适应知识接地和多模态推理。在IU X-Ray和MIMIC-CXR基准测试上的实验表明，该系统在语言质量和临床效果指标上均达到了先进水平；消融研究也突显了三元组级监督和自适应融合的优势。尽管该架构是针对胸部X光报告设计的，但它具有通用性，可以扩展到其他多模态、知识密集型的决策支持任务。代码可访问于：https://github.com/LuckyAI-wb/BRRG。

引言

自动放射学报告生成本质上是一个知识密集型任务，要求放射科医生将影像发现与临床背景、既定的诊断标准和机构指南相结合。随着影像数据量的不断增加，手动编写报告给临床医生带来了巨大的认知和时间压力，成为诊断工作流程中的瓶颈[1]，[2]。因此，有效的自动化不仅有助于减轻工作负担，还有助于标准化描述并减少遗漏的发现。

近年来，基于深度学习的放射学报告生成（RRG）方法受到了广泛关注。通过将RRG视为视觉-语言建模问题，并在成对的图像-报告数据上训练端到端的神经网络架构，这些系统在通用语言质量指标和临床导向的评估标准上都取得了令人印象深刻的成绩[3]，[4]。然而，在现实环境中，由于疾病分布不平衡、患者人群异质性、成像协议不同以及特定场所的报告习惯差异，这些系统的性能仍然较为脆弱[5]。在这种条件下训练的模型容易过拟合常见模式，难以处理罕见或非典型的病例。

这些偏见被放射学数据的结构进一步放大。如图1所示，报告中仅详细描述了部分图像内容，而正常情况通常用简短、高度标准化的短语来概括。因此，监督信号稀疏且偏斜：视觉上微妙但在临床上重要的发现可能被低估，而常见的模式则主导了输入分布和文本标签。不同放射科医生和机构之间的报告风格和注释实践的差异进一步加剧了文本偏见，导致用于训练和评估RRG系统的数据存在不一致性。

一种自然的缓解方法是结合结构化的领域知识来补充纯粹的数据驱动学习。对比学习技术通过对比语义相似和不同的数据对，以获得更稳健的视觉和文本表示[6]，[7]，从而减少对训练数据中虚假相关性的敏感性。同时，知识增强方法将医学先验注入RRG模型中，例如通过基于临床本体或放射学特定知识图谱的条件化生成[5]，[8]，[9]。对比学习目标可以在不依赖显式知识库的情况下提高表示质量，但它们仍受到底层数据集中存在的偏见的限制，对临床推理模式的控制能力有限。基于知识的方法可以通过将预测建立在既定的推理路径上来提高临床准确性和可解释性，但它们通常依赖于静态资源，这些资源存在覆盖范围缺口、粒度不匹配以及对新兴病理或不断变化的指南的适应能力有限，这可能会引入新的刚性。例如，在胸部X光检查中，如果真实报告应描述右中叶肺炎伴有少量胸腔积液，传统的RRG模型在训练不平衡的数据上可能会输出诸如“无急性心肺异常”或“轻度肺纹理增多”之类的通用短语，这反映了过度依赖常见模式的问题。相比之下，基于知识图谱的系统可以将局部阴影与“中叶”、“实变”和“胸腔积液”等实体关联起来，并利用解剖位置与病理之间的编码关系来生成更具体、具有临床意义的描述。

这些挑战促使我们设计了利用放射学知识图谱的放射学报告生成系统，这些图谱不仅作为固定的先验，还作为与视觉-文本推理过程紧密集成的案例条件化知识上下文。在这项工作中，我们将RRG视为一个知识密集型的决策支持问题，并开发了一个基于知识图谱的框架，该框架在报告生成过程中共同对齐和利用领域知识。我们的方法结合了图像、报告和从RadGraph派生的三元组之间的分层对比对齐，以及一个自适应的多模态融合机制，并通过将检索到的证据三元组注入从固定基础知识图谱中实例化的临时子图来为每个研究构建图像条件化的动态图谱上下文。重要的是，基础知识图谱保持不变；动态图谱是针对每个案例构建的，并在推理后丢弃，而对齐和融合模块则作为在明确医学约束下运行的推理引擎。

总结来说，我们的主要贡献如下：

•

我们将放射学报告生成定义为一个知识密集型的决策支持任务，并提出了一个基于知识图谱的框架，该框架在图像、自由文本报告和从RadGraph派生的三元组之间进行分层对比对齐。这种设计将结构化的临床关系嵌入到多模态表示空间中，并隐式地将视觉模式与知识层面的概念联系起来。

•

我们引入了一个具有双向交叉注意力和语义增强机制的自适应特征融合模块。该模块共同精细化视觉和知识表示，并学习数据依赖的融合权重，从而实现互补模态的动态集成，而不仅仅是静态连接。

•

我们在IU X-Ray和MIMIC-CXR数据集上进行了广泛的实验，证明了我们的方法在语言生成和临床效果指标上达到了先进或具有高度竞争力的性能，并且通过定量CE分数和专家读者的评估，提高了对细微和罕见病理的检测能力。

第2节回顾了放射学报告生成、多模态特征融合和对比学习的相关工作。第3节介绍了所提出的基于知识图谱的框架，包括分层对比学习目标、自适应特征融合模块和动态知识更新策略。第4节报告了实验结果、消融研究和定性分析。第5节总结了本文并讨论了未来的研究方向。

相关工作

相关工作

在本节中，我们从三个不同角度介绍了与我们方法密切相关的最新研究：1）放射学报告生成；2）多模态特征融合；3）对比学习。

方法

在本节中，我们详细介绍了所提出的基于知识图谱的放射学报告生成框架。如图2所示，整体架构由两个核心组件组成：（1）一个分层对比学习模块，用于对齐图像、报告和知识图谱三元组；（2）一个自适应特征融合模块，用于整合视觉和知识表示以生成报告。表1总结了本文中使用的主要符号。

实验

在本节中，我们首先介绍了两个公共数据集以及一些实验设置和评估指标。我们定性和定量分析了我们提出的方法与其他方法的优势，并通过消融实验评估了每个关键组件的有效性。

结论

在本文中，我们提出了一个基于知识图谱的放射学报告生成框架，该框架能够紧密对齐和融合多模态特征。我们的分层对比学习方案首先对齐图像和报告，然后将报告表示与从RadGraph派生的三元组对齐，将结构化的临床关系嵌入到共享的表示空间中，提高了跨模态的语义一致性。在此基础上，自适应特征融合（AFF）模块

CRediT作者贡献声明

王波：撰写——原始草稿、软件、方法论、概念化。郭德明：撰写——审阅与编辑、监督、项目管理、资金获取。杨飞阳：撰写——审阅与编辑、资源管理、数据整理。张洪达：撰写——审阅与编辑、方法论。滕佩红：可视化、数据整理。阿德里亚诺·何塞·塔瓦雷斯：可视化、方法论。徐浩：监督、资金获取。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

本项工作得到了吉林省科技创新专项基金[资助编号YDZJ202501ZYTS090]的支持。