利用知识图谱检测人工智能生成的临床肿瘤学文本中的角色冒充行为

《Protection and Control of Modern Power Systems》：Detecting Role Impersonation in AI-Generated Clinical Oncology Text Using Knowledge Graphs

肿瘤学AI生成文档角色模仿检测框架研究。该框架通过知识图谱对齐和流程逻辑评分量化语义准确性与临床流程连贯性，在4800份临床笔记测试中F1达94%，AUROC 0.96。重点检测肿瘤术语、分期、生物标志物关联及治疗序列的领域逻辑一致性，有效识别模仿专家角色但不遵循临床规范的AI生成内容。

　　

摘要：

大型语言模型（LLMs）在肿瘤学领域被越来越多地用于撰写放射学报告、病理学总结、肿瘤委员会记录和临床试验文档。虽然这些模型的流畅性和语境适应能力能够加速工作流程，但这种语言能力也可能隐藏一个关键风险：通过模仿专业语气来冒充肿瘤学家或癌症研究人员，而无需遵循肿瘤学的推理或程序逻辑。本研究提出了一个框架，用于检测人工智能生成的肿瘤学通信中的领域级角色冒充行为。我们方法的核心是“角色冒充指数”（RII），这是一个综合指标，通过将生成的内容与SNOMED CT、UMLS等结构化本体以及NCIt和OncoTree等特定于癌症的资源中编码的专家知识进行对齐，来量化语义忠实度和程序一致性（PC）。在4800份临床肿瘤学记录上进行评估（这些记录由人类和AI共同撰写），我们的框架能够在不依赖表面语言线索的情况下，识别出肿瘤术语、诊断分期、生物标志物逻辑和治疗顺序等方面的不一致之处，达到了94%的准确率（F1分数）和0.96的AUROC值。通过将癌症领域的语义和既定的临床工作流程嵌入检测过程中，所提出的方法为生成式AI在肿瘤学实践中的可信集成提供了原则性的保障。据我们所知，这是第一个结合知识图谱对齐和程序逻辑评分来检测癌症相关临床文档中角色冒充行为的框架。

实际影响

在肿瘤学实践中，人工智能生成的冒充行为越来越常见。生成式AI系统曾生成过虚假的肿瘤标志物、不存在的治疗方案以及错误的治疗建议[4]、[5]（见图1）。例如，在自动生成的总结中观察到对生物标志物-药物关联的错误引用或错误报告的分期顺序（例如，将某些类别弄反）。这些错误往往模仿了真实的临床文档，使其难以被发现。即使文本在事实上是正确的，也可能遗漏重要的背景信息，如禁忌症、既往治疗方案或精准医疗试验的资格标准，从而削弱了肿瘤学沟通的证据完整性。图1。

(a) 由GPT-4根据ROND病例文本生成的正确且逻辑连贯的总结（图片来自[4]）。(b) 虽看似合理但实际上错误的幻觉性引用，引用了不存在的NCCN指南（图片来自[6]）。