《Nature Medicine》：Advancing conversational diagnostic AI with multimodal reasoning
编辑推荐：
现实世界的临床实践本质上是多模态的，依赖患者病史与医学影像、临床文书等视觉信息的综合整合。尽管大语言模型（LLM）在诊断对话中展现出潜力，但其评估长期局限于纯文本交互，未能反映现代远程诊疗的复杂性。研究人员开发了Articulate Medical Intel
现实世界的临床实践本质上是多模态的，依赖患者病史与医学影像、临床文书等视觉信息的综合整合。尽管大语言模型（LLM）在诊断对话中展现出潜力，但其评估长期局限于纯文本交互，未能反映现代远程诊疗的复杂性。研究人员开发了Articulate Medical Intelligence Explorer的多模态扩展版本（multimodal AMIE），能够在诊断对话中获取、解读并推理多模态数据。为实现这一目标，研究人员构建了状态感知对话框架，可根据诊断不确定性和动态演变的患者状态引导病史采集，模拟资深临床医师的结构化推理过程。研究人员通过一项随机盲法探索性研究将该版本系统与初级保健医师（PCP）进行比较，研究包含105例模拟远程诊疗咨询，涵盖皮肤病学照片、心电图（ECG）及临床文书。由18名专科医师评估显示，multimodal AMIE不仅在诊断准确性上优于PCP，在病史采集、共情能力等对话质量维度同样表现更优。具体而言，multimodal AMIE在32项评估轴中的29项表现领先，包括9项多模态推理指标中的7项。这些结果验证了状态感知推理在衔接文本与视觉信息方面的有效性，证明了人工智能（AI）系统在复杂多模态诊断场景中辅助临床医师的应用潜力。
该研究发表于《Nature Medicine》，针对当前基层医疗面临的人口老龄化、服务碎片化、医师职业倦怠等多重挑战，结合生成式AI在医疗领域的应用前景展开探索。现有基于LLM的医疗AI系统多为纯文本聊天机器人，与远程诊疗中普遍存在的多模态信息交互场景存在显著偏差——患者常需通过即时通讯工具传输皮肤照片、ECG波形、实验室报告等非文本资料，纯文本输入不仅易导致关键信息遗漏，还可能加剧数字鸿沟带来的健康不平等。为解决这一问题，研究人员开发了集成多模态感知能力的multimodal AMIE系统，并通过模拟环境与真实对照试验验证其临床价值。
研究采用的核心技术方法包括：基于Gemini 2.0 Flash构建状态感知对话阶段转换框架，将对话划分为病史采集、诊断与管理、随访三个阶段，通过动态追踪患者状态与诊断不确定性调整交互策略；开发多模态对话模拟环境，基于SCIN皮肤病数据集、PTB-XL心电图数据集及自建临床文书数据集生成合成患者场景，实现turn-by-turn对话自动生成与评估；开展随机盲法OSCE式对比研究，招募19名PCP与25名标准化患者演员完成210例含多模态数据的同步文本咨询，由18名跨地域专科医师从32个维度进行盲法评估；设计专用多模态理解与处理（MUH）评分体系，量化评估AI与医师对多模态数据的解析能力差异。
研究结果分为以下部分：
Comparison of multimodal AMIE and PCPs on OSCE assessment
OSCE评估显示，multimodal AMIE在所有评估轴上的表现均不劣于甚至优于PCP。诊断准确性方面，multimodal AMIE的top-k鉴别诊断（DDx）准确率显著高于PCP（P<0.001），且在图像质量较低、存在幻觉报告等亚组中性能下降幅度更小。不同模态分析表明，系统在临床文书、皮肤照片、ECG三类数据上的准确率均领先，其中临床文书场景优势最显著（P<0.001）。
Conversation quality rated by patient-actors
患者演员评估显示，multimodal AMIE在礼貌性、倾听能力、病情解释、共同决策、信任建立、共情表达等所有患者中心维度评分均高于PCP（P<0.01），尤其在多模态交互相关的“图像问题解答”“检查结果解释”两项指标上优势更明显（P<0.01）。
Specialist evaluation of the performance and robustness of multimodal AMIE
18名专科医师评估显示，multimodal AMIE在皮肤科、心内科、全科三个领域的诊断适宜性、管理计划合理性、病史采集质量、多模态数据解读准确性均显著优于PCP（所有P<0.001），且未增加幻觉报告风险。
LLM-as-a-judge for automated evaluations
自动化评估显示，状态感知推理框架可使临床文书场景top-1准确率从0.89提升至0.98，皮肤照片场景从0.75提升至0.84；移除该框架后，系统诊断准确性、信息采集质量均显著下降。仅依赖图像输入的“无对话”模式准确率较“图像+对话”模式降低30%以上，验证了病史采集对多模态诊断的关键价值。
Tradeoffs of domain-specific supervised fine-tuning for base model
对比实验显示，领域特异性监督微调（SFT）虽可提升特定任务（如ECG分析）准确率，但会导致管理计划适宜性等通用临床能力显著下降，因此研究最终选择保留通用基座模型能力，通过推理时策略优化实现性能提升。
讨论部分指出，multimodal AMIE通过状态感知推理实现了多模态数据与临床对话的深度整合，其表现超越了纯文本基线系统与无结构化推理的通用模型，填补了现有医疗AI在动态多模态交互场景中的空白。研究局限性包括：未覆盖视频、体格检查等更丰富的诊疗模态，部分训练数据可能存在于基座模型预训练语料中，尚未开展真实世界临床试验。研究人员强调，该系统仍处于研究阶段，未来需通过符合CONSORT标准的随机对照试验验证其在真实临床环境中的安全性、公平性与 workflow 影响，并扩展至放射影像、病理切片等更多模态。最终结论认为，该研究证明通过推理时状态感知策略增强的通用多模态大模型，可在模拟远程诊疗中实现优于人类初级保健医师的诊断准确性与对话质量，为AI系统融入复杂临床决策提供了可行路径。
