综述：风湿病学研究中的大型语言模型：模型开放性与报告实践的综述

《Seminars in Arthritis and Rheumatism》：Large Language Models in Rheumatology-Centered Research: a Scoping Review of Model Openness and Reporting Practices

　　阿尔弗雷多·马德里-加西亚|贝阿特丽斯·梅里诺-巴尔班乔|达利费尔·弗雷特斯-努涅斯|迭戈·贝纳文特
独立研究员

摘要
目标：利用大型语言模型（LLMs）系统地识别和描述原创风湿病学研究，量化对封闭/专有系统与开放系统的依赖程度，并评估与可重复性相关的报告实践（模型版本、提示、推理设置以及代码/数据的可用性），以识别重复出现的报告漏洞，并为提高透明度提供实用建议。

方法：我们在PubMed/MEDLINE中搜索了2022年11月1日至2026年1月23日期间发表的英文同行评审的原创研究。两位审稿人独立筛选了标题/摘要和全文，第三位审稿人解决了分歧。数据通过LLM辅助的工作流程提取，然后由作者独立与原始文章进行核对。提取的信息包括研究特征、模型家族和开放性、访问模式、版本控制和透明度指标（提示、代码、数据）。

结果：在筛选的185条记录中，有63项研究被纳入分析。其中大多数是研究性研究（n = 26/63；41.27%）或教育相关研究（n = 20/63；31.75%）。研究主要使用封闭/专有LLMs（n = 50/63；79.37%），少量研究仅使用开放权重模型（n = 4/63；6.35%），还有一些研究混合使用了这两种模型（n = 9/63；14.29%）。OpenAI模型最为普遍（n = 55/63；87.30%）。报告情况参差不齐：交互语言通常未被报告（n = 42/63；66.67%）；访问模式被报告的比例为（n = 19/63；30.16%）；输出生成日期被报告的比例为（n = 33/63；52.38%）。提示被共享的比例为（n = 48/63；76.19%），但代码公开可用的比例仅为（n = 4/63；6.35%），数据公开可用的比例也为（n = 13/63；20.63%）。

结论：基于LLM的风湿病学研究在很大程度上依赖于封闭模型，对于可重复性至关重要的细节报告不一致，且代码共享较少。需要更清晰的报告实践，以及从长远来看基于共识的标准，以增强该领域的 metodological robustness（方法学稳健性）。

引言：可重复性是风湿病学研究科学诚信的基础，为独立验证和可靠性提供了重要保障。过去十年中，多个科学领域都出现了关于可重复性危机的担忧，这促使人们呼吁在方法、数据和分析工作流程方面提高透明度[1]。大型语言模型（LLMs）的快速采用带来了新的方法学挑战，尤其是在透明度、可审计性和可复制性方面[2]。在风湿病学中，LLMs越来越多地被用于基于语言的临床和研究任务。例如，LLMs已被用于回答问题[3]、提供决策支持[4,5]或从不同风湿性疾病中提取数据[6]。由于风湿性疾病具有慢性、异质性，并通过复合指标和纵向叙述性笔记进行评估，提取或总结中的微小变化可能会导致报告结果的临床意义上的显著差异。大多数基于LLM的研究依赖于专有的封闭模型，这些模型的架构、训练数据和版本控制不透明，并且会随时间变化。这为复制工作带来了不确定性：几周后发出的相同提示可能会由经过悄悄更新的模型处理，产生系统不同的输出，即使研究工作流程看起来没有变化[7]。当无法复制结果时，基于LLM的研究可能只能提供当时能力的快照，而不是对累积医学科学的持久、可验证的贡献[8]。因此，复制、验证或批判性评估这些模型得出的结果的能力本质上是有限的，这引发了对该领域基于LLM的研究的科学稳健性的重要担忧。此外，对封闭模型的依赖可能导致供应商锁定：价格上升、访问条款变更、模型能力的悄然退化或公司倒闭，使研究人员陷入昂贵或无法使用的工具中。相比之下，开放权重和完全开放的LLMs可以下载并在本地执行，使研究人员能够在受控条件下保存模型快照并重新运行分析。除了可重复性之外，开放模型在一系列医学应用中显示出有希望的性能[9,10]。然而，目前尚不清楚开放LLMs在风湿病学中的具体应用情况，哪种类型的模型占主导地位，以及已发表的研究是否提供了足够的技术细节以实现复制和有意义的跨研究比较。

目标：鉴于这一背景，本研究旨在系统地识别和描述使用LLMs进行的原创风湿病学研究。为此，我们搜索了2022年11月1日至2026年1月23日期间发表的文献。我们的目标是（i）描述风湿病学研究中使用的模型，并量化研究对封闭/专有系统与开放系统的依赖程度；（ii）评估报告和可重复性实践，包括模型版本、提示（如适用）、推理设置以及代码/数据的可用性；（iii）总结常见的报告漏洞，并提出实用建议，以增强基于LLM的风湿病学研究的透明度和可重复性。

材料与方法：
搜索策略和研究选择：我们在PubMed/MEDLINE中搜索了关于LLMs在风湿病学中应用的同行评审原创研究。搜索结合了风湿病学术语（MeSH和标题/摘要关键词）与LLM相关术语（例如，“大型语言模型*”、“生成式AI”、“ChatGPT”、“GPT-3/4”、“Claude”、“Gemini”、“Bard”、“Llama”、“Mistral”、“聊天机器人*”、“对话式代理*”），并且限制为2022年11月1日至2026年1月23日期间发表的英文文章。为了减少搜索阶段的无关记录，我们排除了综述（包括系统性/范围/叙述性综述）、荟萃分析、社论、勘误表和仅涉及动物的研究。我们没有在搜索阶段排除通信/信件、研究方案/注册报告和观点/评论，因为其中一些可能包含相关的方法学细节；相反，在筛选过程中对这些记录进行了评估，并在不符合纳入标准时将其排除。为了提高透明度，我们还运行了一个不包括这些排除项的更广泛的查询，并量化了自动化过滤所移除的记录数量作为广泛查询和最终查询之间的差异。记录分两个阶段导出和筛选：首先进行标题/摘要筛选，然后在对资格有疑问的情况下进行全文审查。两位作者（AMG、DB）独立执行了这两个筛选阶段。第三位作者（DF）解决了分歧。

排除标准：我们排除了没有足够方法学细节来确认使用LLM的出版物（例如，泛指“AI”但没有具体说明基于LLM的方法），包括非LLM聊天机器人系统（例如基于规则的或仅用于检索的聊天机器人）和仅用于编码的自然语言处理（NLP）模型（例如基于BERT的分类器）。我们还不考虑LLMs仅用于手稿写作/编辑或代码生成的情况（例如分析脚本），除非LLM本身在研究中被评估或用于执行风湿病学任务/数据集。我们还排除了被误分类为原创研究的研究方案/注册报告、指南、文章回复和评论。未报告原始结果的通信文章/评论/观点（例如，未对LLM在风湿病学任务或数据集中的效果进行主要评估）也被排除。只有那些报告了原始结果并提供了足够方法学细节以允许提取预定义变量的通信文章/评论/观点被保留。我们重点关注以风湿病学为中心的应用，特别是炎症性疾病的应用，而不是更广泛的肌肉骨骼文献。那些专门针对非特异性腰痛、骨关节炎、纤维肌痛、骨质疏松症或腕管综合征等疾病的文章，如果它们是在非明显以风湿病学为中心的背景下讨论的，则被排除。

数据图表：对于每项纳入的研究，我们从正文本和可用的补充材料中提取了补充表1中描述的预定义变量。我们使用了LLM辅助的提取工作流程：2026年1月23日，我们下载了文章，并使用LlamaIndex将其解析为机器可读的Markdown格式输入以进行提取。然后，我们通过应用程序编程接口（API）使用标准化的提取提示查询了ChatGPT 5.2（OpenAI）。为了最小化上下文传递和确保一致性，每篇文章都作为独立的无状态请求提交给API。由于计算基础设施有限以及部署和维护开放权重模型的操作负担，我们选择了ChatGPT。所有由LLM提取的字段随后由作者独立与原始文章（以及适用时的补充材料）进行了核对，并纠正了差异。这一步骤是为了确保准确性，而LLM辅助的工作流程主要用于加速数据提取。我们没有正式记录或量化初始LLM输出与最终验证数据之间的差异率。完整的提示模板和用于提取的代码在补充材料“code”中提供。

定义：
LLMs通常分为两类：
• 封闭/专有LLMs是通过托管接口或API访问的系统；它们的权重和训练数据不公开，限制了独立审计和精确的可重复性，且输出可能会随着提供商更新模型而变化。例如ChatGPT 5.2、Claude Sonnet 4.5或Gemini 3 Pro。
• 开放模型通常被视为一个单一类别，但它们包含两个开放性级别：
- 开放权重LLMs提供可下载的模型参数，支持本地推理和微调。然而，训练数据、开发流程的部分内容和使用权限可能受到许可的限制。例如Llama 4、Mistral Large 3。
- 完全开放的LLMs不仅提供权重，还提供运行所需的代码和文档，并且在可行的情况下，可以重现训练和评估过程，包括更清晰的数据来源和训练程序报告。例如BLOOM [11]、Pythia [12]。

在这项工作中，我们将“开放”作为一个涵盖开放权重和完全开放模型的总称，主要是因为完全开放的LLMs在生物学/风湿病学研究中尚未得到广泛采用。广泛使用的开放权重LLMs的例子，如LLLaMA、Qwen或DeepSeek列在补充表2中。有几项研究考察了开放LLMs和封闭模型之间的关键差异[7,8, [13], [14], [15]]。补充表3总结了这些差异。当研究仅报告服务层应用（例如Copilot、Perplexity或OpenEvidence）而没有明确的可识别基础模型和版本时，我们将这些工具视为模型透明度有限的服务层工具，而不是开放权重或完全开放的模型。

统计分析：
统计分析使用R版本4.4.1进行，数据可视化使用Python版本3.10.19完成。

研究选择：
我们最初识别了201条记录。经过自动过滤后，有185条记录被评估是否符合纳入标准。共有63项研究符合纳入标准，并被纳入最终分析（图1）。最常见的排除原因是缺乏实质性的风湿病学范围（n = 74/122；60.66%）和不符合LLM应用的标准（n = 27/122；22.13%）。我们没有发现明确使用完全开放模型的案例。在使用开放权重大语言模型（LLM）的研究中，报告最多的模型家族包括DeepSeek（n = 7/13；53.85%）、Llama（n = 5/13；38.46%），其次是Qwen和Mistral模型（n = 2/13；15.38%）。使用了多个Llama变体，包括Llama-2、Llama-3和Llama-3.1/3.2，而Mistral-7B、Mistral Large和BioMistral模型代表了Mistral生态系统。还报告了不同参数大小的Qwen-2.5模型以及多个DeepSeek版本（如R1和V3）。较少使用的开放权重模型包括特定领域或地区的系统，如HuatuoGPT-O1和Kimi k1.5。图2E展示了访问模式和执行细节。

在63项研究中，有19项（n = 19/63；30.16%）明确报告了访问LLM的方式。总体而言，大多数研究是通过基于聊天的用户界面来访问LLM的（n = 49/63；77.78%），而通过编程方式访问（即通过API发送提示，而不是手动使用聊天界面）和/或本地部署则较为少见（n = 10/63；15.87%）。在剩余的研究中，未说明访问方式或采用了结合基于界面的和编程方式的工作流程。在11项使用编程/混合访问策略的研究中，有7项（n = 7/11；63.64%）报告了至少一个模型参数。图2H显示了这一情况。

在使用基于聊天的用户界面的研究中，有26项（n = 26/49；53.06%）明确报告了控制对话上下文的措施（例如，开始新会话或在不同案例之间重置对话）。

在63项研究中，有33项（n = 33/63；52.38%）报告了输出生成日期（或模型访问日期）。

在63项研究中，有48项（n = 48/63；76.19%）分享了提示内容。此外，在所有纳入的研究中，有4项（n = 4/63；6.35%）的代码是公开可获取的，而在59项（n = 59/63；93.65%）中代码不是公开可获取的（包括未共享代码、未报告代码或不适用的情况）。有13项（n = 13/63；20.63%）的研究数据是公开可获取的，34项（n = 34/63；53.97%）的研究数据可应要求提供，16项（n = 16/63；25.40%）的研究数据要么不是公开可获取的，要么不适用。

只有8项（n = 8/63；12.70%）的研究明确提到了开放模型与封闭模型之间的区别。图2G显示了这一情况。

结果表格可以在补充电子表格“结果表格”中找到。

在纳入的研究中，发现了模型开放性、版本/日期、访问方式和代码可用性等领域的重复报告空白。这些发现为表1中提出的报告考虑提供了依据。

表1列出了基于LLM的风湿病学研究推荐的最低报告项目：

- 模型识别：完整的模型名称（包括变体，例如ChatGPT 5.2 Thinking、Claude Sonnet 4.5）以及推理能力（例如，快速、推理能力强、专业级、轻型、标准型、扩展型、重型、自动型、即时型）
- 模型类型（例如，完全开放型、开放权重型、封闭/专有型）
- 模型提供者及模型/存储库的链接
- 精确的模型版本和访问/输出生成日期
- 访问和执行方式：API/编程方式、网页界面、本地部署
- 研究期间已知的模型更新
- 相关的使用限制或许可条款
- 可复现性和透明度
- 对可复现性限制的明确描述
- 封闭/专有模型的识别（如适用）
- 使用封闭模型的理由
- 为缓解透明度限制采取的措施
- 对供应商锁定情况的说明
- 开放权重模型（如适用）
- 模型架构和检查点
- 训练数据来源（如可用）
- 微调程序
- 所需的计算资源

据我们所知，这是首次系统地梳理风湿病学研究中开放型与封闭型LLM使用情况的范围审查。我们对2022年11月至2026年1月期间发表的63篇原始研究文章的分析显示，对专有系统的依赖性非常高。大多数研究（n = 50/63；79.37%）仅依赖封闭/专有模型，其中OpenAI的GPT系列模型占主导地位（n = 55/63；87.30%）。相反，开放权重模型的采用率较低，仅有4项研究（6.35%）专门使用它们，9项研究（14.29%）采用了混合方式。

对封闭模型的依赖性对风湿病学研究的科学完整性带来了根本性风险，即“黑箱”问题。专有模型会持续进行更新，且通常没有通知。开放模型便于本地部署，这在处理敏感数据时对于保护数据隐私至关重要。采用这些模型的犹豫可能源于技术门槛，因为它们需要本地GPU基础设施，而像ChatGPT这样的聊天机器人则易于使用。

关于版本报告，近一半的研究没有报告输出生成日期，这使得无法将研究结果与特定模型版本对应起来。关于访问方式，不到三分之一的研究明确报告了他们的访问方式。网页界面版本通常具有与其API版本不同的设置（例如，上下文大小、温度设置），这进一步增加了复制的复杂性。一些研究报告使用了商业AI助手/搜索平台，如Perplexity、Bing、Copilot、OpenEvidence或Prof VALMED。这些工具通常作为前端应用程序，可能通过一个或多个基础模型路由查询，并经常添加检索/搜索等功能。因此，使用的具体模型、模型版本和关键推理设置往往不透明，且随着提供商更新后端组件，输出结果也可能发生变化。

同样，仅作为Copilot报告的工具难以复制，因为Copilot是一个服务层，可能会将请求路由到多个基础模型，并且部署不断更新，使得使用的具体模型/版本不明确。

对付费的、基于美国的封闭/专有模型（如OpenAI、Anthropic、Google）的过度依赖引发了关于长期公平性和访问性的问题。供应商锁定和价格变化可能对资源有限的研究人员产生不成比例的影响。开放模型提供了“技术主权”的途径，使不同的研究团队能够自主构建和维护自己的工具，而不依赖于外部商业实体。

我们从结果中得出的一个关键见解是需要区分可复现性和透明度。实际上，这两个概念经常被混淆：仅报告模型名称或使用的一般方法可能会给人一种透明度的印象，但并不能确保结果可以独立复现。在LLM的背景下，可复现性要求能够访问稳定的模型版本、明确定义的推理参数以及在可比条件下重新执行研究的足够方法学细节。依赖动态更新的封闭模型的研究可能在形式上是透明的，但在实质上却不可复现，从而限制了独立验证和批判性评估。没有可复现性，基于LLM的研究可能会产生孤立性的演示，而不是一个连贯的、累积的证据体系。

依赖专有LLM还会导致供应商锁定。当分析工作流程的关键组件由商业提供商控制时，研究人员质疑、争议或修改底层工具的能力受到限制，这会限制可以提出的问题范围。随着时间的推移，这种依赖性可能会将认知权威从科学社区转移到控制访问和模型行为的外部实体。

开放型或开放权重LLM的价值在于它们能够支持标准的科学实践。开放模型允许明确的版本控制、本地执行、受控实验和独立审计分析流程。这些特性使得结果的可复制性、稳健性的评估以及跨研究的公平比较成为可能。从这个角度来看，开放性不是一种意识形态立场，而是一种方法论条件，它促进了涉及复杂计算系统的可复制和可验证的研究。一个开放的权重生态系统快速变化的例子是Gemma 4，它于2026年3月底发布。它的发布展示了开放权重替代方案的迅速发展，为本地部署、长上下文处理和更受控制的实验提供了越来越实用的选择。

基于LLM的临床研究中不完整的报告具有伦理后果：无法独立审查的研究结果仍可能消耗资源，影响后续工作，并在证据基础不确定的情况下塑造临床预期。如果当前的做法持续下去，越来越多的生物医学文献可能会因设计上的原因而无法复现。因此，有必要通过更清晰的标准和优先考虑可复现的方法来及早缓解这一问题。在这方面，我们的发现可能为未来的社会主导倡议提供实证基础，包括ACR或EULAR的工作组或参考文件，旨在为基于LLM的风湿病学研究定义更清晰的报告期望。事实上，EULAR正在更新关于大数据和AI的参考文件，以尝试缓解当前流程的局限性。

尽管存在这些限制，但在临床研究中广泛使用专有LLM是可以理解的，主要是因为它们为临床团队提供了即时可用性和可行性。对于许多风湿病学家来说，通过熟悉的界面设计和执行研究是现实可行的，而实施和维护开放权重模型通常需要专门的数据科学支持、合适的计算基础设施以及部署、版本控制和安全方面的专业知识。这种差距突显了在临床研究团队中嵌入数据科学家的结构性需求，同时需要投资于有针对性的培训，以便临床医生能够负责任地使用开放权重模型。同时，提供经过审核的模型、标准化流程和安全的推理治理的可用机构平台，可以降低技术障碍，使可在常规风湿病学研究中使用可复制的替代方案。

虽然这项范围审查并非旨在开发一个完整的实施框架，但几个实际的机构要素可能有助于在医院中更安全、更负责任地使用开放权重LLM。实际上，通过集中管理的机构平台而不是临时个人安装来支持部署会更好，这些平台应具备批准的模型快照、明确的更新和验证程序、基于角色的访问控制、安全的推理环境以及模型使用的审计日志。多学科团队的监督，包括临床医生、数据科学家、信息安全、法律/隐私和伦理/治理代表，可以进一步支持适当的模型选择、本地验证、监控和允许的使用政策。这些措施可能减少目前限制在医院环境中负责任使用开放权重模型的操作障碍。

在纳入的研究中，关键技术细节（如模型版本、提示和推理设置）的报告情况各不相同，这限制了结果的复现性和跨研究的可比性。为了支持风湿病学特定LLM研究的报告，我们在表1中提供了一个基于本范围审查中发现的重复性空白的简洁报告检查表。这个检查表旨在补充而不是替代更广泛的LLM报告框架，包括TRIPOD-LLM[16]。虽然TRIPOD-LLM为医疗保健领域的LLM研究提供了一个基于共识的广泛框架，但我们的检查表更有针对性，专注于风湿病学。它重点关注我们审查中发现的复现性和透明度方面的空白，特别是模型开放性、确切版本/日期、访问方式、不可复现的组件以及关键开放模型实施细节。因此，我们将这个表格作为对更广泛框架的实际补充。

除了表1中列出的项目外，基于LLM的全面报告还应包括对提示和交互策略（包括提示内容、提示方法和提示的公开可用性）、模型配置和推理参数（如温度、top-p）的详细描述，以及对代码和数据可用性的声明，因为这些元素对于实现全面透明度和关键评估至关重要。

应当承认几个限制。这项审查仅限于PubMed/MEDLINE索引的研究和英文出版物，可能遗漏了相关的工作。由于审查仅限于同行评审的文献，因此可能低估了在医学信息学或计算机科学期刊、会议记录和预印本服务器上发表的跨学科工作。其次，我们依赖于LLM辅助的提取工作流程（由人类验证），虽然高效，但仍存在一定的监管风险，尽管我们通过双重独立验证来减轻了这一风险。第三，一些操作决策可能影响了最终样本的选择，特别是对于位于风湿病学研究和更广泛的肌肉骨骼文献交界处的研究。最后，关于我们提出的报告检查表（表1），我们承认它未经正式的Delphi共识过程。因此，应该将其视为基于当前文献中发现的空白的一系列实际报告考虑，而不是一个确定的报告要求。未来的国际共识工作将需要进一步完善和验证这些项目。尽管如此，我们相信我们的发现为当前实践提供了及时的概述，并强调了需要立即关注的结构性挑战。

在风湿病学中，对封闭/专有LLM的依赖性以及缺乏具体的报告指南，使得当前研究的可复现性面临风险。我们的发现并不是反对使用专有模型本身，而是强调了迫切需要向更大的开放性转变文化和方法论。为了确保AI辅助的风湿病学发展成为一门严谨的科学学科，而不是短暂模型版本的集合，研究社区必须转向透明度。这需要加速采用可行的开放权重替代方案，并至少定义和执行封闭系统的严格报告标准。如果没有这些努力，大型语言模型（LLM）的变革潜力可能会加剧而非解决现代生物医学科学所面临的可重复性挑战。

**作者贡献声明：**
- Alfredo Madrid-García：概念化、方法论、软件开发、形式化分析、研究、写作（审阅与编辑）、可视化。
- Beatriz Merino-Barbancho：原始稿写作、软件开发、可视化。
- Dalifer Freites-Nú?ez：方法论、数据验证、数据管理、写作（审阅与编辑）。
- Diego Benavent：方法论、数据验证、形式化分析、数据管理、研究、写作（审阅与编辑）。

**资金支持：**
本研究未获得任何外部资助。Alfredo Madrid-García自行承担了用于数据提取的OpenAI API的费用。

**作者批准：**
所有作者均已审阅并同意该手稿的内容。

**预印本：**
该研究的初稿已以预印本形式发表，可访问链接：[https://papers.ssrn.com/sol3/papers.cfm?abstract_id=6250559]

**利益冲突声明：**
DB曾从AbbVie、Galapagos、Janssen、UCB、Pfizer、Novartis收到讲座酬金、演讲费用或参加会议的支持费用；同时他也接受了UCB、Novartis和AbbVie提供的会议参会资助。他目前还在Savana Research公司担任AI医学领域的顾问（兼职）。Alfredo Madrid-García在Roche公司担任数据科学家。

**伦理声明：**
由于本研究未涉及患者数据或受GDPR（欧盟通用数据保护条例）规范的信息，因此无需伦理审批。

**生成式AI使用声明：**
本研究使用ChatGPT 5.2（OpenAI）通过用户界面（https://chatgpt.com/）进行语言编辑，并通过API（模型“gpt-5.2”）进行信息提取，具体操作方式已在主手稿中说明。所有AI辅助生成的成果均由作者们进行了审核和验证。

**数据来源与同行评审：**
本研究未接受任何委托，而是接受了外部同行评审。

**患者同意声明：**
不适用。

**数据可用性声明：**
代码、提示以及用于生成结果表格的数据集均包含在补充材料中。由于版权保护和法律因素，从中提取信息的科学文章全文未予公开。更多信息请参阅：[https://doi.org/10.5281/zenodo.18664584]

**补充材料：**
- **SM_supplementary_text.docx**：主手稿的补充文本。
- **SM_exclusion_criteria.xlsx**：被审阅的185篇文章列表，包括每位评审员的排除决定及标准。
- **SM_results_table.xlsx**：从每项研究中学到的变量信息。
- **SM_code.zip**：用于查询PubMed数据库、从被审阅文章中提取关键信息、进行统计分析及数据可视化的脚本。