《Neuroscience Informatics》：A Proof-of-Concept Study on the Use of Large Language Models for Assessing Research Methodology in Neuroimaging
编辑推荐：
本研究针对神经影像学领域因方法复杂、报告透明性不足而面临的重复性危机，以及人工方法学评估耗时费力的问题，探索了利用大型语言模型（LLM）进行快速、可扩展方法学评估的可行性。研究人员以功能性磁共振成像（fMRI）研究为对象，基于OHBM COBIDAS指南制定82项评分标准，对比了Gemini 2.5 Pro、Claude 4 Sonnet和ChatGPT-o3-pro三款LLM与十位人类专家的评估结果。研究发现，Gemini 2.5 Pro与人类专家共识表现出高度相关性（r=0.693）和极佳的组合评分者间信度（ICC=0.811），且评估效率显著提升（仅需1-7分钟/篇），证明了LLM辅助方法学评估在复杂神经影像研究中的可行性及其在提升科研可重复性方面的巨大潜力。
在科学研究的广阔天地中，确保研究成果的可信度与可重复性是其生命线。然而，近年来，一场“可重复性危机”的阴影笼罩着多个科学领域，神经影像学，特别是功能性磁共振成像（fMRI）研究，因其分析方法的高度复杂性和灵活性，成为了重灾区。一篇2015年的研究发现，仅有36%的心理学研究能够被成功重复，远低于原始研究97%的显著性结果报告率。fMRI研究通常涉及多阶段的分析流程，任何环节的报告疏漏都可能使后续研究难以复现结果，从而动摇科学发现的根基。为了应对这一挑战，人类脑图谱组织（OHBM）在2016年推出了数据分析与共享最佳实践委员会（COBIDAS）指南，旨在为神经影像研究提供详尽的透明化报告标准。然而，依靠人类专家手动评估研究论文是否遵循这些指南，不仅过程缓慢、资源密集，而且容易受到主观性和疲劳度的影响，这为大规模、标准化地评估研究方法学质量带来了巨大障碍。
正是在这样的背景下，大型语言模型（LLM）技术的迅猛发展为解决这一难题提供了新的可能性。这些拥有强大自然语言理解和生成能力的人工智能模型，能否像训练有素的专家一样，快速、准确地评估复杂科学论文的方法学报告质量？为了回答这个问题，一个研究团队开展了一项开创性的概念验证研究，系统性地评估了三款先进的LLM在fMRI研究方法学评估中的表现。该研究旨在检验LLM评估结果与人类专家共识的一致性，并探讨其能否成为神经影像研究生态系统中一种易于使用、可扩展的工具。这项研究最终发表在《Neuroscience Informatics》期刊上。
研究人员为开展此项研究，主要采用了以下几项关键技术方法：首先，他们从2016年至2025年间发表的文献中，通过分层抽样选取了50篇fMRI研究论文作为评估材料，其中包含一篇因方法学问题已被撤稿的论文以测试识别能力。其次，他们基于COBIDAS指南开发了一套包含82个项目的标准化评分量表，项目根据必要性加权（最高1或2分），并分为“强制性”和“条件性”两类。第三，他们招募了10位平均拥有6.6年神经影像学经验的人类专家，以及选用了三款先进的LLM（Gemini 2.5 Pro, Claude 4 Sonnet, ChatGPT-o3-pro），在 blinded 条件下对同一批论文进行独立评估。最后，研究采用组内相关系数（ICC）、Pearson相关性、平均绝对误差（MAE）等多种统计指标，全面比较了人类评分者之间以及LLM与人类共识之间在总分、分领域和单项上的一致性。
3.1. 评分者评估时间
人类专家评估每篇论文平均需要30-35分钟，而LLMs仅需1.5至7分钟，显示出LLM在效率上的巨大优势。
3.2. 分数分布
人类评分者的分数最为集中（范围44.2-77.7分），而LLMs的分数分布差异显著。ChatGPT的分数波动极大（范围0-121分），并且其标记“不适用”（N/A）项目的比例远低于人类（9.2% vs 40.5%），这表明ChatGPT在判断项目是否适用于当前论文方面存在严重困难，倾向于对大多数项目进行评分，从而导致分数虚高或极低。Gemini的N/A使用比例（32.3%）最接近人类。
3.3. 评分者间信度
人类评分者内部表现出极佳的信度（ICC=0.801），而三个LLM之间的内部信度较差（ICC=0.254）。最关键的分析发现，当用Gemini替代一名人类评分者，与另外两名人类组成评审小组时，组合信度（ICC=0.811）与纯人类小组的信度相当，甚至略有提升。相反，加入ChatGPT或Claude则会显著降低小组的信度。这证明Gemini可以作为可靠的“辅助专家”融入人类评审流程。
3.5. 与人类共识的总分相关性
Gemini的总分与人类共识呈强正相关（r=0.693, p<0.0001），Claude呈中等正相关（r=0.394, p=0.004），而ChatGPT则显示出负相关（r=-0.172, p=0.233），意味着ChatGPT对论文质量的排序与人类专家相反。
3.6. 特定领域的一致性
将COBIDAS量表分为六个领域（实验设计、统计建模、数据采集、结果报告、预处理、数据共享与可重复性）进行分析后发现，Gemini在所有领域都与人类共识保持较高的一致性，尤其在实验设计（一致性=0.915）和统计建模（一致性=0.880）领域表现最佳。
3.7. 所有评分项目的附加一致性指标
在四项关键指标上，Gemini的表现最接近人类：精确一致率（85.3%）、一分以内一致率（98.8%）、平均绝对误差（0.175）和均方根误差（0.356），远优于ChatGPT和Claude。
该研究的结论与讨论部分深刻揭示了LLM在科学评估中的应用前景与挑战。研究表明，经过谨慎选择的LLM（在本研究中特指Gemini 2.5 Pro）能够以类人的可靠性对复杂的fMRI研究方法学进行快速评估，这为 scalable 的科研质量评估开辟了新路径。然而，不同LLM模型性能差异巨大，模型选择至关重要，ChatGPT-o3-pro因其极端的分数波动和无法正确识别非适用项目（即“N/A问题”）而不适用于此任务。
这项工作的意义远不止于证明一项技术的可行性。它预示着LLM可以在多个层面革新科研实践：在出版前，研究者可利用LLM自查手稿是否符合报告指南，提升投稿质量；在评审中，LLM可作为辅助评审员，缓解专家资源压力，尤其在处理海量会议摘要时；在出版后，LLM可生成类似“altmetrics”的方法学透明性分数，供读者快速判断论文可靠性；在教育领域，它还可作为培训工具，帮助年轻科研人员学习标准报告规范。当然，这种应用也存在局限性，例如当前的评估仅针对报告完整性而非方法本身的科学性，且其普适性需在不同科学领域和报告标准下进一步验证。
总之，这项概念验证研究有力地表明，LLM辅助的方法学评估对于复杂的科学评估是可行的。它描绘了一个人机协作的未来图景：经过严格验证的LLM负责初筛和标准化评估，人类专家则专注于最终判断和处理疑难案例。这不仅能够显著提升科研评估的效率和一致性，更有望从源头上促进研究透明化，为应对可重复性危机、筑牢科学大厦的基石贡献关键力量。
