“但我无法提前注册我的研究”:通过适应性提前注册机制提高基于模型的生态学和保护研究的可重复性和透明度
《Methods in Ecology and Evolution》:‘But I can't preregister my research’: Improving the reproducibility and transparency of ecology and conservation with adaptive preregistration for model-based research
【字体:
大
中
小
】
时间:2026年05月02日
来源:Methods in Ecology and Evolution 6.2
编辑推荐:
摘要
预注册是一种开放科学实践,旨在提高研究的透明度并减少有问题的研究行为,如选择性报告结果。它有助于防止认知偏差(如事后偏见)的影响,这些偏差可能会影响研究结果的解读。在生态学和保护研究中,预注册的采用程度较低,这可能是因为现有的预注册模板主要关注零假设显著性检验,而生态学和
摘要
预注册是一种开放科学实践,旨在提高研究的透明度并减少有问题的研究行为,如选择性报告结果。它有助于防止认知偏差(如事后偏见)的影响,这些偏差可能会影响研究结果的解读。在生态学和保护研究中,预注册的采用程度较低,这可能是因为现有的预注册模板主要关注零假设显著性检验,而生态学和保护研究通常依赖于不同类型的统计建模。我们认为,在生态学和保护研究中采用基于模型的预注册是可行的且有益的,可以使用为特定领域方法论定制的模板。我们采用以用户为中心的设计方法,将预注册的概念转化为适用于生态学和保护研究的实践。为了更好地使预注册的内部逻辑与生态建模的迭代和非线性过程相一致,我们提出、测试并评估了一种称为“适应性预注册”的方法论,并以澳大利亚维多利亚州受管制河流中管理性水资源释放(“环境流量建模”)的案例研究为例进行了验证。这项研究为生态模型的适应性预注册提供了一个模板和方法论。尽管本文主要关注生态学和保护研究,但适应性预注册的概念以及这里开发的模板也可以应用于其他科学学科的基于模型的研究。生态学和保护研究中的建模者不再需要抱怨“我无法对我的研究进行预注册”。
1 引言
在过去十年中,某些科学领域出现的“可重复性危机”暴露了研究结果可靠性的问题(Camerer等人,2018;Neoh等人,2023)。其中一个问题是存在有问题的研究行为(QRPs),包括p值操纵、在结果已知后假设(HARKing)和选择性报告结果(Wicherts等人,2016)。这些行为增加了假阳性结果的可能性,人为夸大了效应大小的估计值,最终降低了已发表研究结果的可重复性,同时加剧了对结果精确度的过度自信,并增加了接受和传播错误事实的风险(Hoffmann等人,2021)。研究者的自我报告显示,QRPs在各个学科中都非常普遍(Agnoli等人,2017;Liu等人,2020;Makel等人,2021),包括生态学领域(Fraser等人,2018;Kimmel等人,2023)。尽管关于QRPs的自我报告调查主要集中在使用p值的统计显著性检验研究上,但一些行为,如选择性报告/选择性选择,在其他推理框架中也会发生并产生类似的影响。当研究者机会主义地滥用“研究者自由度”而不进行披露时,就会发生QRPs(Bakker等人,2018;Wicherts等人,2016)。研究者自由度指的是研究者在整个研究过程中所做的许多决策和分析选择(Wicherts等人,2016)。分析决策通常是主观的,但在方法上是可辩护的;然而,在每个“分岔点”所做的选择和遗漏可能会共同并显著地影响最终的“分析策略”(Hoffmann等人,2021)或“建模路径”(H?m?l?inen & Lahtinen,2016)。研究者从开始到结束在整个分析过程中可能做出的所有(合理或可行的)决策被统称为“分岔路径花园”(Gelman & Loken,2013)。通过多个研究者独立分析同一数据集来研究同一问题的“多分析师研究”已经展示了“分岔路径花园”的后果,不同的分析决策可能导致研究者对结果产生截然不同的解释,从而得出相互矛盾的结论(Gould等人,2025;Silberzahn等人,2018)。当研究者通过系统性的选择偏差机会主义地导航这个“花园”时,就会出现QRPs,他们倾向于只跟踪和报告那些产生最清晰、最强或最有利结果的分析路径,而忽略或不披露其他路径。最近用于理解生态建模中QRPs的框架表明,这些行为涉及通过这种机会主义路径选择人为夸大模型的可信度、准确性或性能(Gould, Fraser, Wintle等人,2026)。建模者可能会通过尝试多种模型结构(例如线性、多项式、机制性模型)并仅报告那些拟合度最好的模型来进行“模型钓鱼”;通过测试各种性能指标(例如R2、AIC、准确性阈值)并仅选择性报告有利结果来进行“S值操纵”;或者通过移除不支持预期模式的不便站点或时间段来进行“样本策划”(Gould, Fraser, Wintle等人,2026)。当这种选择性路径选择在多个研究中重复出现时,就会导致发表偏见,即负面或不确定的结果被留在文件抽屉中未发表,从而导致文献失真,掩盖了生态系统的真实不确定性和变异性,使已发表的模型看起来比实际更可信和可靠。良好的意图以及仅仅意识到研究者自由度可能导致QRPs的风险是不足以减轻这种风险的,因为其起源是无意识的(Zvereva & Kozlov,2021)。预注册是一种开放科学实践,旨在区分计划内的分析和临时分析(Parker等人,2019),从而限制了尝试分析替代方案的机会(“研究者自由度”),并使任何偏离预注册计划的行为透明化(Wicherts等人,2016)。预注册要求研究者在使用数据和/或分析数据之前,在一个安全且公开可访问的平台上注册他们的方法和分析计划,这些信息在提交后不能被更改(Parker等人,2019)。初步的实证证据表明,具有预注册分析计划的研究报告更加透明,且不太可能包含积极或显著的结果(Brodeur等人,2024)。这一发现部分反映了研究者对诚实、完整和透明报告的承诺,特别是当预注册模板包含详细的指示和要求时(Bakker等人,2018),以及纠正了导致发表偏见的选择性报告行为。预注册研究还可以通过使研究无论是否发表都能被找到来对抗发表偏见的影响,类似于医学试验注册的方式。“注册报告”是一种将预注册整合到同行评审过程中的出版格式(Koivisto & M?ntyl?,2024),它包含了一种直接解决发表偏见的机制,即方法和分析计划事先经过同行评审,并在结果已知之前做出发表决定。对于建模来说,一个可能的反对预注册的观点是模型开发本质上是一个探索性过程(MacEachern & Van Zandt,2019),而预注册适用于确认性研究(即假设或理论检验,Prosperi等人,2019)。我们承认预注册在记录研究意图和防止HARKing和其他QRPs方面起着关键作用,而在适用的情况下,探索性/确认性的区分提供了有价值的指导。对于可以提前完全指定的基于模型的研究——其中分析策略已经确定且数据依赖性决策较少——“静态”预注册仍然是首选方法。这些关于建模和预注册的概念并不完全错误,但对于生态建模来说过于简化了。实际上,探索性和确认性活动之间并没有如此明确的区分(Alspaugh等人,2019;Devezer等人,2021;Flournoy等人,2020)。建模包括一些具有探索性质的任务和活动,但与完全探索性分析不同,因为建模通常是目标驱动和有方向的(Alspaugh等人,2019)。研究者在建模过程中不断在不同的推理和推断类型之间切换,随着分析的进行,推论会引导出归纳(Alspaugh等人,2019;Prosperi等人,2019),甚至以混合的方式同时发生(Prosperi等人,2019)。在这个迭代和非线性的建模过程中,初始分析通常会为后续对相同数据的分析提供信息,建模者对问题的理解和模型本身会根据之前决策点的中间结果逐步调整(Dwork等人,2015;H?m?l?inen & Lahtinen,2016)。来自多分析师研究的最新证据支持这一观点:Schweinsberg等人(2021)发现,即使在单个分析中,研究者也会反复进行探索性和确认性活动,这与预注册文献中使用的“确认性”分析的定义相反,在预注册文献中,确认性分析通常是“预先计划好并在线‘冻结’的”。建模者通常不确定哪种模型最适合数据(Popovic等人,2024),并且不愿意注册一个可能与数据不兼容的建模策略(Roettger,2019)。例如,建模者可能会进行探索性分析以验证分布假设(Campbell,2021),这可能导致随后对模型规格的更改。我们认为,这些系统性的数据依赖性决策不应被视为违反预注册的关键原则,即未能提前定义整个分析协议(Dwork等人,2015;MacEachern & Van Zandt,2019)。关键的区别不在于决策是否依赖于数据,而在于它们是否是系统的(遵循预注册的决策规则)还是机会主义的(未经披露地寻求结果,参见Gould, Fraser, Wintle等人,2026)。我们提出了一种称为“适应性预注册”的方法论(参见Srivastava,2018),该方法论捕捉了关于建模选择的决策点和推理,并接受了不适合简单划分为二元探索性/确认性分类的研究背景中的数据依赖性。这超出了其他人关于何时以及如何偏离预注册的讨论和指导(Lakens,2024;Willroth & Atherton,2024),而是提供了一种体现“注册灵活性”原则的预注册方法(Roettger,2019;Srivastava,2018)和迭代或“临时预注册”(Hofman等人,2023;Ioannidis,2022)。在这项研究中,我们旨在将预注册应用于基于模型的研究,特别是针对生态学、保护及相关学科。首先,我们确定了一个通用的“建模工作流程”,该流程捕捉了模型开发周期中的关键分析决策,并使用它来构建一个适用于生态建模的适应性预注册模板。然后,我们使用澳大利亚维多利亚州受管制河流中管理性水资源释放(“环境流量”)的建模案例研究来测试和评估我们的模板,以改善河岸植被状况。这个案例研究展示了一种使用为模型开发和评估设计的模板进行预注册的新方法。
2 材料与方法
我们根据以用户为中心的设计框架(Pavelin等人,2012)修改了预注册,以便在基于模型的研究环境中使用,该框架在所有阶段都让用户参与,以产生适合目的的预注册模板和协议(图1)。所有研究材料存档在osf.io/sq5j4/(Gould, Jones等人,2026)。图1在图查看器中打开PowerPoint
我们将预注册转化为生态建模研究的过程。我们遵循了Pavelin等人(2012)提出的以用户为中心的设计步骤,除了“评估和迭代”阶段,我们希望社区在测试本研究中开发的实用工具时会采用这一阶段。在协作研讨会之后(步骤2),我们指定了一般建模工作流程,该流程决定了预注册模板的结构和内容(步骤3),并提出了一种我们称之为“适应性预注册”的方法论(步骤3),以解决步骤2中确定的基于模型的预注册挑战。我们使用一个现实世界的建模案例研究(步骤4)进一步完善了模板和方法论。该模板提供了多种格式(步骤5),包括Quarto Markdown扩展(Gould,2026),并且关于如何进行适应性预注册的说明详细记录在用户指南中(Gould, Fraser, Jones等人,2026;附录S3)。
2.1 问题阐述:为生态建模预注册模板定义愿景和目标
首先,我们指定了研究背景、目的、目标用户和使用案例(见图1,步骤1;Pavelin等人,2012;Pu等人,2019)。我们的重点是基于模型的研究,我们将其广泛定义为任何使用定量建模来回答研究问题的研究(Brudvig,2017)。这涵盖了多样的建模目标(探索、推断以及解释性和预测性预测;Bodner等人,2020;Mouquet等人,2015;Tredennick等人,2021)、不同的研究贡献(开发新方法、应用或扩展现有方法以及模型转移;Yates等人,2018)以及不同类型的模型(现象学与机制性;Connolly等人,2017)在基础和应用研究背景及学科中(Brudvig,2017;Lewis等人,2023)。我们故意保持这一广泛的定义,因为生态建模在其方法论方法、分析目的和研究应用方面具有高度多样性。预注册模板和方法论的目的是:
- 限制“研究者自由度”(Pu等人,2019),以减少在应用生态学和保护研究中进行基于模型的研究时的QRPs风险。
- 提高生态建模的“研究透明度”,包括:
- 生产透明度——包括开放访问数据和材料等研究产物,或数据收集程序(Lupia & Elman,2014)。
- 分析透明度——对如何从数据中得出分析结论的完整说明(Lupia & Elman,2014),其中模型选择、建模过程中的步骤、对模型输出的假设和预期都清晰地表达出来(Bodner等人,2020)。我们为我们的适应性预注册模板指定了两个使用案例:
- 希望预注册其建模研究的研究作者或建模者。编辑、审稿人和/或完成预注册的读者,他们的任务是进行“预注册检查”或验证最终手稿中报告的分析和发现与预注册的分析计划是否一致(Pu等人,2019年)。现有的预注册格式主要是为研究作者设计的;它们是静态的基于文本的文档,不太便于进行预注册检查。我们设计的模板考虑到了编辑、审稿人和读者的需求。
2.2 设计通用的建模工作流程
基于我们对基于模型的研究的广泛定义(第2.1节),我们进行了文献回顾(附录S1),以确定适用于不同建模目标、研究贡献、模型类型和问题背景的建模工作流程。最终的工作流程反映了理想化建模与实际建模之间的平衡,并符合“良好建模实践”的规范指南(Augusiak等人,2014年)。
2.3 设计预注册模板
我们组织并举办了一个由10位生态学家和生态建模者参加的工作坊(附录S2)。一个关键任务是识别常见的建模工作流程和模型开发中的关键决策步骤(图1,步骤2)。“关键”决策步骤是指在建模过程中,研究人员或建模者做出的可能改变分析结果的决策点。在这项活动中,参与者首先分别反思他们最近或难忘的研究项目的科学过程,列出整个过程中所采取的步骤。接下来,参与者将他们个人建模工作流程中的决策步骤映射到我们之前准备好的建模工作流程模板上(osf.io/fgd23),这个模板受到了我们通用工作流程的指导(图1)。然后,我们共同审查并完善了建模工作流程,形成了一套标准的建模阶段和常见的决策步骤,这些构成了预注册模板的基础(图1,步骤3)。
2.4 开发自适应预注册方法
我们开发了一种将预注册应用于基于模型的研究的方法,即自适应预注册(图1,步骤3),该方法包括两个关键组成部分:注册的灵活性和中间预注册。我们总结了该方法,并引导读者参考我们的用户指南,以获得关于如何在实践中实施自适应预注册的更详细指导(Gould, Jones等人,2026年;附录S3)。
2.4.1 注册的灵活性
注册的灵活性包括预注册“部署灵活策略的计划”(Srivastava,2018年),其中预注册作者指定了包含替代分析或建模策略的灵活启发式方法,这些策略的执行取决于之前决策点或分析的结果。例如,当面临无法在不观察部分数据的情况下解决的方法论或分析不确定性时,建模者可以预注册一个决策树,该决策树包含了关于何时应实施特定建模策略或决策的预定义规则(Baldwin等人,2022年)。充分注册灵活分析有三个要求:
- 说明需要知道什么量才能继续进行建模和分析,以及为什么需要知道这些量。
- 描述将用于生成该量的分析方法,以及将使用数据的哪些部分。
- 解释如何解释结果,列出每个正在考虑的替代方案以及触发每个决策的分析结果。
2.4.2 中间预注册
建模者遵循一个与建模并行的迭代预注册过程,包括在观察到不同数据部分时标记建模和分析关键阶段的中间预注册(Srivastava,2018年)。随着建模者进行模型开发过程,他们从构思和预注册转向执行预注册的分析计划,然后再回到构思和预注册,根据中间预注册中描述的灵活启发式方法观察到的结果,在模型开发过程中的不同点生成中间预注册(图2)。从分支建模路径中实现的建模路径将取决于每次中间预注册中注册的灵活分析的结果。
2.4.3 自适应预注册的透明文档记录
理想情况下,为了透明地记录自适应预注册过程并便于对灵活的建模和分析策略进行预注册检查(我们方法和模板的一个预期用途,第2.1节),任何中间和最终分析的结果都必须明确地链接回预注册的分析策略。研究人员可以采取简单的步骤来实现这一点,例如,保留初始、中间和最终预注册文档的单独版本;在预注册文档中保留注册的灵活分析的实现和结果,并记录它们的文件名;以及使用具有基本版本控制功能的现有平台,如开放科学框架(OSF,cos.io/products/osf)。
2.4.4 可选:使用git和GitHub进行预注册
使用版本控制来透明地记录基于代码的分析被认为是最佳实践,但在生态学及相关学科中尚未广泛普及(Braga等人,2023年)。我们建议对于已经熟悉这些工具的研究人员,使用git和GitHub作为建模研究自适应预注册的透明文档记录工具(详见用户指南,Gould, Jones等人,2026年;附录S3)。该程序利用GitHub的标签和发布功能(help.github.com/en/github/administering-a-repository/releasing-projects-on-github)结合语义版本控制(semver.org)来跟踪、记录和协作处理预注册文档和分析的变更。建模代码和结果与预注册文档一起存储在项目仓库中,并使用GitHub的“问题”(参见Braga等人,2023年的解释和定义)来跟踪预注册中描述的离散分析任务。GitHub问题对于注册的灵活分析特别有用,有助于记录注册的灵活分析结果的任何解释及其对后续预注册理由的影响;注册的灵活分析的结果记录在该问题中,并超链接到预注册文档中的注册启发式方法,以及关于基于这些结果应选择哪个决策选项的解释。
2.5 通过案例研究评估和改进自适应预注册
我们预注册了一个基于模型的真实世界研究问题作为评估预注册模板和提出的自适应预注册方法的案例研究(图1,步骤4)。该案例研究分析了环境流量对澳大利亚维多利亚州河岸植被状况维持的有效性(Jones等人,2025年;Jones, Vivian等人,2026年),这是维多利亚环境流量监测和评估计划(VEFMAP)的一个组成部分,这是一个由Arthur Rylah环境研究所进行的大规模、长期监测计划。案例研究数据是在维多利亚动植物保护法的研究许可下收集的,许可编号为10010953。VEFMAP研究团队由一个项目负责人(CJ)组成,他负责建立概念框架和研究问题,这些问题为分析提供了信息,以及一名建模者(HW),他在首席建模者(JDY)的指导下进行了大部分编码和探索性分析。团队中的建模经验从中级到高级不等,预注册是由案例研究团队和研究负责人(EG)共同完成的。除了使用git和GitHub遵循自适应预注册协议外,我们还利用git和GitHub的版本控制和协作项目管理功能(Braga等人,2023年)来实时开发预注册模板并收集案例研究研究人员对模板和自适应预注册方法的反馈。例如,在完成案例研究预注册的过程中,如果我们发现建模过程中遗漏了重要步骤,或者发现模板的顺序和结构应该改变,那么建议的变更及其理由会被记录在GitHub讨论中。我们还对案例研究研究人员进行了后续的半结构化访谈,以收集详细的反馈。
3 结果
3.1 预注册模板
最终的预注册模板是通过在用户研究工作坊中对草案模板的应用并应用于案例研究而完善的,托管在github.com/egouldo/EcoConsModPreReg,并提供为Quarto Markdown扩展(Gould,2026年),可以安装并以html、pdf和docx格式呈现(附录S4和S5)。通过将初始模板应用于案例研究而开发的中间版本可以在案例研究预注册文档的GitHub提交历史中找到(github.com/egouldo/VEFMAP_VEG_Stage6/commits/master/analysis/preregistration_template.Rmd,osf.io/sq5j4/files/aup5f),或者在案例研究GitHub仓库的发布中找到(github.com/egouldo/VEFMAP_VEG_Stage6/releases,osf.io/sq5j4/files/jdbr7)。
3.2 案例研究的发现
我们的预注册模板和自适应预注册方法应用于环境流量建模案例研究分为三个不同的阶段(表1;图3),在最终预注册(V3,附录S6;Jones, Yen等人,2026年)之前进行了两次中间预注册(V1和V2),每个阶段都对应于“预注册”和“建模和分析”过程中的不同阶段。在准备版本1时,建模者决定需要进行分析以确定适当的候选模型。他们预注册了一个“初步分析”(V2),该分析使用了完整数据集的一个子集(数据集没有被丢弃),以保留一定程度的数据依赖决策,同时允许进行一定程度的探索性分析。初步分析涉及探索性分析,以指导对完整数据集的“主要分析”的模型规范和分析(V3,附录S6;Jones, Yen等人,2026年)。在我们的案例研究中出现了几类数据依赖决策(Liu等人,2020年),这些决策是通过结合注册的灵活性和中间预注册来管理的:
- 数据流依赖性:一个决策的输出是另一个决策的输入。例如,在案例研究的主要分析中,基于完整数据集参数化的模型经过了一系列模型检查,如预注册版本3中的决策树所示(图4),模型检查的结果影响了事先指定的替代模型结构和模型功能形式。
- 信息依赖性:一个决策影响另一个决策。例如,来自探索性初步分析(中间预注册V2,表1)的结果影响了预注册版本3中指定的模型结构,以及触发其拟合和接受的决策启发式方法。
- 程序依赖性:如果做出了一些上游的替代决策,那么下游的决策就不会存在。例如,如果初步分析没有揭示数据的过度分散或零膨胀,那么案例研究建模者就不会拟合零膨胀的泊松模型,也不会尝试使用负二项模型来解释过度分散或重新拟合(图4)。
图3 在图查看器中打开 PowerPoint
实施自适应预注册。预注册(蓝色步骤)和建模及分析过程(橙色步骤)并行进行。紫色标签代表git标签,对应于预注册的增量版本。对分析计划的任何更改都会收到GitHub的发布和主要版本号的增加。步骤3对应于初始预注册文档,步骤6对应于中间预注册,步骤8对应于最终预注册。最终预注册的执行发生在步骤9。请注意,使用git和GitHub是可选的(见第2.4.4节)。
2.4.3 自适应预注册的透明文档记录
理想情况下,为了透明地记录自适应预注册过程并便于对灵活的建模和分析策略进行预注册检查(我们方法和模板的一个预期用途,第2.1节),任何中间和最终分析的结果都必须明确地链接回预注册的分析策略。研究人员可以采取简单的步骤来实现这一点,例如,保留初始、中间和最终预注册文档的单独版本;在预注册文档中保留注册的灵活分析的实现和结果,并记录它们的文件名;以及使用具有基本版本控制功能的现有平台,如开放科学框架(OSF,cos.io/products/osf)。
2.4.4 可选:使用git和GitHub进行预注册
使用版本控制来透明地记录基于代码的分析被认为是最佳实践,但在生态学及相关学科中尚未广泛使用(Braga等人,2023年)。我们建议对于已经熟悉这些工具的研究人员,使用git和GitHub作为建模研究自适应预注册的透明文档记录工具(详见用户指南,Gould, Jones等人,2026年;附录S3)。该程序利用GitHub的标签和发布功能(help.github.com/en/github/administering-a-repository/releasing-projects-on-github)结合语义版本控制(semver.org)来跟踪、记录和协作处理预注册文档和分析的变更。建模代码和结果与预注册文档一起存储在项目仓库中,而GitHub的“问题”(参见Braga等人,2023年的解释和定义)用于跟踪预注册中描述的离散分析任务。GitHub问题对于注册的灵活分析特别有用,有助于记录注册的灵活分析结果的任何解释及其对后续预注册理由的影响;注册的灵活分析的结果记录在该问题中,并超链接到预注册文档中的注册启发式方法,以及关于基于这些结果应选择哪个决策选项的解释。
2.5 通过案例研究评估和改进自适应预注册
我们预注册了一个基于模型的真实世界研究问题作为评估预注册模板和提出的自适应预注册方法的案例研究(图1,步骤4)。该案例研究分析了环境流量对澳大利亚维多利亚州河岸植被状况维持的有效性(Jones等人,2025年;Jones, Vivian等人,2026年),这是维多利亚环境流量监测和评估计划(VEFMAP)的一个组成部分,这是一个由Arthur Rylah环境研究所进行的大规模、长期监测计划。案例研究数据是在维多利亚动植物保护法的研究许可下收集的,许可编号为10010953。VEFMAP研究团队由一个项目负责人(CJ)组成,他负责建立概念框架和研究问题,这些问题为分析提供了信息,以及一名建模者(HW),他在首席建模者(JDY)的指导下进行了大部分编码和探索性分析。团队中的建模经验从中级到高级不等,预注册是由案例研究团队和研究负责人(EG)共同完成的。除了使用git和GitHub遵循自适应预注册协议外,我们还利用git和GitHub的版本控制和协作项目管理功能(Braga等人,2023年)来实时开发预注册模板并收集案例研究研究人员对模板和自适应预注册方法的反馈。例如,在完成案例研究预注册的过程中,如果我们发现建模过程中遗漏了重要步骤,或者发现模板的顺序和结构应该改变,那么建议的变更及其理由会被记录在GitHub讨论中。我们还对案例研究研究人员进行了后续的半结构化访谈,以收集详细的反馈。
3 结果
3.1 预注册模板
最终的预注册模板是通过在用户研究工作坊中对草案模板的应用并应用于案例研究而完善的,托管在github.com/egouldo/EcoConsModPreReg,并提供为Quarto Markdown扩展(Gould,2026年),可以安装并以html、pdf和docx格式呈现(附录S4和S5)。通过将初始模板应用于案例研究而开发的中间版本可以在案例研究预注册文档的GitHub提交历史中找到(github.com/egouldo/VEFMAP_VEG_Stage6/commits/master/analysis/preregistration_template.Rmd,osf.io/sq5j4/files/aup5f),或者在案例研究GitHub仓库的发布中找到(github.com/egouldo/VEFMAP_VEG_Stage6/releases,osf.io/sq5j4/files/jdbr7)。
3.2 案例研究的发现
我们的预注册模板和自适应预注册方法应用于环境流量建模案例研究分为三个不同的阶段(表1;图3),在最终预注册(V3,附录S6;Jones, Yen等人,2026年)之前进行了两次中间预注册(V1和V2),每个阶段都对应于“预注册”和“建模和分析”过程中的不同阶段。在准备版本1时,建模者决定需要进行分析以确定适当的候选模型。他们预注册了一个“初步分析”(V2),该分析使用了完整数据集的一个子集(数据集没有被丢弃),以保留一定程度的数据依赖决策,同时允许进行一定程度的探索性分析。初步分析涉及探索性分析,以指导对完整数据集的“主要分析”的模型规范和分析(V3,附录S6;Jones, Yen等人,2026年)。在我们的案例研究中出现了几类数据依赖决策(Liu等人,2020年),这些决策是通过结合注册的灵活性和中间预注册来管理的:
- 数据流依赖性:一个决策的输出是另一个决策的输入。例如,在案例研究的主要分析中,基于完整数据集参数化的模型经过了一系列模型检查,如预注册版本3中的决策树所示(图4),模型检查的结果影响了事先指定的替代模型结构和模型功能形式。
- 信息依赖性:一个决策影响另一个决策。例如,来自探索性初步分析(中间预注册V2,表1)的结果影响了预注册版本3中指定的模型结构,以及触发其拟合和接受的决策启发式方法。
- 程序依赖性:如果做出了一些上游的替代决策,那么下游的决策就不会存在。例如,如果初步分析没有揭示数据的过度分散或零膨胀,那么案例研究建模者就不会拟合零膨胀的泊松模型,也不会尝试使用负二项模型来解释过度分散或重新拟合(图4)。
图3 在图查看器中打开 PowerPoint
图3 显示了案例研究中预注册迭代过程中模型开发的演变。每个预注册版本对应于模型开发的不同阶段,如表1所总结的。在初始预注册(V1)中指定了每个响应变量的最大模型。接下来预注册了探索性和初步分析以及数据分割(V2),旨在解决数据约束下的模型规范不确定性。初步分析确定了三个简化植被丰富度的候选模型和两个植被覆盖度的候选模型。这些模型结构已在主分析(V3)的最终预注册阶段进行了预先注册,同时注册了用于确定模型结构和功能形式的灵活性。主分析中的两个注册灵活性步骤(用蓝色表示)是根据数据探索和初步分析(V2)期间进行的注册分析得出的,并在图4中进一步描述。主分析被预先注册为在完整数据集上进行。在进行预注册的主分析过程中,确定了三个最终模型用于模型拟合和分析:一个模型用于植被覆盖,另外两个模型用于植被丰富度分析,其中一个模型考虑了“流量事件”(春季和夏季的短暂洪水),另一个模型考虑了“流量制度”(每年高于基流的天数和高于春季短暂洪水的天数)。图4在图查看器中打开。
在案例研究的预注册过程中应用了注册的灵活性,用于选择模型结构(a)以及选择替代的功能形式,而不是默认的零膨胀泊松模型(b)。
3.2.1 中间预注册(版本1和2)
在版本1中预注册了两个初始的“最大”模型(图3),每个研究响应变量一个;然而,由于样本量相对于数据的复杂性和时空斑块性来说较小,建模者不确定这些模型是否能够得到数据集的支持。预注册版本2描述了一个探索性的初步分析,旨在解决关于如何根据数据约束操作化模型以及如何指定一组可以实际拟合到完整数据集的候选模型的关键不确定性(表1)。这涉及将数据集划分为一个“初步分析”子集,以便做出数据驱动的建模决策,这些决策随后在主分析的预注册阶段进行了预先注册(V3,表1;图3)。初步分析数据集包括来自一个具有良好时间数据覆盖率的单一站点的观测数据,而主分析数据集则包含了完整的 data 集合,包括初步分析数据集。初步分析为如何根据数据集的底层结构操作化模型提供了指导。例如,需要对层次结构中的数据分布进行简单测试,以检查数据分布和零膨胀的存在,同时需要检查候选预测变量之间的共线性,以防止混淆和过拟合,并确保模型中捕获了相关的交互作用。评估模型拟合和模型检查的相同程序已为初步分析和主分析预先注册(图4b),但初步分析中模型检查的目的是确定适当的模型结构,而主分析的目的是确保拟合的模型得到数据的支持。
3.2.2 最终预注册(版本3):主分析
在预注册的版本3中,我们推导并预先注册了:
- 每个响应变量(植被丰富度和植被覆盖度)的首选候选模型或“完整模型”,以便将其拟合到完整数据集(初始预注册,图3;附录S6,第13页;Jones, Yen等人,2026年)。
- 一组简化的候选模型,分别捕捉每个响应变量的不同流量成分,包括两个版本的植被覆盖度流量事件模型(流量事件模型A和B,图3;附录S6,第20-21页;Jones, Yen等人,2026年)。
- 决策树,用于在首选的完整模型规格未能收敛和/或提供适当的参数估计时触发候选简化模型的拟合和接受(图3;图4a)。
- 第二种灵活策略,用于确定模型功能形式并考虑潜在的过度分散(图3;图4b)。预先注册这种灵活性是由于建模者担心完整数据集中的实际数据分布与初步分析所提供的预期不匹配。选择模型族的这一最终决策点是主观的且模糊的,无法明确表达或预先注册三个模型性能标准之间的权重。相反,建模者解释说,最终决策将基于模型可靠捕捉关键关联的整体能力。
3.3 实践中的自适应预注册:好处和挑战
在用户测试结束时,案例研究的研究人员得出结论,预注册是一个促进良好建模实践的宝贵工具,但也承认在自适应预注册过程中遇到了一些困难(表2)。
表2. 生态建模中使用自适应预注册的挑战、好处和附加价值的总结,以及相关建议。
- 决定模板分辨率:使预注册模板具体、精确和全面可能需要花费大量时间。什么是适当的分辨率?案例研究中首次使用的预注册模板笨重且难以处理。通过重构、删除和合并模板项来降低分辨率,使任务更加容易处理。
- 如果模板不能满足项目需求,请愿意对其进行修改。任何尝试预注册都比不进行任何预注册要好——JDY
- 决定模板格式:视觉设计、呈现和格式会影响可用性。通过使用可折叠的帮助信息和解释性文本框以及彩色图标来区分预注册项和解释性文本,提高了初始预注册的清晰度,并促进了使用模板的更高效完成。
- 选择不需要太多技能提升的投资版本控制平台:自适应预注册要求将预注册的中间版本存放在一个理想情况下具有版本控制的单一位置。一些平台的 learning curve 比其他平台更陡峭,影响了预注册的效率。
- 使用 GitHub 跟踪预注册的迭代过程与使用 GitFlow 方法同时协作分析代码和跨分支进行预注册相结合证明是困难的。首席建模者(JDY)经常使用 git 进行版本控制,但对 GitHub 的 Web GUI 不太熟悉。在首席建模者的总体指导下,第二位建模者(HW)承担了大部分编码和探索性分析工作,但对版本控制系统不太熟悉,也不熟悉协作代码库开发工具,如 GitHub。项目投入了大量时间来开发协作的 GitHub 工作流程,并使两位建模者熟悉这种方法。
- 确保在建模决策和注册的灵活性在预注册检查时得到准确记录并且易于区分:对于复杂的建模研究,特别是当有多个模型被预注册和/或在模型选择方法中有多个模型需要考虑时,很难跟踪和准确记录分析决策,包括灵活的决策启发式方法。
- 在检查预注册以编写案例研究报告时,首席作者(EG)发现很难清楚地识别出选择替代模型功能形式的注册决策触发因素,因为相关信息分散在预注册的多个小节中(附录S6,4.3.1 定量模型检查,3.2.2 选择模型族,3.5 模型假设和不确定性,3.4.2 估计性能标准,Jones, Yen等人,2026年)。此外,一些关于模型选择过程的决策是基于建模团队的隐性知识,而没有记录在预注册中。
- “我无法理解为什么在功能组级别拟合了二次关联而不是线性关联,因为在预注册的完整模型描述和伪代码中没有描述这些。经过大量努力后,才发现这个决策在多个小节中有描述”——EG。
- 自适应预注册可能与现实世界应用中的模型管理工作流程不兼容:操作程序可能会在研究时间线的早期就限制分析决策,要求建模者更早并且在整个研究过程中参与进来。在学术环境中可能比在政府或工业环境中更容易克服操作限制。
- 在案例研究机构,与许多处理应用问题的组织类似,建模者通常在研究项目的后期才被纳入研究项目,并且在有限的时间内(例如,在报告编写前的5天内)进行建模,他们对数据来源、依赖结构和底层分布的了解有限。遵循自适应预注册程序——其中包含了几轮迭代规划和预注册、实施和分析——要求建模者在研究过程中比平时更早地参与进来。为了使自适应预注册变得普遍,案例研究机构需要在操作程序和文化上做出改变。
- 预注册灵活的分析很困难,可能会延迟研究过程,特别是当分析的复杂性增加时:在某些条件下,制定替代决策路径及其决策触发因素是具有挑战性的:当底层数据集复杂、建模者不熟悉、数据存在零膨胀和过度分散以及样本量较小时。另一方面,对于简单的数据类型和结构,“标准”或“常用”的分析更为熟悉,因此直接项目的预注册可能会花费更少的时间。
- 在分析数据之前工作和记录分析决策的过程大大延迟了分析的完成时间。在这种情况下, mental 上预测潜在分析场景和决策路径的任务特别具有挑战性,因为数据集复杂且建模者不熟悉。与影响鱼类对环境流量响应的过程和模型相比,植被模型的发展相对较少。首席建模者对鱼类计数的建模更为熟悉,并反映在这些情况下分析的不确定性会较少,这将使预注册灵活性的任务变得更加容易。
- 自适应预注册起初可能会延迟研究过程,因为必须仔细考虑所有可能的情景并记录下来,而不是只需要弄清楚第一部分然后开始。我原本预计这种延迟大约是一个月;然而,由于我们之前从未尝试过预注册,同时还将信息反馈到自适应预注册过程中,模型设计和结构非常复杂且与我们过去所做的不同,所以延迟时间要长得多。
- 自适应预注册一开始可能很困难,因此会减慢研究过程,但随着对预注册的熟悉和经验的积累,它会变得更容易和更高效。
- 预注册决策树和触发某些模型选择的启发式方法是案例研究建模者面临的最困难和耗时的方面。然而,随着实践和经验的积累,他们预计自适应预注册会变得更加容易和快捷。
- 从长远来看,一开始规划分析可能会节省时间:使用一个结构化的工作流程,提前仔细考虑建模决策点和选项,可以减少后期需要反复调整的范围。有一个可供参考的文档化计划也可以节省类似未来任务和报告编写的时间。
- 通常,建模团队在模型开发过程中采用更多基于试错的方法,特别是在概念模型、变量定义和模型参数不确定的情况下(例如 VEFMAP 的植被组成部分,与鱼类模型相比)。自适应预注册迫使建模者偏离他们通常的迭代过程,转向预先仔细考虑和充分论证的模型构建。案例研究中的建模者认为,建模过程在模型编码方面节省了时间,并通过防止模型和代码的迭代调整以及在决策和实施这些变化时减少建模团队成员之间的来回沟通。
- 毫无疑问,使用自适应预注册在过程结束时节省了一些时间,但很难说具体节省了多少时间。将研究过程从基于试错的方法转变为事先经过深思熟虑的模型构建,肯定在编码和反复调整阶段节省了时间。在撰写报告时,这份文档非常有帮助。我们还拥有一个满意的实例,可以用来参考或提醒自己过去是如何处理某个步骤的。——CJ
提前预注册模型结构和预测因子,加强了方法与原始研究目标/概念之间的联系。预注册需要仔细考虑候选预测因子和可能的模型结构。案例研究的建模者承认,尽管模型开发的总体方法可能会遵循类似的进展(例如,从基本的泊松模型扩展到处理零膨胀和过度离散问题,同时将候选预测因子集缩减到最可行的集合),但在没有自适应预注册的情况下,他们可能会在没有明确标准的情况下选择某个模型(需要注意的是,这些标准在预注册研究中仍然相对模糊)。
“如果这些模型是在没有预注册的情况下开发的,很多思考都可能是‘即兴’的,这可能会在一系列标准下获得更好的模型拟合度,但可能与研究的目标和概念基础的联系较弱。”——JDY
自适应预注册通过将建模过程的性质从宽松限制和迭代式的试错策略转变为更加受限的、目标导向的分析,减少了研究者的自由度。将松散定义的初步分析与数据子集结合起来,有助于将数据探索正式纳入分析决策过程。在考虑如果没有预注册的情况下案例研究建模会如何进行时,项目负责人和首席建模者都认为,预注册过程会得到与标准实践相似的结果,但由于模型选择过程比通常情况更加受限,可能会选择一组不同的预测因子(包括完全不同的预测变量)。
“我认为如果没有预注册,我们可能会尝试更多的模型结构和变量变体。在开始标准的数据检查以确定适当的模型结构后,我通常会运行简单的模型来看看是否可行。然后我会逐步增加复杂性,并在出现问题时进行故障排除。特别是,我会根据生态预期和模型输出来调整制度变量的定义。”——CJ
自适应预注册提高了研究的透明度。在预注册中指定建模和分析计划,并对选择进行理由说明,确保决策得到更详细的记录和报告。通常,只有最终模型会被报告。使用初步分析的中间预注册确保了探索性分析被记录下来,否则这些分析可能不会被记录,其结果与预注册的主要分析中的候选模型结构选择明确相关联。特别是,项目负责人指出,分析的早期阶段被记录下来,而这些早期阶段的决策和分析(如数据清洗和处理决策)通常不会被报告。
“我们会像进行预注册一样进行广泛的数据审查,但这个过程不会被很好地记录下来,这样就很可能会导致过程中出现漏洞,从而增加出错的可能性。”——CJ
自适应预注册提高了研究的责任感。记录整个过程有助于向资助者和决策者展示责任感。项目时间线包括几个报告里程碑和审查过程。在早期到中期阶段,建模者能够向资助者分享预注册文档,说明他们打算如何进行分析,传达特定分析选择的理由,并展示时间投入。“我很高兴有预注册文档可以用来分享或参考报告里程碑和审查过程。项目时间很长且复杂,还有几次延误,因此有一个清晰的文档概述整个过程非常好,这样我们可以回顾并检查是否遗漏了计划中的某个元素。”——CJ
自适应预注册鼓励建模者与其他研究参与者之间的定期沟通。团队成员之间的清晰沟通提高了模型输出与项目目标一致性的机会。自适应预注册过程(就像静态预注册一样)要求所有参与数据收集和建模的人进行清晰沟通。频繁的沟通使分析的目的和范围更加明确,这可能导致模型输出与项目目标更加一致。
预注册有助于为经验较少的研究人员澄清良好的实践和流程。首席建模者和助理建模者在案例研究期间密切合作,助理建模者在首席建模者的监督下实施部分模型开发和编码工作。自适应预注册及其中间预注册的迭代性质可以帮助经验较少的研究人员记录他们的分析选择理由,并在继续之前与专家或更有经验的建模者进行验证,从而能够自信地推进工作。“这个过程有助于避免未来的问题,提高研究实践的透明度和质量,对于希望提升技能的经验较少的研究人员来说非常有用。我强烈建议每个人都去了解一下它是如何工作的,以及它对自己和/或同事可能带来的好处。”
在短时间内制定预注册和分析计划,以防止机构或组织的变化干扰研究过程。这里介绍的案例研究是在几年内开发的,在此期间有人员流动和项目约束(包括预算)的变化,这使得过程变得复杂。自适应预注册提供了项目当前状态的书面记录和档案,以便在关键人员意外缺失时能够迅速继续进展。“如果我们的生物统计学家出了问题(例如生病或其他原因缺席),拥有预注册文档将非常重要。如果我们有他们的代码和预注册文档,另一位生物统计学家就能很快获得继续工作所需的一切。”
4. 讨论
预注册的潜在好处是显而易见的:它鼓励谨慎和深思熟虑的分析,限制了研究者的自由度,并减少了可能破坏研究的可疑研究实践(QRPs)。预注册可以提高科学研究的可重复性和可靠性(Koivisto & M?ntyl?, 2024)。现有的预注册模板最适合假设检验研究,而不太适合生态学家常用的分析风格:即对复杂关系的迭代建模,经常在探索性和验证性实践之间切换(Alspaugh et al., 2019; Connolly et al., 2017; Prosperi et al., 2019)。尽管迭代使得基于模型的研究难以进行预注册,但这并不完全排除它的可能性。在这里,我们展示了自适应预注册如何通过结构化、原则性和灵活的方法促进最佳实践。尽管有人担心预注册可能会限制创造力和灵活性(Pu et al., 2019)并减少研究人员对数据的参与(MacEachern & Van Zandt, 2019),但我们的案例研究表明,自适应预注册可以提高过程、研究结果和分析决策的可重复性和透明度(Liu et al., 2020)。通过将规划阶段与分析分开,我们的案例研究研究人员发现,结构化的方法使建模和分析活动更加集中,保持了方法论决策与研究目标和概念模型之间的明确联系,同时提供了必要的灵活性,以避免陷入不合适的建模方法(表2)。通过注册的灵活性、数据子集和中间预注册来促进数据探索,自适应预注册用更有目标导向的分析取代了无限制的探索,限制了研究者的自由度和“钓鱼式”探索。在没有自适应预注册的情况下,案例研究的建模者认为他们可能会从一个更大的决策空间开始,在过程中尝试更多的模型结构和预测变量实现方式,从而增加过拟合的风险(Lewis et al., 2023)。虽然自适应预注册由于其更大的灵活性可能会增加过拟合的风险,但它比当前的做法(没有预注册)有了显著的改进,并包含了针对导致过拟合的QRPs的具体保护措施。通过注册的灵活性,自适应预注册通过使数据依赖的决策系统化而不是机会主义,遵循透明和预先指定的建模选择标准,而不是为了期望的结果进行优化(Gould, Fraser, Wintle et al., 2026),从而防止了机会主义的QRPs。重要的是,通过将探索性活动正式纳入预注册过程,自适应预注册揭示了可能涉及QRPs的初步分析,而这些在静态预注册方法中是隐藏的,在那里这种探索发生在正式预注册之前和之外。我们的研究结果还表明,自适应预注册提高了分析和模型的透明度(Bodner et al., 2020; Lupia & Elman, 2014),因为它确保了建模选择、步骤、假设和对结果的期望被比通常更详细地表达出来(Schmolke et al., 2010)。记录中间模型、分析和结果揭示了探索性和数据依赖性分析对建模选择的影响。在我们的案例研究中,使用明确的提示来选择不同的模型功能形式,并透明地证明这些选择,阐明了分析的分岔路径,这在生态建模中往往是不透明的(Fitzpatrick et al., 2021; Schmolke et al., 2010)。建模既被视为一种“艺术形式”,也是一门科学(Smaldino, 2020)。在编写预注册时,解开根深蒂固的隐性知识可能需要时间,尤其是在第一次进行时,但为未来研究相同或类似问题的研究人员捕捉这些专业知识具有明显的价值。我们的案例研究建模者花了多次尝试才完全表达出注册的灵活性,也许是因为这些程序在他们的实践中已经是第二天性,但通过指导用户完成特定的建模任务,预注册促使建模者明确识别、记录和证明隐性的建模选择。
4.1 自适应预注册何时有用?我们强调,自适应预注册并不是为了替代那些可以通过现有静态方法充分服务的研究。相反,我们的案例代表了一个对静态预注册来说特别具有挑战性的场景:建模团队不熟悉植被响应数据结构,对适合该系统的模型形式了解有限,并且面临需要基于假设的结论而不是纯粹开放性探索分析的机构约束。这些条件在应用生态学研究中很常见,使得在没有风险承诺不合适方法的情况下无法事先指定一个完整的分析计划。案例研究示例了自适应预注册旨在解决的信息和程序依赖性(第3.2节):初步分析的结果影响了模型结构的选择(信息依赖性),某些模型类型(零膨胀泊松、负二项式)只有在初步分析揭示了具体的数据属性后才变得相关(程序依赖性)。虽然现有的预注册方法适用于熟悉的分析情境,但我们认为当研究涉及这些类型的合法顺序决策和/或高数据-模型不确定性时,自适应预注册最为有益,因为研究人员无法合理预测预期的模型是否会被不熟悉或复杂的数据集支持。在这种情况下,静态预注册会迫使研究人员做出推测性的承诺,或者需要事后进行广泛的解释。
4.2 我们的案例研究中使用自适应预注册遇到的困难
我们的案例研究研究人员报告说,自适应预注册最具挑战性的方面包括提前预测分析决策,以及模型管理和时间线的变化。注册灵活性需要仔细考虑和时间来充分捕捉分析决策点并描述解决这些决策的过程。在我们的案例研究中,虽然选择模型功能形式的决策启发式在预注册中得到了准确的记录,但在主要分析的预注册中,确定模型结构的过程没有得到充分的指定。这是因为预注册没有规定该启发式应该仅适用于某些模型而不适用于其他模型(例如流量事件模型而不是流量制度模型,图3)。案例研究的研究人员反映,由于对复杂和零散数据集中潜在系统动态的巨大不确定性,预测潜在的分析场景和决策路径变得复杂。尽管预注册过程非常详细,但它并未完全捕捉到建模者所意图和实际实施的模型选择策略。在初步分析(预注册V2,表1)中确定了一组较简单的模型后,建模者通过迭代尝试不同的模型术语组合,以生成更接近最初预注册中确定的更复杂“最大”模型的结果。预注册的规范并没有说明将尝试哪些模型术语组合以及尝试的顺序,这导致模型选择过程的某些方面未被记录下来。由于项目时间紧迫,用于迭代审查分析规范决策的时间有限,结果导致建模过程的某些部分在预注册中被遗漏了。在理想情况下,如果更严格地遵循我们的自适应预注册用户指南,本可以避免案例研究中的不足之处。然而,我们的案例研究面临着现实世界中常见的资源限制,例如,需要培训研究团队成员掌握git和GitHub等工具。我们使用模板和自适应预注册方法论的第二个目标是促进“预注册检查”——即验证研究中报告的分析内容是否与预注册的内容一致(Pu等人,2019年)。我们通过自适应预注册方法论本身来实现这一目标,特别是通过注册的灵活性和中间预注册机制,以及我们的版本控制协议。这些措施有助于将研究过程中实现的数据依赖型建模路径与每个决策点的所有决策选项进行比较,为任何数据依赖型的预注册分析提供明确的理由。通过对预注册文档进行版本控制,可以明确地展示预注册从一个版本到下一个版本的演变过程,例如,GitHub的“diff view”功能可以准确地显示文档在不同版本之间的变化(Gould、Jones等人,2026年;附录S3;图1)。此外,我们在协议中使用GitHub issues来跟踪每个分析的发现,并将其与相应的预注册条目关联起来。通过查看每个预注册条目的GitHub issue,任何检查预注册的人都可以清楚地了解实施的分析和发现结果,以及后续的分析情况。由于我们自己的案例研究应用存在局限性(如上所述),分析路径和理由仅对某些预注册条目是透明的(例如预注册的数据清洗和处理任务,附录S7中的图2.11),或者只是部分透明,因为一些分析计划的变更记录得不够清晰(例如附录S7中的图2.12),但没有明确地将这些变更与建模和分析代码的变更联系起来。因此,我们在促进预注册检查方面只部分实现了目标。这些因素加在一起可能会让研究人员认为自适应预注册会减慢研究进程,因为它将决策和规划提前到了项目的时间线中,从而延迟了分析的实现(Evans等人,2023年),这可能与现有的机构在模型治理、管理和运营支持方面的做法不一致(例如Arnold等人,2020年,第2页)。事后看来,如果能在项目规划阶段更早地让建模者和/或生物统计学家参与进来,让她们有足够的时间来审查、记录并将分析决策与项目目标更好地联系起来,案例研究的预注册过程可能会更高效、更明确。由于数据限制和模型结构的不确定性,这个案例研究是一个特别复杂的分析案例,不适合直接应用自适应预注册方法。对于较简单的分析,一旦广泛理解了这一过程,自适应预注册可能会变得容易一些。我们认识到,学习和实施新方法在一开始可能并不吸引人,尽管自适应预注册可能会在后期节省时间,但它可能需要重新安排项目的时间线和资源。基于我们对案例研究的反思,我们在框1中为希望实施自适应预注册的研究人员提供了一些建议。
框1. 实施自适应预注册的提示:
随着研究人员对预注册越来越熟悉,自适应预注册应该会变得更加容易和高效。在首次实施自适应预注册时,我们建议以下几点:
- 从简单的描述或要点开始,在预注册响应中逐步增加细节和复杂性,并进行彻底和持续的协作审查。
- 参考现有的预注册案例,以指导研究人员完成自己的预注册。
- 虽然目前生态学领域的预注册案例还很少,但随着未来越来越多的期刊提供注册报告的出版途径(例如《保护生物学》、《生物保护》、《生态学杂志》和《自然生态与进化》),研究人员可以期待预注册案例的数量会逐渐增加。现有的注册仓库,如OSF Registries(osf.io/registries/discover),也可以用来搜索相关资料。
- 为特定应用(例如预测与推断,或专门的复杂方法和研究设计)开发精细的模板可能是必要的,以便充分捕捉分析决策。
- 随着时间的推移和社区的采用,建模方法和应用中常见的决策点可能会自然地发展出一些共性。我们的模板为研究人员提供了一个起点,他们可以根据需要使用、修改和补充。
- 对于一些研究人员来说,使用版本控制来透明地记录自适应预注册过程可能过于复杂。在这种情况下,或者对于较简单的分析,可以为同一研究分别预注册顺序分析计划,并使用元数据来链接一系列预注册内容,而不需要跟踪相关的分析文件。
- OSF目前允许在提交后更新预注册内容(但不允许更新项目文件,帮助信息:help.osf.io/article/410-registration-files#ViewingPrevious)。
- 任何首次尝试实施自适应预注册的过程都不太可能完美无缺,肯定会有一些错误和遗漏的细节。在研究报告中坦诚面对这些问题仍然比完全避免预注册要好。
4.3 未来工作
虽然我们认为我们已经通过自适应预注册协议部分解决了基于模型的研究的预注册问题,但仍有许多工作需要完成,特别是在确定预注册模板的适当分辨率和开发能够有效且透明地处理灵活分析的基础设施方面。
4.3.1 建模预注册模板的正确分辨率是什么?我们的目标是设计一个“简洁”的预注册模板,即(1)模板条目应该足够具体和全面,以充分限制研究人员的自由度(Wicherts等人,2016年),从而(2)便于透明地记录研究过程中的建模路径和决策,同时(3)不需要过于详细的程度。提高模板在捕捉整个建模过程中决策的完整性和分辨率可能会增强预注册限制研究人员自由度和透明报告结果的能力;然而,这也使得预注册变得更加具有挑战性。在用户测试过程中对模板进行改进大大降低了预注册的难度。然而,我们的案例研究中的研究人员承认,一些建模者可能仍然认为最终模板过于繁琐,不愿意投入时间进行预注册。案例研究的写作和报告阶段也突显了需要不断改进模板内容和结构,以实现自适应预注册的第二个用途:“预注册检查”。在案例研究的预注册模板中,用于确定替代模型功能形式的注册灵活性分散在多个子部分中,这阻碍了我们在分析后进行预注册检查的能力(表2)。我们在测试过程中简化了模板,但通过在预注册多个或复杂模型时将模块化功能构建到模板和预注册平台中,可能会进一步改进这一问题。我们鼓励研究人员灵活地使用我们的模板和自适应预注册协议进行预注册,采用有效的元素,并尝试更好的实现方式。通过将我们的模板与现有的报告检查清单和指南(例如ODMAP用于报告物种分布模型(Fitzpatrick等人,2021年)相结合,可以开发新的预注册模板,以扩展预注册特定建模方法的应用。或者,研究人员可以开发一个简化版的模板,其中包含最少的条目,以平衡详尽且具体的模板与预先指定分析的资源负担之间的权衡。
4.3.2 鼓励实施和采用自适应预注册
促进(自适应)预注册的广泛采用需要整个研究生态系统的协调行动(O’Dea等人,2021年):研究人员将预注册作为最佳实践来采用和推广,资助者认识到并寻求这些质量标准,期刊通过出版偏好和认可系统来鼓励采用。期刊可以通过扩展注册报告计划来支持预注册的采用,制定评估预注册的基于模型的研究的编辑指南,并培训审稿人评估注册的灵活分析。像开放、可靠和透明的进化生物学协会(SORTEE,https://sortee.org)这样的专业协会,在通过培训研讨会和认可计划来推广最佳实践方面发挥着重要作用。吸引资助者需要证明预注册能够提高研究的质量、效率和声誉。研究人员可以在竞争资金时主动宣传他们的预注册实践作为质量标准,将自己定位为严谨研究的“黄金标准”。开发适当的预注册注册系统是一个关键障碍。现有的注册系统,如开放科学框架(OSF,help.osf.io/article/330-welcome-to-registrations)、OSF Registries(cos.io/products/osf-registries)、As Predicted(aspredicted.org)和EcoEvoArXiv(ecoevorxiv.org),无法支持自适应预注册,因为它们需要专门的工具来捕捉灵活分析、报告其结果,并将其与后续预注册中的决策联系起来。为了规避无法将自适应预注册整合到现有注册系统中的问题,我们在案例研究中描述并演示了一种使用git和GitHub实施自适应预注册并促进预注册检查的协议。然而,GitHub并不符合FAIR(可发现、可访问、可互操作和可重用)数据存档的最低要求(Pick等人,2025年),也不符合预注册的要求(Haroz,2022年)。必须修改现有注册系统或创建新的注册系统来支持自适应预注册。未来的注册系统可以通过根据用户的预注册响应条件性地显示模块化模板内容来进一步简化自适应预注册过程,从而使得预注册内容随着条目的完成而逐步“扩展”。出版商处于有利位置,可以开发或委托(自适应)预注册注册系统,使其与他们的提交系统集成,创建预注册和最终论文之间的透明链接。随着开放科学实践在出版过程中的日益普及,例如《保护生物学》中的可重复性检查清单和《生态学快报》中的数据和代码检查(Thrall等人,2023年),预注册应该通过提高研究的透明度和严谨性来进一步简化出版过程。除了预注册基础设施之外,出版商还可以通过制定标准化的报告指南来支持这一转变,明确说明如何在同行评审过程中处理预注册的研究(那些不是注册报告的研究)。这样的指南可以说明如何在手稿中清晰地引用预注册条目,透明地报告偏差,并展示来自注册的灵活分析的结果。例如,手稿应在方法和结果部分理想地引用相应的预注册条目编号,并明确说明偏差发生的时间和原因(例如参见Gould等人,2025年,其中偏差是通过文本框报告的)。
5 结论
尽管在预注册生态建模方面仍存在挑战,但重要的是要记住不进行预注册的成本和风险。生态建模长期以来一直受到透明度不足的困扰。对建模过程的不完整报告可能导致模型被用于不适当的应用或决策中,或者掩盖了模型设计的缺陷或严重问题,从而在决策制定时产生不利或不可逆的结果。此外,描述生态模型和报告建模过程的缺乏透明度为研究人员提供了未公开的自由度,因此有可能出现QRPs(未经注册的研究),研究人员会常规地执行替代分析并在适当的时候选择性地报告它们。可重复、透明和可靠的模型对于合理的保护决策至关重要,而自适应预注册可以改善建模决策的记录,这有助于在撰写报告时回忆和解释研究方法,帮助他人理解和复制基于模型的研究,并与资助者和利益相关者沟通。我们提供了一个自适应预注册的模板和方法论,希望它能够扩展预注册的好处,从而增强而不是阻碍基于模型的研究。尽管我们在本文中主要关注生态应用,但该模板的许多元素在各个领域都具有通用性,而且这个开源模板可以很容易地适应新的领域和用途。
**作者贡献:**
- 构思:Elliot Gould、Christopher S. Jones、Jian D. L. Yen、Hannah S. Fraser 和 Libby Rumpff
- 数据整理:Elliot Gould、Christopher S. Jones、Jian D. L. Yen 和 Henry F. Wootton
- 形式分析:Elliot Gould、Jian D. L. Yen 和 Henry Wootton
- 资金筹集:Elliot Gould、Libby Rumpff 和 Christopher S. Jones
- 调查研究:Elliot Gould、Christopher S. Jones、Jian D. L. Yen、Hannah S. Fraser、Megan K. Good、Cindy E. Hauser、Henry Wootton、David H. Duncan 和 Libby Rumpff
- 方法论设计:Elliot Gould、Christopher S. Jones、Jian D. L. Yen、Hannah S. Fraser、Megan K. Good、David H. Duncan 和 Libby Rumpff
- 软件开发:Elliot Gould、Christopher S. Jones、Jian D. L. Yen 和 Henry Wootton
- 监督指导:Bonnie C. Wintle、Hannah S. Fraser 和 Libby Rumpff
- 验证工作:Elliot Gould、Christopher S. Jones 和 Jian D. L. Yen
- 数据可视化:Elliot Gould、Christopher S. Jones、Jian D. L. Yen 和 Bonnie C. Wintle
- 初稿撰写:Elliot Gould
- 修订与编辑:所有作者
**致谢:**
感谢 Lyndsey Vivian 在 VEFMAP 案例研究中协助进行数据验证和清理工作。同时感谢参与我们合作研讨会的各位人士。本文的开放获取出版得到了墨尔本大学的支持,这是通过澳大利亚大学图书馆员委员会与 Wiley 墨尔本大学合作协议实现的。
**资金信息:**
本项目得到了维多利亚州能源、环境与气候行动部下属的 Arthur Rylah 环境研究所的支持。Elliot Gould 还获得了澳大利亚政府研究培训计划(RTP)的奖学金(资助信息链接:http://doi.org/10.82133/C42F-K220)。
**利益冲突声明:**
作者声明不存在已知的利益冲突。
**同行评审:**
本文的同行评审记录可访问:https://www.webofscience.com/api/gateway/wos/peer-review/10.1111/210x.70311
**数据可用性声明:**
数据可通过以下链接获取:
- https://doi.org/10.5281/zenodo.19064000 (Jones, Yen, et al., 2026)
- https://doi.org/10.5281/zenodo.19064144 (Gould, Fraser, Jones, et al., 2026)
- https://doi.org/10.17605/OSF.IO/SQ5J4 (Gould, Fraser, Wintle, et al., 2026)