SWAT-UQ:一个用于SWAT模型不确定性分析、校准和优化的平台

【字体: 时间:2026年02月28日 来源:Environmental Modelling & Software 4.6

编辑推荐:

  SWAT-UQ平台集成不确定性分析、模型校准与优化算法,采用分布式计算框架提升大规模模拟效率,提供图形界面和脚本开发两种模式支持灵活应用,并通过两个流域案例验证其高效性与用户友好性。

  
吴梦天|吴美红|孙若晨|黄轩|严硕|韩建军|段青云
中国南京河海大学国家水灾害防治重点实验室

摘要:

土壤与水资源评估工具(SWAT)被广泛用于流域建模和水资源管理。然而,要实现SWAT的稳健应用,通常需要进行全面的不确定性分析、校准和优化,这需要整合多种方法。这些工作流程通常涉及数千次模型运行以及分布式参数文件的复杂操作,给实际操作和计算效率带来了挑战。本研究提出了SWAT-UQ,这是一个专为SWAT模型的不确定性分析、校准和优化设计的开源平台。SWAT-UQ允许灵活配置算法,以解决不确定性量化及决策导向任务。它采用基于队列的分布式计算框架,动态调度大量SWAT运行和密集的文件操作。为了满足不同用户群体的需求,SWAT-UQ提供了可脚本化的开发包和图形界面,无需编码即可实现端到端的工作流程。两个案例研究(涉及模型校准和最佳管理实践(BMP)多目标优化)展示了SWAT-UQ的工作流程灵活性、计算效率和易用性。

引言

基于计算机的模拟模型在水文学和环境科学中得到广泛应用(Beven, 2012; Clark et al., 2015)。与实地或实验室实验相比,它们在表示复杂的流域系统和支持工程决策方面具有显著优势(Wu et al., 2022b)。更重要的是,它们使研究人员能够系统地探索在现实中难以或无法复现的水文过程和管理方案(Wang et al., 2016; Clark et al., 2017)。过去几十年中,计算机科学、遥感和监测技术的进步进一步推动了这些模型的发展,提高了它们进行更准确和全面流域模拟的能力(McDonnell et al., 2007; Kumar, 2011; Fatichi et al., 2016)。
在现有的水文模型中,土壤与水资源评估工具(SWAT)已成为全球应用最广泛的模型之一(Arnold et al., 1998; Tan et al., 2020)。SWAT是一个分布式模型,能够整合多种数据源(如气象观测、土地利用和土壤信息),并模拟多尺度过程之间的相互作用(Jeffrey G. Arnold et al., 2012)。SWAT还得到了强大的社区支持,包括数据准备、建模技术和后处理方面(Gassman et al., 2007; Douglas-Mankin et al., 2010)。例如,ArcSWAT(Winchell et al., 2013)和QSWAT(Dile et al., 2016)提供了用户友好的GIS界面,简化了SWAT项目的构建。大量研究也证明了其在流量预测(Wagena et al., 2020; Asadi et al., 2025)、溶质传输分析(Han et al., 2024)和最佳管理实践(BMP)评估(Li et al., 2019; Long et al., 2025)方面的有效性。然而,SWAT的有效使用仍面临一些挑战。
SWAT建模不可避免地需要不确定性分析和校准(Beven and Freer, 2001)。不确定性分析有助于了解模型的稳健性和预测的可靠性(Ajami et al., 2007),而适当的校准对于确保模拟的可靠性至关重要(Duan et al., 1992)。在水资源管理中,SWAT模型也越来越与优化算法结合使用,以支持决策制定。然而,参数的高维性、水文过程的非线性和输入数据的不确定性使这些任务变得复杂。因此,研究人员经常需要多次进行方法测试,以建立可靠的工作流程(Cecconello et al., 2025)。因此,迫切需要一个提供自动化、可扩展工作流程框架的平台,并支持所需方法的“即插即用”选择。
SWAT应用的计算负担不容忽视(Lin and Zhang, 2021)。不确定性分析和校准通常需要数千次模型运行,而优化算法会进一步加重这一负担。为了解决这个问题,已经提出了几种策略。例如,Yalew等人(2013)开发了一种工具,将SWAT模型拆分为子模型并行执行,然后合并输出;而Zhang等人(2017)提出了名为SWATGP的网格化SWAT并行化方法,以加速水文响应单元(HRU)级别的网格建模。另外,一些研究使用替代模型用更高效的统计或机器学习模型来近似SWAT输出,从而实现快速评估(Razavi et al., 2012)。例如,Wang等人(2014)和Gong等人(2016)分别将高斯过程(GP)模型纳入SCE-UA和NSGA-II的评估过程中,并取得了满意的结果。尽管替代方法效率较高,但它们通常需要额外的训练工作,并且与基于过程的模拟相比可能会引入近似误差。相比之下,高性能计算(HPC)和并行化技术的最新发展为加速SWAT模拟提供了新的机会,这些方法似乎更具通用性和可扩展性(Zhang et al., 2013)。在软件层面,Ki等人(2015)使用OpenMP并行化重新编译了SWAT源代码。许多研究还提出了基于并行或云的模拟框架,将大量SWAT运行分布在多个处理器或集群上(Zhang et al., 2016; Ma et al., 2022; Lin et al., 2024)。然而,尽管这些技术在技术上已经成熟,但仍然分散,很少形成一个统一的、面向最终用户的平台。
除了计算挑战之外,高效地与SWAT项目交互和管理也非常困难(Gassman et al., 2007)。具体来说,一个SWAT项目涉及数千个参数文件(如*.gw、*.sol、*.hru、*.mgt),这些文件分布在HRU和子流域中,使得参数识别和修改非常繁琐。同样,SWAT输出存储在多个结果文件中,按流域段、子流域或HRU组织,每个文件包含各种变量的时间序列数据(如日、月、年数据)。这种分散性增加了数据提取、分析和后处理的复杂性。因此,需要一个用户友好的平台来简化文件系统的管理。理想情况下,所有参数都可以在不同模式下进行修改,包括全局模式或特定子流域、土地利用、土壤或坡度模式。为了有效的水资源管理,用户还能够根据SWAT输出灵活定义自己的目标函数。
近年来,开发了多种工具来支持SWAT生态系统。SWAT-CUP(Abbaspour, 2015)和SWAT+ Toolbox(Bieger et al., 2017)是最常用的工具,特别是在模型校准和不确定性评估方面。然而,这两种工具都是闭源的,依赖于Windows系统,难以用新方法扩展,并且不支持用户定义的目标函数。相比之下,开源替代品如R-SWAT(Nguyen et al., 2022)、pySWATPlus(Saló et al., 2025)和SWATrunR(Schuerz et al., 2022)在方法集成和文件级交互方面提供了更大的灵活性。然而,这些工作流程通常需要与异构的第三方库结合使用,以实现核心算法任务,导致生态系统碎片化,需要大量的集成工作。在最佳管理实践(BMP)优化等工程应用中,这种限制尤为明显,因为这些应用需要灵活的参数管理和对复杂多目标权衡的系统性探索。因此,SWAT社区迫切需要一个集成平台,将不确定性分析、校准和决策导向的优化结合起来。
在这种情况下,本研究提出了SWAT-UQ,这是一个全面、高性能且用户友好的平台,专为SWAT建模和决策导向的优化设计。主要贡献如下:首先,SWAT-UQ将UQPyL作为其核心算法库。UQPyL是由作者开发的一个开源Python包,为多种方法(如采样、不确定性分析和优化)提供一致的接口。这种统一的设计使得算法组合更加灵活,并提高了长期的可维护性。其次,SWAT-UQ为决策导向的应用提供了灵活的问题表述机制,通过UQPyL实现多目标BMP优化。第三,为了减轻大规模模拟的计算负担,我们开发了一个基于队列的分布式计算框架,通过任务队列动态调度作业(如参数注入、模型执行和输出解析)。最后,为了满足不同用户的需求,该平台提供了两个版本:SWAT-UQ-DEV和SWAT-UQ-GUI。DEV版本发布在PyPI上,允许高级用户构建可定制的、可复现的工作流程。同时,GUI版本为非专家用户提供了直观的界面,降低了使用门槛。两个案例研究(包括在冯树坝盆地的模型校准和淮河流域的最佳管理实践多目标优化)展示了该平台增强的框架灵活性、计算效率和用户体验。

章节摘录

概述

本研究介绍了SWAT-UQ,这是一个全面、高性能且用户友好的平台,旨在集成模型校准、优化和不确定性分析。如图1所示,SWAT-UQ采用模块化设计,遵循三个阶段框架:(a) 准备,(b) 执行,(c) 分析。在准备阶段,该平台提供了一种基于文件的问题表述策略(见第2.2节),使用户能够轻松将实际问题封装起来

案例研究I:SWAT模型校准

为了展示SWAT-UQ的有效性和计算效率,本节介绍了一个案例研究,该研究聚焦于中国东江上游冯树坝子流域的SWAT模型校准(见图6)。作为重要的淡水来源,该流域为广州、深圳和香港等大城市供水。在这里,我们特别使用SWAT-UQ-DEV版本,通过与其建立的基准进行对比,来验证其核心算法的性能

案例研究II:最佳管理实践的多目标优化

本节介绍了案例研究II,重点介绍最佳管理实践(BMP)的优化,以展示SWAT-UQ在管理规划中的能力。虽然SWAT内置了七种最佳管理实践来改善水质,但优化这些实践需要定义自定义参数和目标函数。因此,这个案例有效地展示了SWAT-UQ在处理高级管理优化任务方面的灵活性。

讨论与局限性

有效的不确定性量化和决策导向的优化是可靠流域管理的前提,这需要一个能够同时提供计算效率、工作流程灵活性和易用性的集成平台。本研究介绍了SWAT-UQ,它提供了一个强大的平台,支持流域建模和实际工程应用。
SWAT-UQ的一个主要优势在于其模块化 yet 集成的架构,这种架构实现了平衡

结论

本研究开发了SWAT-UQ,这是一个开源的高性能平台,旨在简化SWAT模型的不确定性分析、校准和优化。其主要特点包括集成模块化的UQPyL库和基于队列的分布式计算框架。此外,SWAT-UQ提供了与SWAT项目输入的灵活文件级交互,通过混合C++/Python I/O策略来减少性能瓶颈。为了满足不同用户的需求,

软件可用性

软件名称:SWAT-UQ
编程语言:Python, Qt
操作系统:Windows, Linux
许可证:MIT许可证

CRediT作者贡献声明

黄轩:撰写 – 审稿与编辑、可视化、验证。严硕:撰写 – 审稿与编辑、可视化、验证、数据整理。韩建军:撰写 – 审稿与编辑、可视化、验证。段青云:撰写 – 审稿与编辑、监督、项目管理、资金获取。吴美红:数据整理、方法论、软件、撰写 – 审稿与编辑。吴梦天:撰写 – 审稿与编辑、初稿撰写、可视化、验证、软件

未引用的参考文献

Arnold et al., 2012; Schuerz et al., 2022.

数据可用性

本研究使用的所有数据和代码均已公开发布在[https://github.com/smasky/SWAT-UQ,相关材料位于‘example’文件夹中。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系,这些利益或关系可能会影响本文报告的工作。

致谢

本研究得到了江苏省科技基础研究计划青年项目[项目编号 BK20241516]和中国国家自然科学基金[项目编号 42101046, W2431029]、中国国家重点研发计划[项目编号 2021YFC3201102]以及水利部关键科学技术项目[项目编号 SKS-2022001]的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号