基于物理原理的网络模型在运河系统中的概率水流动力预测中的应用

《Environmental Science and Ecotechnology》:Physics-guided networks for probabilistic hydrodynamic forecasting in canal systems

【字体: 时间:2026年05月07日 来源:Environmental Science and Ecotechnology 14.3

编辑推荐:

  王佳毅 刘光华 陈晓南 史良胜 傅光涛 德拉甘·萨维奇 中国武汉大学水资源工程与管理国家重点实验室,武汉 430072 **摘要** 在大规模运河系统中,可靠地预测供水动态对于跨流域调水项目的水资源分配和运营决策至关重要。由于实时水力状态和计划外的闸门操作,横向取水

  王佳毅 刘光华 陈晓南 史良胜 傅光涛 德拉甘·萨维奇
中国武汉大学水资源工程与管理国家重点实验室,武汉 430072

**摘要**
在大规模运河系统中,可靠地预测供水动态对于跨流域调水项目的水资源分配和运营决策至关重要。由于实时水力状态和计划外的闸门操作,横向取水量的不确定性会随时间演变,并且通常呈现多峰分布。然而,在这种动态变化和样本量较小的条件下,可靠地量化和解释这种不确定性仍然具有挑战性。本文研究表明,一种基于物理原理的混合密度网络(PgMDN)能够在保持物理一致性的同时有效表征这种不确定性。在所提出的PgMDN中,通过局部质量平衡将物理知识纳入损失函数,并在预测及其相关不确定性之间建立一致性约束;同时运用长短期记忆层来模拟时间依赖性和多因素影响。此外,通过Shapley加性解释分析来确定对预测不确定性有主要贡献的水力因素。在真实世界运河数据集上的测试表明,所提出的PgMDN性能优于标准混合密度网络,平均绝对误差和均方根误差均降低了25%以上,可靠性也得到了提高(R指数从0.45增加到0.82),并且泛化能力更强。结果进一步揭示了水位波动和边界入流量是预测不确定性的关键驱动因素,支持了该模型的物理可解释性。总体而言,本研究为环境基础设施的实时建模和大型调水系统的运营管理提供了一个可扩展且易于解释的工具。

**1. 引言**
跨流域调水在空间和时间尺度上重新分配水资源方面发挥着重要作用,有助于地下水恢复、保障水资源安全以及在气候变化和社会经济变化下的长期生态韧性[1]、[2]、[3]。可靠的水动力预测对于保障供水和提供早期风险预警至关重要[4]、[5]。与天然河流或流域系统相比,运河系统受到自然过程和人类操作的影响,其流量模式由闸门操作和不断变化的水力条件决定。在这些系统中,横向取水量经常偏离计划的供应目标。这些偏差由实时系统状态和计划外的闸门操作驱动,在给定条件下产生具有多个明显峰值的多模态分布[6]、[7]。这种不确定性降低了水位预测的准确性,可能导致操作决策失误和应急响应延迟[8]。因此,迫切需要一种稳健的不确定性量化(UQ)方法,以支持在动态和不确定的运营条件下的自适应和弹性水资源分配。

蒙特卡洛(MC)方法是一种传统的数值UQ方法,依赖于重复随机抽样来近似模型预测的概率分布[9]。它通常应用于基于物理的模型,如水文模拟,通过抽样输入或参数[10]。为了提高从复杂分布中抽样的效率,已经开发了几种加速策略。其中,马尔可夫链MC被用于量化非线性流量行为的预测区间[11]、[12]、[13],Camacho等人[14]证明了其在一维和多维水动力建模中的有效性。此外,拉丁超立方抽样提高了参数空间的覆盖范围并减少了冗余模拟[15]、[16],而顺序MC提高了在复杂水系统中的探索效率[17]。尽管有这些进展,基于MC的UQ仍需要仔细定义抽样范围,并且计算成本较高。此外,这种方法不适合预测取水量的不确定性,因为缺乏明确的物理模型使得定义输入变量变得困难,常常导致不现实的抽样结果。

作为一种更高效的替代方案,统计建模方法直接从观测数据估计预测分布。参数方法——假设高斯或非高斯分布——已广泛应用于水动力建模,包括洪水预报[18]、水位-流量关系[19]和极端降水分析[20]。为了增加灵活性,也探索了避免严格分布假设的非参数方法。例如,数据驱动的分类方法已用于根据历史模型误差生成概率洪水预报[21],广义似然不确定性估计已与水文建模中的贝叶斯推断相结合[22],自助法技术与水动力模型结合用于洪水预警系统[23]。然而,由于这些方法主要依赖于历史模式并忽视系统内部的动态相互作用,它们难以捕捉由实时水力条件驱动的未来取水量的多模态特性。

随着深度学习在模拟复杂隐式输入-输出关系方面的快速应用,贝叶斯神经网络(BNN)和其他随机、数据驱动的方法已成为强大的UQ工具[24]、[25]。贝叶斯长短期记忆(LSTM)网络已被用于模拟数据稀缺流域的流量不确定性[26]和土壤湿度动态[27]。作为一种近似的贝叶斯推断技术,MC dropout通过随机停用神经元来模拟网络集合,从而能够在水文模型[28]、[29]和水分布故障分析[30]中估计后验分布。为了更好地表示真实世界分布,变分贝叶斯推断已被用于模拟LSTM权重的不确定性[31],而高斯混合模型已与LSTM网络结合用于短期预报[32]。McLachlan等人[33]证明,高斯分布的有限混合可以近似任何连续概率分布。基于这一原理,最初由Bishop提出的混合密度网络(MDN)已越来越多地应用于改善水动力建模中的UQ[34]。由于MDN在表示多模态分布方面的灵活性,它们已成功应用于水位-流量曲线估计[35]、水力地质建模[36]和流量预测[37]、[38]等应用中。此外,比较研究表明,MDN在捕捉复杂和任意分布方面优于基于MC dropout的LSTM模型[39]。

然而,传统的MDN和BNN模型往往缺乏物理约束,并且严重依赖大型高质量数据集,这限制了它们在实时水动力预测中的可靠性。尽管最近在其他领域的研究已将物理知识纳入概率神经网络以提高可靠性和可解释性[40]、[41],但这些方法通常是为具有单一变量输入的静态任务设计的。在运河系统中,取水量的不确定性源于动态的、多变量水力相互作用,与自然水文系统相比带来了额外的挑战。因此,现有方法仍然不足以对实时取水量预测的不确定性进行建模。

为了解决这些限制,本研究提出了一种基于物理原理的混合密度网络(PgMDN),它将物理知识融入概率学习中,使得在数据有限的情况下能够进行可靠的实时不确定性建模。所提出的模型能够捕捉动态的多变量相互作用,同时在数据受限条件下保持物理上合理的预测。此外,使用Shapley加性解释(SHAP)分析来确定预测不确定性的关键水力因素。使用真实世界运河系统数据评估了PgMDN的性能,证明了在准确性、可靠性和泛化能力方面的改进。

**2. 方法论**
**2.1. 取水量预测的不确定性**
运河系统的水动力行为受上游控制闸门(Qu)、下游控制闸门(Qd)和横向取水量(q)的不稳定流量的控制[42]。为了最小化取水造成的水位波动,取水量通常位于运河下游端附近[43]。实际上,Qu和Qd通常是根据供水或防洪目标预先确定的。然而,由于实时水力条件和计划外的闸门操作的影响,取水量q呈现出多峰分布。考虑到水流传输延迟和系统信息的不确定性,真实世界系统中的取水量q可以表示为:
$$ q(t) = Q(t) - \sum_{i=1}^{M} \lambda_i C_i(t) \cdot e^{-\theta_i(t)} $$
其中t是时间步长;td表示从上游端到下游端的水流延迟步长;εq,t表示时间步长t时预测取水量的残差误差;λi是流量系数(m3 s?1)。

为了量化预测q的固有不确定性,使用累积分布函数(CDF)来表征其概率分布,通过积分相应的概率密度函数获得。这种概率表述使得q的随机和潜在的多模态特性得以表示。在每个时间步长t,根据预测向量(表示为xt),模型输出一个具有非线性、时变统计特性(例如均值和方差)的条件分布p(qt|xt)。

**2.2. 基于物理原理的混合密度网络**
**2.2.1. 标准MDN架构**
本研究采用的MDN架构包括四个层次:一个输入层、两个隐藏层和一个输出层。根据实时传感器数据的可用性,输入层包括上游和下游的水位变化(ΔHu和ΔHd);上游和下游的计划取水量(Qu和Qd);下游水位(Hd);以及一个非线性交互项(HdΔHd)。这些变量共同代表了系统的水力状态和预定的控制动作,为后续取水量提供了相关信息。特别是,Hd和HdΔHd表征了直接影响取水量的下游水力条件,因为取水量通常位于下游端附近。选定的变量使模型能够捕捉嵌入在水力状态中的自然和操作因素。

由于水位状态是根据过去的观测数据得出的,而流量计划是预先指定的,因此时间步长t的预测向量包括来自不同时间步长的变量。具体来说,ΔHu、ΔHd、Hd和HdΔHd来自时间步长t ? 1,而Qu和Qd对应于时间步长t。因此,预测向量xt使用t和t ? 1的变量构建,如方程(2)所示:
$$ x_t = (\Delta_Hu_{t-1}, \Delta_Hd_{t-1}, Q_{t-1}, Q_t, Hd_{t-1}) $$

作为灵活的概率框架,MDN包括两个堆叠的LSTM层来捕捉输入序列中的时间依赖性。第二个LSTM层的输出被映射到混合分布的参数。每个LSTM处理一个覆盖T个时间步长(xt?T, …, xt)的历史输入序列,并在序列到一的结构中为第t个时间步长的q生成一个多模态预测分布(qt)。关键超参数——包括每层的神经元数量、训练周期数、学习率和批量大小——在模型开发过程中进行调整[39]。MDN输出一个表示为不同权重下混合分布的估计CDF[44]。条件分布p(qt|xt)可以表示为方程(3)、(4):
$$ p(q_t|xt) = \sum_{i=1}^{M} \omega_i(t) \cdot \phi_{\theta_i(t)} \cdot \exp\left(-\sum_{j=1}^{M} \theta_j(t) \cdot x_{jt}\right) $$
其中M表示混合组分的数量,ωi,t(xt)是时间步长t的第i个核函数?(•)的混合权重。核函数?(•)可以是任何类型的参数密度分布,并受参数向量θi,t(xt)的控制(例如,均值μ和标准差σ)。

在本研究中,混合组分的数量(M)设置为3。由于高斯分布的灵活性和有效性,核函数?(•)被采用[45]。θi,t(xt)可以进一步表示为(μi,t, σ2i,t),其中μi,t(xt)和σ2i,t分别表示第i个高斯组分的均值和方差。因此,MDN的输出包含了一组时变参数(ωi,t, μi,t, σ2i,t)。为了确保参数化的有效性,在输出层应用了激活函数:Softmax函数确保混合权重ωi,t之和为1,而Softplus函数确保方差σ2i,t为正;均值μi,t保持其原始值[34]。模型训练基于观测数据使用负对数似然(NLL)函数进行:
$$ NLL = \sum_{i=1}^{M} \left[-\ln(\prod_{j=1}^{M} p(\omega_i(t) \cdot \phi_{\theta_i(t)} \cdot x_{jt})\right] $$
其中Ndata表示基于观测数据的NLL项;g(•)表示高斯分布;qo表示观测到的取水量值(m3 s?1);N是总时间步长数。

然后使用训练好的模型来预测条件分布p(qt|xt)的分布参数。根据这些参数,可以计算混合分布的分位数以量化预测不确定性。混合加权均值(μ)代表q的期望值,而混合加权方差(σ2)反映不确定性。由于混合分布的逆CDF没有封闭形式解,因此使用MC抽样从拟合的高斯混合中抽取10,000个样本来近似90%的预测区间。

**2.2.2. 带有物理约束的MDN**
为了在数据有限的情况下改进取水量的实时预测,我们在MDN框架中纳入了局部流量连续性约束和预测均值变化与不确定性之间的耦合关系,从而提出了PgMDN模型。在保留原始MDN架构的大部分组件的同时,PgMDN引入了两个基于物理的约束项到统一的损失函数中,以指导模型训练。这些额外的项通过在前向传播过程中调整内部网络参数来影响反向传播过程,从而增强模型预测的物理一致性(图1);更多细节如下。(1)基于取水口处质量平衡方程的物理NLL项 下载:下载高分辨率图像(279KB) 下载:下载全尺寸图像图1. PgMDN的架构,显示输入变量、LSTM–MDN结构、物理引导的损失函数和条件输出分布。网络输出高斯组分的混合权重、均值和标准差,以参数化条件概率分布p(qt|xt)。PgMDN,物理引导的混合密度网络;LSTM,长短期记忆;MDN,混合密度网络;ΔHu,上游水位变化;ΔHd,下游水位变化;Qu,上游流量;Qd,下游流量;Hd,下游水位;HdΔHd,下游水位与下游水位变化之间的交互项;ω,混合权重;μ,均值;σ,标准差;M,高斯组分的数量;Ndata,基于观测数据的NLL项;Nphys,源自局部质量平衡的物理NLL项;NLL,负对数似然;Lphys,均值变化与预测不确定性之间的物理引导一致性项;λd、λp和λc,分别为数据NLL项、物理NLL项和物理引导项的权重系数。

与仅最小化预测均值与现场观测值之间差异的标准MDN损失函数不同,所提出的物理NLL项将一个控制物理方程作为额外的训练目标。根据质量平衡原理,鼓励PgMDN预测的均值与计算网格内流量(Qin)和流出量(Qout)之间的差异保持一致。Qin和Qout的值是使用基于一维(1D)流体动力学的物理模型生成的。该模型基于简化的水力假设,并由真实运河系统的观测数据驱动,包括边界流量、初始水面剖面和训练期间的取水流量。值得注意的是,观测到的水位捕捉了真实运河系统中存在的复杂水力效应,包括未建模的损耗,因此被用作取水流量预测的关键输入。基于这些输入,使用四点Preissmann方案[46]通过求解1D离散Saint-Venant方程来模拟Qin和Qout。

这种物理约束通过类似于方程(5)的NLL公式纳入损失函数中,其中观测值项被质量平衡项替代。这种公式不是强制严格的相等性,而是促进预测均值与潜在物理定律之间的一致性,如方程(6)所示:(6)其中Nphys表示源自局部质量平衡的物理NLL项;Qin和Qout分别表示包含取水口的计算网格内的流量(m3 s?1)。

尽管这种约束明确仅应用于预测均值,但由于PgMDN的联合输出层中均值和方差之间的内部耦合,它也会影响方差。(2)一个物理引导项,用于约束预测均值变化(Δμ)与相应的标准差(σ)之间的关系。预测均值q的显著变化通常反映了运河系统水力状态的快速变化[6]。这种波动通常与动态转换和潜在的计划外或突然的门操作有关。因此,预测均值的大变化可以被解释为系统稳定性降低的指标,在这种情况下,预测不确定性预计会增加。基于这一物理洞察,假设预测流量变化幅度(q)与相应不确定性之间存在正相关。

为了将这一假设纳入模型训练,向损失函数中添加了一个物理引导项,以强制预测结果之间的一致性。当预测均值和预测不确定性的演变趋势相反时,该项会对模型进行惩罚。具体来说,均值的增加(或减少)应该对应于更宽(或更窄)的不确定性区间。这是通过鼓励预测均值变化(Δμ)与标准差(σ)之间的方向一致性来实现的,只有当两者朝同一方向变化时,损失才会趋近于零。此外,引入了一个参数α,以便在训练期间表现出更剧烈变化的区域施加更强的约束,从而实现自适应学习。这种机制使模型能够专注于动态不稳定的区域,而不是统一增加不确定性并产生过于保守的预测。物理引导项在方程(7)、(8)中定义,其中μ和σ分别表示μi和σi的混合加权值:(7)(8)其中Lphys表示均值变化与预测不确定性之间的物理引导一致性项;αt调节约束的强度;e表示自然对数的底数;EΔμ,t和Eσ,t分别表示预测均值变化和预测方差的变化趋势;Δμ,t表示相邻预测均值之间的绝对差异。

PgMDN训练的最终损失函数被表述为数据NLL项、物理NLL项和物理引导项的总和,如方程(9)所示。在这项研究中,所有损失分量被赋予相同的权重,以确保训练期间的贡献可比。因此,反向传播算法同时寻求最小化数据拟合损失和基于物理的约束损失。(9)其中λd、λp和λc分别表示数据NLL项、物理NLL项和物理引导项的权重系数。在这项研究中,λd = λp = λc = 1.2。

3. SHAP分析
识别模型不确定性的关键贡献因素对于理解PgMDN的行为和提高其预测的可信度至关重要。为此,使用SHAP来解释每个输入变量对预测不确定性区间的影响,从而增强训练模型的可解释性[47]。基于合作博弈论,SHAP计算Shapley值来量化每个特征对模型预测的平均边际贡献[48]。这种方法评估了所有可能的特征组合下的模型行为,包括包含和不包含感兴趣的特征。

在这项研究中,SHAP分析用于评估PgMDN预测的混合加权方差(σ2)。Shapley值量化了每个输入变量在影响预测不确定性方面的相对重要性。通过检查不同天数之间特征重要性的一致性,可以识别出控制取水流量不确定性的主要水力因素。

2.4. 评估指标
MDN和PgMDN模型根据预测的q从两个角度进行评估:准确性和不确定性。预测准确性使用平均绝对误差(MAE)和均方根误差(RMSE)来评估。此外,还使用可靠性指数(R指数)和技能分数(S指数)来评估模型在不确定性预测方面的性能[49]。所有指标都在所有预测时间步骤上计算,为每个模型产生一个评估值。

MAE和RMSE分别量化了预测值和观测值之间的平均绝对差异和平方差异,较小的值表示更好的预测性能。这些指标在方程(10)、(11)中定义:(10)(11)其中Np表示预测样本的总数,qo和qp分别表示观测值和预测值。

R指数衡量落在预测不确定性区间内的观测数据点的比例。接近预定置信水平的值表示与理论预期更吻合;正偏差被认为是有利的,而负偏差表示覆盖不足。在足够可靠的条件下,较窄的不确定性区间反映了更好的预测性能。S指数提供了对可靠性和区间宽度的全面评估,接近零的值表示整体性能更好。正的S指数对应于有信心(狭窄)的预测,而负值表示保守(过宽)的区间。因此,接近零的值反映了可靠性和精确性之间的最佳平衡[49]。

给定一个置信水平τ,R指数Rτ和S指数Sτ定义如下:(12)(13)其中τ是预设的置信水平(在本研究中为0.9);表示时间步长t的置信水平τ下的不确定性区间范围(m3 s?1);δτ是一个二进制指标,用于指定观测值是否落在预测区间内。

3. 案例研究
在这项研究中,使用由解析函数生成的小型合成数据集来评估MDN在数据有限条件下的基线学习多样化分布模式的能力。这些数据集反映了真实系统的代表性统计特征。此外,还使用真实世界的水渠数据来比较MDN和PgMDN模型,展示了所提出方法在实际性能上的改进。

3.1. 合成数据
我们生成了三种类型的合成数据集:
(1)案例1,具有异方差高斯误差的线性函数;
(2)案例2,具有非高斯多模态误差分布的非线性函数;
(3)案例3,具有突然变化和多模态噪声的非平稳时间序列。
案例1和2的方程采用自Li等人[38]的方法,而案例3是使用包含状态转换和跳跃项的分段函数构建的。输入变量在指定范围内随机生成:案例1为[0, 1],案例2和3为[?1, 1]。训练样本和测试样本的数量设置为与用于实时预测的真实水渠系统数据中的样本数量相匹配,如第3.3节所述。

3.2. 真实世界数据
所提出的模型使用来自中国南北水调项目中间路线两个水渠段( Reach A和Reach B)的观测数据来进行评估(图2)。这两个水渠段位于中国河北省的北京-石家庄段,代表了这一大型水渠系统中的受控水渠段。尽管它们属于同一系统,但它们的几何配置和操作特性不同,因此被视为不同的测试案例。

下载:下载高分辨率图像(247KB)下载:下载全尺寸图像
图2. 中国南北水调项目中间路线北京-石家庄段中两个研究水渠段(Reach A和Reach B)的位置和示意图配置。该图标识了上游和下游控制闸门、水位传感器位置、取水位置和方向以及关键水渠段长度。
Reach A的特点是取水流量相对较大,短期变化较小,占主要水渠流量的相当大比例。使用在典型操作条件下收集的连续九天数据集进行详细模型比较。相比之下,Reach B由在不同季节收集的较长27天数据集表示。这个数据集表现出更大的变化性,包括与非常规操作事件相关的突然变化和显著波动。此外,Reach B的取水流量占主要水渠流量的比例较小。扩展的数据集主要用于在更广泛的操作场景下评估模型的性能和稳健性。两个水渠段的几何特性、流量范围和数据持续时间总结如下(表1)。
表1. Reach A和Reach B的几何和水力特性
Reach 底部宽度(m) 边坡 表面坡度 Qu(m3 s?1) Qd(m3 s?1) Hu(m) Hd(m) q(m3 s?1)
Reach A 19.5 2.5 0.0 0 0 479–88 45–54 3.6–3.9 4.2–4.5 30–3
Reach B 10.0 3.0 0.0 0 0 415 3–17 8130–17 54.8–5.2 5.0–5.4 5–2
注:Qu,上游端的未来流量计划;Qd,下游端的未来流量计划;Hu,上游水位;Hd,下游水位;q,取水流量。

两个案例研究有几个共同特征:(1) 梯形横截面,宽而浅的剖面;(2) 取水口位于下游端附近;(3) 均匀的坡度约为0.00004。由于传感器可用性和监测数据的限制,本研究排除了蒸发、泄漏和其他损耗过程对预测取水流量的影响。

3.3. 仿真设置和模型训练
对于实时预测,MDN和PgMDN模型的输出时间步长设置为20分钟,与数据采集频率一致。LSTM层使用跨越六个时间步长的历史输入序列(T = 6),相当于两小时的时间窗口。我们采用了滚动视界预测方案,其中固定长度的训练集、验证集和测试集依次更新,以模拟实时操作。对于Reach A,首先是一个三天的训练期,然后是基于九天数据集的六天滚动预测期,使用固定长度的训练集(72小时)、验证集(12小时,六折)和测试集(24小时)。对于Reach B,采用相同的方法,通过扩展的数据集实现了24天的滚动预测期。在这个框架下,假设每个分析时间窗口内的地球物理参数基本保持不变。MDN和PgMDN模型都使用自适应矩估计(Adam)优化器进行训练[50]。学习率、一阶矩衰减率和二阶矩衰减率分别设置为0.01、0.9和0.999,这是基于常规实践和验证结果确定的。LSTM层的超参数通过网格搜索在先前的研究[51]提供的范围内确定。具体来说,隐藏单元的数量在{40, 60, 80, 100}之间测试,训练周期的数量在{100, 150, 200, 300}之间测试,L2正则化权重在{10?4, 5×10?4, 10?3, 5×10?3}之间测试。超参数选择是在每个72小时训练窗口内使用六折交叉验证进行的,构成一个自动调整程序。由于输出的维度相对较高,需要更多的隐藏单元以确保模型有足够的容量。最终配置包括每个LSTM层80个单元,200个训练周期,完整批量大小为216个样本,以及L2正则化权重为0.001。所有输入特征在训练前都标准化到[0,1]的范围内。没有应用提前停止或学习率衰减。这些设置对MDN和PgMDN模型都是一致的。所有数值实验都在配备Intel Core i7-9700 CPU(3.00 GHz)和16 GB随机存取内存的Windows系统上使用MATLAB R2019b进行。

4. 结果
4.1. MDN在合成数据上的应用
MDN模型在三种合成数据模式中表现出明显的预测性能和相关不确定性区间(图3)。在三种情况下,MDN模型在情况1和2中表现更好,这些情况的特点是功能关系更简单,表现为更高的可靠性和接近零的技能得分。相比之下,情况3代表一个更复杂的非平稳时间序列,显示出更高的MAE和RMSE值以及更低的可靠性。

4.2. 使用真实系统数据比较MDN和PgMDN
4.2.1. 在短期数据集上的预测性能
根据第3.3节描述的训练设置,本节展示了模型在连续六天预测期间的性能。
预测的q值及其相关的不确定性区间随时间演变,以及不同q变化阶段的预测σ值分布(图4)。PgMDN模型比MDN模型更准确地捕捉了q的短期波动,特别是在24-48小时和72-144小时期间。此外,PgMDN提供了比MDN更一致和更现实的不确定性区间。

4.2.2. 在扩展条件下的性能验证
比较了MDN和PgMDN在24天预测周期内的性能(图6)。PgMDN在预测误差(MAE和RMSE)上显著优于MDN,分别降低了28%和26%。从不确定性量化的角度来看,PgMDN也表现出显著改进,其R指数更高,绝对S指数更低。PgMDN的可靠性从0.45提高到了0.82,负S指数值接近零,表明其产生的不确定性区间更为保守且平衡。

4.2.3. 模型泛化能力
我们进行了两项测试来评估模型的泛化能力。在第一项测试中,MDN和PgMDN都在Reach A的第1天(0-24小时)的数据上进行训练,这些数据代表相对稳定的条件,然后在第4天(72-96小时)进行测试,这些数据的特点是波动剧烈。在第二项测试中,两种模型都在Reach B的第3-5天的数据上进行训练,这些数据处于典型的常规条件下,并在第8天进行评估,这一天表现出明显的变异性和突然的变化。这些测试评估了PgMDN相对于MDN在面对不熟悉和快速变化的操作动态时的鲁棒性。然而,在快速变化的条件下,流入流量(X3)成为影响不确定性的更主要因素。SHAP结果显示,预测不确定性的主要驱动因素会随着运行条件的变化而变化。具体来说,第2天、第5天和第6天时,X1和X2的贡献超过20%,而第4天时,X3占总重要性的46%,这使得操作人员能够相应地调整他们的监控重点。在取水流量变化显著的时期,流入流量成为运营监控和决策支持的关键变量。在相对稳定的条件下,下游水位的变化为常规系统管理提供了更相关的信息。

5. 讨论
5.1. 敏感和鲁棒性分析
为了评估PgMDN对损失项权重的敏感性,我们使用Reach A的9天数据集进行了比较分析。数据损失权重固定为λd = 1,而两个与物理相关的项则在其默认值周围进行变化。考虑了五种配置:(λd, λp, λc) = (1, 1, 1), (1, 0.5, 1), (1, 1, 0.5), (1, 5, 1), 和 (1, 1, 5)。所有其他训练设置保持不变。在这些配置下,PgMDN的性能如图10a所示。MAE和RMSE在物理相关权重的适度扰动下保持相对稳定,表明模型对其选择不太敏感。然而,过度增加物理NLL项(1, 5, 1)会降低准确性和不确定性性能,这表明过于强的物理约束可能会限制模型的灵活性并限制数据模式的学习。相比之下,增加物理引导项的权重(1, 1, 5)可以同时提高准确性和可靠性,强调了其更大的优势。总体而言,PgMDN表现出稳健的性能,并不依赖于精调的权重配置。

下载:下载高分辨率图像(326KB)
下载:下载全尺寸图像
图10. 不同损失权重设置和训练样本量下PgMDN的鲁棒性分析。a, 不同λd, λp, 和 λc组合下的PgMDN性能。b–g, 第1天(b)、第2天(c)、第3天(d)、第4天(e)、第5天(f)和第6天(g)不同训练样本量下MDN和PgMDN的性能比较。MDN,混合密度网络;PgMDN,物理引导混合密度网络。MAE,平均绝对误差;RMSE,均方根误差;λd, λp, 和 λc,分别是数据NLL项、物理NLL项和物理引导项的权重系数;NLL,负对数似然。

为了进一步评估数据稀缺条件下的鲁棒性,预测范围固定为72个样本,同时逐渐减少训练数据量。对于每个训练规模,MDN和PgMDN在相同的实验设置下在同一测试期间进行训练和评估。随着训练数据的减少,两种模型的性能都会下降,这体现在MAE和RMSE的增加以及可靠性的下降(图10b)。然而,PgMDN在所有数据规模下都能保持较低的预测误差和更高的可靠性。此外,PgMDN性能的下降更加平缓,而MDN在训练数据有限时表现出的下降更为急剧。PgMDN的技能得分在不同数据规模下接近零,表明其概率行为稳定,而MDN在样本量较小时表现出更大的偏差。

5.2. 与以往研究的比较
正如引言中讨论的,运河预测中的不确定性量化(UQ)已经通过集合水动力模型、随机运作框架和数据驱动的概率方法来处理。基于物理的方法确保了物理一致性,但通常会带来较高的计算成本,而纯数据驱动的模型通常依赖于场景扰动,在条件变化时可能缺乏鲁棒性。相比之下,PgMDN通过直接学习运河状态的条件概率分布来量化不确定性,使其能够捕捉由于未观察到的运营干扰而产生的复杂、输入依赖的不确定性,而无需依赖预定义的场景。物理知识被纳入这个概率框架中以约束学习到的分布,确保与基本水力原理的一致性。PgMDN预测的卓越准确性和可靠性归因于两个主要因素。首先,带有LSTM层的MDN架构有效地捕捉了数据中的隐含多模态模式[38],[39](图3)。其次,结合物理约束增强了对于水动力定律的敏感性,从而产生更一致的预测。这种效果反映在改进的性能指标中(图6和图9),并与之前的研究结果一致[41]。此外,SHAP分析(图8)表明模型捕捉到了物理上有意义的关系。在正常条件下,不确定性主要由水位变化驱动,而在快速运营变化期间,则由流入量变化主导。这种行为与对运河系统动力学的现有理解一致,支持了模型的可解释性[52]。

与之前的MDN应用[27],[37],[38]相比,所提出的PgMDN通过在损失函数中直接嵌入物理约束,在小型和真实世界数据集上表现出更好的性能。对于受短期水动力过程而非长期水文趋势支配的变量(如取水流量[38],[39]),PgMDN提供了可靠且稳健的多模态预测。这种物理引导的框架使模型能够生成物理上一致的状态依赖条件分布,同时保留了深度学习的灵活性。这种能力对于运河系统的运营尤为宝贵,特别是在短期监控条件下。由此产生的取水流量概率预测可以整合到水动力模型中,以估计在不同情景下的潜在水位范围[8]。因此,PgMDN模型非常适合实时运河管理,其中预测区间可以支持适应性调度和风险意识控制[53]。这些概率输出使得操作决策更加明智,例如调整安全裕度或优化控制动作的时机,而不仅仅是依赖确定性预测。从这个意义上说,PgMDN提供了一个将物理水动力建模、数据驱动的不确定性量化(UQ)和运营决策支持结合起来的实用框架。

5.3. 局限性和未来工作
尽管已经展示了性能,但仍存在一些限制。首先,质量平衡公式依赖于从简化的1D水力模型得到的流入和流出流量,这可能无法完全捕捉真实运河系统中的复杂水力相互作用。因此,在某些运行条件下,尤其是在存在额外物理不确定性的情况下,可能会出现与严格质量平衡的局部偏差。在这项研究中,这些复杂性通过实时水位观测间接考虑到了,这些观测值是取水流量预测的关键输入。虽然这种假设在实践中是合理的,但它仍然是一种近似。多 term损失公式引入了局部物理一致性和数据驱动灵活性之间的权衡。由于物理约束是局部应用的,因此残差差异可能被数据似然项吸收。进一步的改进可能涉及细化水力模型或结合额外的观测数据。其次,与物理信息神经网络[54],[55]相比,PgMDN采用的物理约束相对较软。虽然这提高了灵活性,但在某些输入条件下可能会降低稳定性。结合更强或更明确的物理约束可能会进一步提高模型捕捉水动力行为的能力。此外,尽管本研究使用了相对较长的数据集,但评估并未涵盖完整的季节周期。未来的工作还可以将框架扩展到多步预测,以更好地表示长期时间依赖性和季节性动态。在更长的预测范围内,环境和地球物理条件的变化可能会变得越来越重要。此外,模型验证可能会受到测量噪声、简化的物理假设和有限的时间覆盖范围的影响,这可能在某些条件下引入性能指标的变异性。最后,当前的方法依赖于预定义的一组水力输入特征,这可能无法完全捕捉系统内的高阶相互作用。未来的研究可以探索端到端学习方法,例如基于注意力的架构,以隐式编码物理关系[56]。这些方法还有助于在保持可解释性和实时适用性的同时,提高高风险条件的识别能力。此外,与替代不确定性量化方法进行更广泛的比较仍然是未来工作的一个重要方向。

6. 结论
本研究提出了一种新的PgMDN模型,它将物理约束整合到数据驱动的概率框架中,以量化取水流量预测的不确定性。通过将局部质量平衡约束以及系统状态变化与不确定性之间的耦合嵌入损失函数中,该模型产生了更加稳健和物理一致的条件分布。首先使用小样本合成数据集验证了基线MDN。然后使用多个时间尺度和运行条件下的真实世界运河系统数据评估了所提出的PgMDN模型。与标准MDN相比,PgMDN在点预测和不确定性量化方面始终表现出更优越的性能。主要发现如下:
(1) 与在合成数据集上表现良好的标准MDN相比,PgMDN在小规模真实世界数据集上实现了更准确的预测,分别将MAE和RMSE降低了28%和26%。
(2) PgMDN将预测可靠性从0.45提高到0.82,并提供了更加保守且平衡的不确定性估计,同时保持了在迁移测试和减少训练数据条件下的稳定泛化能力。
(3) SHAP分析表明,预测不确定性主要受正常条件下的水位变化和快速变化期间的流入流量变化驱动,支持了模型的物理可解释性。

总之,这项研究表明,将物理知识整合到神经网络架构中可以显著提高其鲁棒性、泛化能力和可解释性。这种方法为将数据驱动的建模与物理理解结合起来提供了有前景的途径,使得水资源和环境系统的管理更加适应性和韧性。

CRediT作者贡献声明
Dragan Savic:写作 - 审稿与编辑、监督、概念构思。
Guangtao Fu:写作 - 审稿与编辑、监督、概念构思。
Liangsheng Shi:验证、项目管理。
Xiaonan Chen:资源、数据管理。
Guanghua Guan:写作 - 审稿与编辑、监督、软件、资金获取、概念构思。
Wangjiayi Liu:写作 - 原始草稿、可视化、方法论、调查、形式分析、概念构思。

数据可用性
本研究的所有数据、模型或代码均可在合理请求下从相应作者处获得。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。
Dragan Savic博士是Environmental Science and Ecotechnology的顾问委员会成员,他没有参与本文的编辑审查或发表决定。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号